אירועי הסיפור "סימן של ארבעה" מתרחשים בלונדון בשנת 1888. במהלך סרק מאולץ בגלל חוסר פקודות יוצא היועץ הבלשי הידוע שרלוק הולמס, המתגורר ב- 221-6 ברחוב בייקר, יחד עם חברו ד"ר ווטסון. השיטה הדדוקטיבית שלו, שבה הוא משתמש בפתרון פשעים. שרלוק הולמס משוכנע שאדם שומר מצוות מסוגל להוכיח את קיומם של האוקיאנוס האטלנטי ומפלי הניאגרה על ידי מסקנות הגיוניות, גם אם מעולם לא ראה אותם לפני כן ולא שמע עליהם דבר. יש לציין את הפרטים והעובדות הקטנים ביותר, מכיוון שהם מסוגלים לתרום לא יסולא בפז לשחזור התמונה המלאה של האירועים, אופיו של האדם ונסיבות הפשע.
בהיותו בלש מבריק, שרלוק הולמס מחזיק בידע אנציקלופדי בתחום הכרוניקה הפלילית והכימיה, מנגן היטב בכינור, בעל כישורי גידור ואגרוף מעולים, בקיא היטב בגיאולוגיה, אנטומיה, בוטניקה, יש כישרון משחק יוצא דופן, אך בתחום הספרות, פילוסופיה, אסטרונומיה, הידע שלו הוא אפס. בשעות בהן אין לו מה לעשות, הוא שולט בשעמום קטלני ומוצא נחמה במורפין וקוקאין.
ד"ר ווטסון, חברו ובן זוגו של שרלוק הולמס, רופא צבאי לשעבר ששירת עם הצבא האנגלי במלחמת הודו עם אפגניסטן ונפצע במלחמה זו, מתגורר עם הולמס באותה דירה והוא כרוניקן של כל המקרים שחברו חשף.
להנאתו הרבה של שרלוק הולמס, הבטלה הזמנית שלו מופרעת על ידי העלמה מורסטן מסוימת, צעירה בת עשרים ושבע, בעלת פנים רוחנית וחביבה, המעידה על אצילות הנפש ואהדתה. היא מספרת לבלש על אירועים מוזרים שהתרחשו לאחרונה בחייה, ומבקשת ממנו עזרה. בילדותה איבדה את אמה. האב, שכיהן כקצין בהודו, שלח את בתו בפנימייה באנגליה. בשנת 1878, כלומר לפני עשר שנים, הוא הגיע לאנגליה, כפי שהודע בעבר במברק. עם זאת, כאשר העלמה מורסטן הגיעה למלון, היא גילתה שאביה נעלם לפתע. הוא לא חזר למחרת, לא חזר יותר. ואז, החל משנת 1882, פתאום החלה לקבל ממנה כל שנה פנינה אחת גדולה ויפה מאוד. וביום ביקורה בהולמס היא קיבלה מכתב בו התבקשה להגיע לתיאטרון Lyceum בערב, בה נאמר כי טופלו בה לא הוגן וכי מישהו רוצה לתקן את העוול הזה.
שרלוק הולמס וד"ר ווטסון הולכים איתה למקום המצוין. לפני שהיא עוזבת, היא מראה להולמס פתק מוזר, שנמצא בחפציו של מורסטן הנעדר, המתאר תוכנית של איזה חדר, עם ארבעה צלבים צבועים בשורה באותו מקום, עם קורות צלב במגע זה עם זה ועם חתימה יומרנית: "שלט של ארבעה." האדם שהם פגשו לוקח אותם במונית לדרום לונדון. שם הם פוגשים גבר אדום-שיער עם ראש קירח מבריק. מסתבר שהוא אחד מבניו התאומים של רב סרן שולטו, שנפטר לפני שש שנים, תדיאוש שולטו. אביו ואביו מיס מורסטן שירתו בעבר בהודו בכוחות הקולוניאליים. שם התפטר רב-סרן שולטו, עשיר באופן מסתורי, לפני אחת-עשרה שנים וחזר לאנגליה עם אוסף עשיר של נדירות מזרחיות וצוות שלם של משרתים ילידים. המייג'ור לא חשף את סוד רכישת האוצרות והיכן הם הוחזקו עד מותו, כאשר חש בגישתה, קרא אליו את בניו וסיפר להם כיצד מת הקפטן מורסטן. התברר כי לאחר שהגיע ללונדון לפני עשר שנים, הוא הגיע לשולטו והיו להם מחלוקת על חלוקת האוצרות, עליהם ידע מורסטן ומחציתו נבע לו. הוא, סבל מלב כואב, עבר התקף. לאחר מכן נפל, לאחר שהכה בראשו בפינת תיבת האוצר, הוא מת. מחשש שיואשם ברצח, הסתיר שולטו את גופת הקברניט ולא אמר דבר לבתו, כעבור כמה ימים, כשהיא מחפשת את אביו הנעדר, היא הגיעה לביתו. לפני מותו, הוא רצה גם לחשוף בפני בניו היכן הארון עצמו מוסתר, אך פנים איומות מחוץ לחלון מנעו ממנו לעשות זאת. הוא נפטר ולקח את הסוד לקבר. בניו, שהרגישו חובה כלפי מיס מורסטן ורצו להיפטר ממנה לפחות לצורך, החלו לשלוח אליה בכל שנה פנינת חרוזים אחת, שהוציאה פעם אחת על ידי אביהם מארון הבגדים. לפי שעה תדיאוש שולטו ואחיו ברתולומיאו אפילו לא ידעו היכן הוסתרו העושר עצמם. עם זאת, יום לפני, אחרי שנים רבות של חיפושים שלא צלחו, מצא אותם ברתולומיאו בעליית הגג של ביתו, בחדר חשאי מוקף. הוא דיווח על כך לתדיאוש. הוא, למרות התנגדויותיו של אחיו, שירש את קמצנותו מאביו, החליט לחלוק את האוצרות עם העלמה מורסטן. כל הארבע עוברות לברתולומיאו. עם זאת, הם מגלים שהוא נהרג על ידי קוץ רעיל שנזרק לצווארו, שהאוצרות נגנבו וכי פיסת נייר עם "סימן של ארבעה" הושארה בזירת הפשע.
פרטים קטנים גורמים לשרלוק הולמס להניח ששני אנשים הם הפושעים - אסיר בורח בשם ג'ונתן סמול, שיש לו תותבת מעץ במקום רגלו הימנית, ומספר 1, פרא מאיי אנדמן, הוא קטן, כועס מאוד וזריז. לאחר שעזר לקטן יחד עם הארון לרדת מהחלון מהחבל, הוא סגר את התריסים מבפנים ויצא מעל עליית הגג. תוך כדי ריצה, הוא הלכלך את כף רגלו בקריוסוטה, והולמס, בעזרת הכלב הרחרח טובי, הלך בעקבותיו אל הנהר. שם הוא גילה שהפושעים עלו על סירת אורורה שכורה. כאשר התוכנית של הולמס להתחקות אחר סירה בעזרת כנופיית נערים שכורה נשברת, הוא, לבוש כמלח זקן, יוצא לחיפוש אחר האורורה ומנסה למצוא אותה על הרציפים. הוא מצליח. הוא קורא לעזרת מפקח החצר הסקוטלונית אתניני ג'ונס החוקרת את הרצח, והם, יחד עם ד"ר ווטסון, רודפים אחרי סירת משטרה ותופסים את הפושעים בארון. כאשר רודפים אחר פרא, עליו להיהרג, מכיוון שהוא מתחיל לירות על רודפיו עם קוציו הרעילים. ד"ר ווטסון לוקח את הארון למיס מורסטן, אך בסופו של דבר מתברר שהוא ריק, שהרופא שמח מאין כמוהו מכיוון שהחסם שעלתה לדעתו בינו לבין הצעירה בגלל עושרה לכאורה, נעלם. כעת הוא יכול להתוודות בחופשיות על אהבתה ולהציע את ידו וליבו. העלמה מורסטן מוצאת את הצעתו מאוד מושכת. קטן, כשהבין שהוא בהכרח יתפס, השליך את התכשיטים לתזה, מכיוון שהוא לא רצה לתת לאף אחד אחר להשיג את זה. מותו של ברתולומיאו שולטו לא היה חלק מתוכניותיו, והוא לא הרג אותו, אלא הפרא הרשע ללא ידיעתו של סמול. כדי לשכנע את שרלוק הולמס ואתלני ג'ונס בזה, הוא מספר להם את סיפור חייו. בצעירותו התגייס כחייל לגדוד שנשלח להודו. עם זאת, עד מהרה נאלץ להיפרד מהשירות: כשהתרחץ בטנגה, התנין נשך את רגלו מעל לברכו, והוא הפך לנכה חסר אונים. ואז, כשעבד כמפקח על מטע, פתאום החל מהומה במדינה. קטן מיהר לאגרה והצטרף ליחידה הבריטית המסתתרת במבצר אגרה, הוא הופקד על שמירה על אחת הכניסות למצודה וקיבלו שני סיקים. בלילה השלישי, הסיקים כבשו את סמול והתעמתו מול בחירה: להיות איתם או לשתוק לנצח. הם סיפרו לו על תוכניתם: במחוזות הצפוניים התגורר רג'ה אחת עשירה מאוד. הוא הורה לחלק מעושרו להסתיר את המשרת אחמט במצודת אגרה עד סוף המלחמה, כך שבמקרה של ניצחון הבריטים הצילו לפחות את החזה הזה. בן הזוג של הסיקים ואחמט, שותפו, רצה להרוג אותו ולהשתלט על הארון. סמול החליט להצטרף אליהם ונשבע להם אמונים. כל הארבעה ביצעו את התוכנית שלהם. הם החביאו את אחמט הנרצח באחד האולמות של המבצר הישן, שם אף אחד לא נכנס מעולם. החזה היה מוקף בקיר של אותו אולם. כל אחד מהם קיבל פתק עם תוכנית וסמל את נאמנותם זה לזה עם "סימן של ארבעה". עם זאת, לאחר מכן כולם נידונו למאסר עולם בגין רצח. תוך כדי ריצוי עונשם, הם לא יכלו להשתמש בעושרם. ואז הסכים סמול עם שולטו ומורסטן, ששמרו על הכלא, שיספר להם היכן מוסתרת הארון, הם יקבלו את חלקם, ובתמורה הם היו מארגנים בריחה לארבעת האסירים. שולטו, שהלך על הארון, הונה את כולם וחזר לבדו לאנגליה. מאז החל סמול לחיות רק מתוך מחשבה לנקמה. הוא נמלט מהכלא בעזרת חבר - יליד בשם טונגו. באנגליה הוא יצר קשר עם אחד משרתיו של רב סרן שולטו וחיכה לרגע הנכון. היה זה קטן שהביט דרך החלון למפקד הגסס. כשהוא המתין בכנפיים, גנב את האוצרות. למותו של ברתולומיאו, הוא פתח את טונגו באמצעות חבל. זה היה סיפורו של ג'ונתן סמול.
אוצרות לא הלכו לאף אחד. ד"ר ווטסון קיבלה את אשתו של העלמה מורסטן, אתלני ג'ונס - תהילה על הפשע שנפתר. הולמס הסתפק באמפולה של קוקאין.