הצגת המקור של הדף "היסטוריה של תורת ההסתברות"

[[קובץ:Nuvola apps atlantik.png|שמאל]]
'''ההיסטוריה של [[תורת ההסתברות]]''' כתורה מדעית נחקרת, החלה במאות ה-[[המאה ה-16|16]] וה-[[המאה ה-17|17]], כשחישובי ההסתברות נעשו באופן נאיבי ואינטואיטיבי. היא החלה לקבל ביסוס מתמטי במאות ה-[[המאה ה-19|19]] וה-[[המאה ה-20|20]], בהן הפכה לתורה מתמטית העומדת על בסיס אקסיומטי איתן.

משחר [[ההיסטוריה האנושית]] עסקו בני-אדם ב[[תרבות|תרבויות]] שונות בפעילויות הנקבעות באופן [[אקראיות|אקראי]], כמו [[הימורים]] ו[[משחק מזל|משחקי מזל]].{{הערה|כך למשל ב[[יוון העתיקה]] הייתה נפוצה גרסה של משחק [[פוקר]] ומשחקים שונים בהם נעשה שימוש ב[[קוביית משחק]]. [http://www.ancient-origins.net/ancient-places-europe/gambling-ancient-civilizations-00931?nopaging=1 Gambling in Ancient Civilizations].}} במקרים רבים גרסה האמונה כי הגורל נקבע על ידי ה[[אל]]ים, וכי הסתמכות על רכיב הכרעה אקראי היא התגרות באלים ומעשה [[שטן]].{{הערה|כך למשל ב[[קוראן]] נאסרו ה"[[מייסיר]]", כלומר הימורים, כי מדובר ב"מעשה שטן" (קוראן, [[סורת אל-מאאידה]] (5), 91-90).}} האקראיות נותרה עלומה בתפיסתם של בני האדם בתרבויות השונות, עד אמצע [[המאה ה-16]] בה [[מתמטיקאי]]ם החלו בתהליך שהוביל להתפתחותה של [[תורת ההסתברות]] ה[[תאוריה|תאורטית]] המטפלת באקראיות בכלים מתמטיים.

לכל אורך ההיסטוריה של תורת ההסתברות היא הייתה בעלת השפעה גדולה על ענפי מדע שונים. בתחילה היא השפיעה על ענפים כמו [[דמוגרפיה]], [[אפידמיולוגיה]] ו[[אסטרונומיה]], ובהמשך התרחבה השפעתה גם על [[מתמטיקה]] ו[[סטטיסטיקה]], ובמידה ניכרת גם על [[אלגוריתמיקה]] ו[[מדעי המחשב]], וכן על ענפי [[מדעי הטבע]], כמו [[פיזיקה]] ובפרט [[פיזיקה סטטיסטית]] ו[[מכניקת הקוונטים]].{{הערה|Gerhard Gerlich, '''[http://link.springer.com/chapter/10.1007%2F978-1-4613-1885-9_20 The Role of Probability and Statistics in Physics]''', in: "Probability and Bayesian Statistics" (1987), pages 193-201.|כיוון=שמאל}} להתפתחות תורת ההסתברות הייתה השפעה מכריעה על התפתחותם של תחומים יסודיים בתוך כל ענפי המדע הללו, ותמצית השפעתה הייתה המסגרת הפורמלית שהיא סיפקה כדי לכמת גדלים שאינם ידועים; גדלים נצפים, גדלים חישוביים וגדלים תאורטיים.{{הערה|שם=UQ|Youssef Marzouk and Karen Wilcox, '''Uncertainty Quantification''', chapter II.34 in: "The Princeton Companion to Applied Mathematics" (page 131), Editor: Nicholas J. Higham, Princeton University Press (2015)|כיוון=שמאל}} במקרים רבים גם לענפי המדע הללו הייתה השפעה על התפתחותה של תורת ההסתברות.

המחקר על אודות ההיסטוריה של תורת ההסתברות ידוע עוד מאמצע המאה ה-19. בשנת [[1865]] פרסם ה[[מתמטיקאי]] וה[[היסטוריה של המתמטיקה|היסטוריון של המתמטיקה]] [[אייזיק טודהאנטר]] את הספר "היסטוריה של התאוריה המתמטית של הסתברות מזמנו של פסקל ועד זמנו של לפלס".{{הערה|ב[[אנגלית]]: "A History of the Mathematical Theory of Probability from the Time of Pascal to that of Laplace"}}

==עבודות מוקדמות==

[[קובץ:Pacioli.jpg|ממוזער|שמאל|130px|[[לוקה פאצ'ולי]], הראשון שבחן בעיה הסתברותית בכלים מתמטיים.]]

ניסיון להתייחס לבעיה הכוללת רכיב אקראי כאל [[בעיה מתמטית]], נעשה בשנת [[1494]] על ידי המתמטיקאי ה[[איטלקי]] [[לוקה פאצ'ולי]] בספרו שכונה בקיצור "סיכום".{{הערה|השם המקורי ב[[לטינית]]: "Summa de arithmetica, geometria, proportioni et proportionalita", וב[[עברית]]: "סיכום של גאומטריה, אריתמטיקה, יחסים ומידתיות".}}{{הערה|שם=על התפתחות תורת ההסתברות|אביבה אלחנן ו[[נצה מובשוביץ-הדר]], '''[https://newhighmath.haifa.ac.il/images/data2/alle10/alle10-4.pdf על התפתחות תורת ההסתברות]''', על"ה, 10 (עמודים 28–33), מרץ 1992.}} פאצ'ולי טיפל בבעיה שכונתה '''בעיית הניקוד''': שתי קבוצות משחקות זו נגד זו. כדי שקבוצה תנצח עליה לצבור 60 נקודות, ואז היא זוכה ב-22 [[דוקט]]ים. מסיבה בלתי צפויה המשחק נפסק לפני שאף אחת משתי הקבוצות הצליחה לצבור 60 נקודות, והמצב היה שקבוצה <math>A</math> זכתה ב-50 נקודות וקבוצה <math>B</math> זכתה ב-30 נקודות. פתרונו של פאצ'ולי היה לחלק את הכסף ביחס של <math>5:3</math> בין הקבוצות, בהתאם למספר הנקודות שצברו. פתרון זה מניח כי היחס בין הסיכוי לניצחון של קבוצה <math>A</math> לבין הסיכוי לניצחון של קבוצה <math>B</math> נקבע על ידי ההיסטוריה של הניצחונות, בה היחס עמד על <math>5:3</math>. אך פתרון זה שגוי, שכן בהנחה כי יש [[תלות (הסתברות)|אי-תלות]] בין המשחקים, הרי שהיחס בין סיכויי הניצחונות של הקבוצות נקבע על ידי מספר המשחקים העתידיים שנדרשים כדי לנצח. כך לפי ההיגיון של פאצ'ולי, אם לקבוצה <math>A</math> הייתה נקודה אחת ולקבוצה <math>B</math> לא היו נקודות כלל, קבוצה <math>A</math> הייתה צריכה לזכות בכל הדוקטים, אך בוודאי קיימת הסתברות חיובית כלשהי לניצחון של קבוצה <math>B</math>.

תובנה [[פילוסופיה|פילוסופית]]-[[תאולוגיה|תאולוגית]] הנוגעת להבחנה הסתברותית, פורסמה בשנת [[1577]] על ידי [[ברתולומיאו דה-מדינה]] (de Medina), [[תאולוג]] [[ספרדים (עם)|ספרדי]]. דה-מדינה קבע כי ניתן לבצע בחירה [[מוסר]]ית שלתוצאותיה הטובות יש הסתברות חיובית כלשהי (במובן האינטואיטיבי של הסתברות), אפילו אם ההסתברות של האלטרנטיבה גבוהה יותר. כך למשל אם אדם מחזיק בדעה המנוגדת לדעתה של [[הכנסייה הקתולית]], מותר לו לבחור לפעול בהתאם לדעתו שלו, על אף שלדעת דה-מדינה ההסתברות לכך שהצדק עם הכנסייה גבוהה מההסתברות שהצדק עמו.{{הערה|[http://www.newadvent.org/cathen/10143a.htm Bartholomew Medina] באתר "New Advent".}}

[[קובץ:Cardano.jpg|ממוזער|שמאל|110px|[[ג'ירולמו קרדנו]], הראשון שעסק באופן שיטתי בבעיות הסתברותיות.]]

המתמטיקאי [[ג'ירולמו קרדנו]] היה הראשון שהגדיר באופן פורמלי את ערך ההסתברות להתרחשות של מאורע מסוים. בחיבורו "ספר על משחקי מזל" (ב[[לטינית]]: "Liber de Ludo Aleae"), אותו כתב ב[[שנות ה-60 של המאה ה-16]], כמעין מדריך למהמר, הוצג לראשונה טיפול שיטתי בבעיות של הסתברות. בספר הובאו טבלאות להדגמת האפשרויות השונות בזריקת שתיים או שלוש קוביות יחד ואת ההסתברות לקבל צירופים שונים. למשל, בשלוש קוביות יש שש אפשרויות לשלושה מספרים זהים, 30 אפשרויות לשני מספרים זהים ואחד שונה, בשלושה סידורים שונים - ובסך הכל 90 אפשרויות. 20 אפשרויות לשלושה מספרים שונים זה מזה בשישה סידורים שונים, ובסך הכל 120 אפשרויות. סך האפשרויות הכללי הוא <math>216 = 90+120+6</math>. קרדנו הציג הגדרה כללית להסתברות להתרחשות תוצאה אחת מבין תוצאות שונות שלכולן סיכויים שווים, וקבע כי היא ''מספר האפשרויות לקבל את התוצאה, לחלק למספר האפשרויות לקבל את כל התוצאות''. כדוגמה הוא מביא זריקת [[קוביית משחק]] הוגנת ובעלת שש פאות, וכותב כי ההסתברות להתרחשות קבלת מספר מסוים (למשל 2), היא <math>\frac{1}{6}</math>.

קרדנו אף ערך חישוב מורכב בעזרת ממצאיו. תחילה חישב את ההסתברות לקבל 6 לפחות באחת מהקוביות, שהיא: <math>\frac{91}{216} = 1 - \left(\frac{5}{6} \right)^3 </math>, ואחר כך חישב את הסיכויים בהימור שייצא 6 בכל אחת משלוש זריקות של שלוש קוביות. קרדנו הראה ש[[יחס הסיכויים]] הוא:
<math>\frac{91^3}{216^3 - 91^3}</math>

קרדנו, אשר בעבודותיו חישב מספר אפשרויות נפרדות לקבלת מספרן המשולב, קבע בעצם את ''כלל החיבור'' (אם כי לא ניסח את הכלל האמור במפורש): אם ההסתברות למאורע <math>A</math> היא <math>p</math> וההסתברות למאורע <math>B</math> היא <math>q</math>, אזי ההסתברות להתרחשות המאורע <math>A~ \text{or}~ B</math> היא <math>p+q</math> (כלל זה תקף רק כאשר המאורעות <math>A,B</math> [[קבוצות זרות|זרים]]). למען השלמות ניתן בספרו ניתוח של משחקים בקוביות דמיוניות שלהן פחות משש פאות. בנוסף, קרדנו ניתח בספרו את המושג "סיכוי", ומגדירו כיחס שבין מספר האפשרויות לזכות ומספר האפשרויות להפסיד. בהיקף קטן הוא עסק גם ב[[משחקי קלפים]].

קרדנו טיפל אף הוא בבעיית הניקוד, ונמנע מהטעות שביצע לפניו פאצ'ולי. הוא היה הראשון שהבין שצריך להתייחס למספר המשחקים שנותרו לכל קבוצה כדי לנצח כמפתח לחלוקה, ולא למשחקים שכל קבוצה כבר ניצחה. עם זאת קרדנו לא הגיע לנוסחה כללית לפתרון בעיית הניקוד.

ספר זה נדפס רק ב-[[1663]], באיחור של כמעט 100 שנים, מה שמנע מקרדנו את הבכורה בייסוד תורת ההסתברות. אך גם כך הגיעו תוצאות עבודתו בדרכים אחרות לידיעת המתמטיקאים של דורו ושל הדורות הבאים.{{הערה|[http://www.link.cs.cmu.edu/15859-s11/notes/Mcfadyen_review.pdf Review of Liber De Ludo Aleae (Book on Games of Chance) by Gerolamo Cardano]|כיוון=שמאל}}

==הולדת הקומבינטוריקה ותורת ההסתברות הנאיבית==
===המקדם הבינומי===

{{הפניה לערך מורחב|מקדם בינומי}}

תוצאה שקרדנו הציג השייכת לתחום ה[[קומבינטוריקה]] והתפרסמה מחוץ לספרו האמור, עוסקת במספר תתי הקבוצות בגודל <math>k</math> איברים מתוך קבוצה בגודל <math>n</math> איברים. קרדנו פתר את הבעיה באופן הבא: קבוצה טיפוסית מגודל <math>k</math> מורכבת מאיבר ראשון, עבורו יש <math>n</math> אפשרויות בחירה, מאיבר שני, עבורו יש <math>n-1</math> אפשרויות בחירה, וכן הלאה, עד האיבר ה-<math>k</math>, עבורו יש <math>n-k+1</math> אפשרויות בחירה. ובסך הכל ישנן <math>n \cdot (n-1) \cdot \dots \cdot (n-k+1)</math> אפשרויות לבנות תת-קבוצה בגודל <math>k</math>. עם זאת, במקרה בו סדר האיברים בתת-הקבוצה אינו משנה יש להקפיד לא לספור פעמיים קבוצות זהות המתקבלות זו מזו על ידי שינוי סדר. מספר המיקומים הפנימיים השונים של <math>k</math> איברים כלשהם בתוך קבוצה בגודל <math>k</math> הם: <math>k</math> מיקומים לאיבר הראשון, <math>k-1</math> מיקומים לאיבר לשני, וכן הלאה, עד האיבר ה-<math>k</math> שמיקומו יחיד, <math>k-k+1 = 1</math>. בסיכום, מספר האפשרויות לבנות תת-קבוצה כמבוקש שבה הסדר הפנימי אינו חשוב, הוא הנוסחה המפורסמת:
<math display="block">\binom{n}{k} = \frac{n \cdot (n-1) \cdot \dots \cdot (n-k+1)}{k \cdot (k-1) \cdot ... \cdot 1} = \frac{n!}{(n-k)! \cdot k!}</math>

[[קובץ:PascalTriangleAnimated2.gif|לא ממוסגר|שמאל|150px]]

תוצאה זו, קומבינטורית באופיה, חיונית לחישובים הסתברותיים בסיסיים. היא התגלתה עוד קודם לכן על ידי [[לוי בן גרשון]] (המכונה הרלב"ג), במאה ה-[[המאה ה-14|14]], אך לא נודעה ברבים בזמנה, והקרדיט עבור הגילוי ניתן למתמטיקאי ה[[צרפתי]] [[בלז פסקל]] שהציג אותה בצורה הפופולרית ביותר — [[משולש פסקל]]:

 1 שורה 0
 1 1 שורה 1
 1 2 1 שורה 2
 1 3 3 1 שורה 3
 1 4 6 4 1 שורה 4
 ............... .........

ערך כל איבר במשולש הוא סכום שני אילו שמעליו. האיבר ה-<math>k</math>, כאשר <math>k = 0,1,2,...</math>, בשורה ה-<math>n</math>, נותן את הפתרון. למשל, ישנן 6 אפשרויות — האיבר השני (השמאלי ביותר הוא כזכור האיבר ה-0) בשורה הרביעית — לקחת שני עצמים מתוך ארבעה. בנוסף לכך, פסקל הוכיח כ-20 טענות שונות בקשר למשולש זה.

בשנים [[1636]]–[[1637]] מצא [[מרן מרסן]] הכללה לנוסחה עבור מקרה בו הסדר הפנימי דווקא משנה. מרסן תיאר את מספר האפשרויות ללקיחת <math>k_1</math> עצמים מסוג אחד, <math>k_2</math> עצמים מסוג שני עד <math>k_j</math> מסוג <math>j</math>, מתוך <math>n</math> עצמים, כאשר הסדר הפנימי בתוך כל תת-קבוצה אינו משנה:
<math display="block">\frac{n!}{k_1! \cdot k_2! \cdot \dots \cdot k_j!} </math>

ב-[[1678]] טבע [[תומאס סטרוד]] (Strode) את המושג ''[[פרמוטציה]]'' (ב[[עברית]]: ''תמורה'') ויישם את נוסחת מרסן לחישוב הסתברות.{{הערה|'''A History of Probability and Statistics and Their Applications before 1750''', chapter 12.2, "NEW CONTRIBUTIONS PUBLISHED BETWEEN 1657 AND 1708", page 184.}} תחילה חישב סטרוד את מספר הצורות לחלק קבוצה בת <math>n</math> איברים ל-<math>j</math> תת-קבוצות בגדלים <math>k_1,k_2,...,k_j</math> כך שמתקיים <math>k_1+k_2+...+k_j = n</math>, ולפי נוסחת מרסן מצא כי מספר זה הוא:
<center><math>\frac{n!}{k_1! \cdot k_2! \cdot ... \cdot k_j!}</math></center> באמצעות תוצאה קומבינטורית זו פתר סטרוד את הבעיה הבאה: בהינתן <math>j</math> קוביות הוגנות כך שהקוביה ה-<math>i</math> היא בעלת <math>k_i</math> פאות (ממוספרות <math>1,2,...,k_i</math>), מהי ההסתברות שבהטלה של כולן יחד, סכום המספרים יהיה <math>n</math>.

===פסקל ופרמה===
{{תמונות מרובות
|תמונה1=Blaise Pascal 2.jpg
|תמונה2=Pierre de Fermat.jpg
|סיומת=[[בלז פסקל]] (מימין) ו[[פייר דה פרמה]] (משמאל), שהתכתובת ביניהם נחשבת ללידתה של תורת ההסתברות.
|רוחב=200
}}
ידוע כי עבודות של האסטרונומים [[יוהאנס קפלר]] ו[[גלילאו גליליי]] שילבו אלמנטים הסתברותיים, אולם למרות זאת בקרב היסטוריונים של המתמטיקה מקובל לתארך את לידתה של תורת ההסתברות הנאיבית לשנת [[1654]].{{הערה|שם=Essentials|Par Jean Jacod & Philip Protter, '''Probability Essentials''', "Introduction", page 1.|כיוון=שמאל}} בשנה זו פנה אציל צרפתי בשם [[שבליה דה מרה]] למתמטיקאי הצרפתי [[בלז פסקל]] בנוגע למשחק קוביות, והציג שאלה שזכתה לשם "בעיית הניקוד": נניח ששני שחקנים משחקים משחק מזל בו בכל תור אחד מהם מקבל נקודה באופן אקראי (למשל לפי תוצאת הטלת קוביות), ומי שמגיע למספר נקודות מסוים זוכה בפרס שנקבע מראש. אם המשחק הופסק לפני סיומו, איך צריך לחלק את הפרס בין השחקנים?

בעקבות פנייה זו החלה להתנהל תכתובת בין פסקל לבין [[פייר דה פרמה]], ובה עסקו שני המתמטיקאים בבעיות הקשורות למשחקי מזל. בין השאר מצאו פתרון הוגן עבור בעיית הניקוד, כפי שיתואר להלן. התכתובת בין פסקל לפרמה פורסמה רק ב-[[1679]] (לאחרי פרסומו של הויגנס, ראו להלן).

חלק מהבעיות בהן עסקו פרמה ופסקל כבר נפתרו על ידי קרדנו, אך הם לא היו מודעים לכך. באשר למשחקי קובייה, פסקל ופרמה דנו בבעיות כמו מה ההסתברות שיופיע המספר <math>6</math> בארבע זריקות של קובייה אחת, או שיופיע רצף של <math>6,6</math> בשמונה זריקות לכל היותר (כלומר בזריקה אחת, או בשתי זריקות וכן הלאה עד שמונה) של שתי קוביות, וכדומה. במהלך ההתכתבות נעשה שימוש שיטתי בכללי החיבור והמכפלה, כלומר: אם ההסתברות למאורע <math>A</math> היא <math>p</math> וההסתברות למאורע <math>B</math> היא <math>q</math>, אזי ההסתברות להתרחשות המאורע <math>A~ \text{or}~ B</math> היא <math>p+q</math> (כלל זה תקף רק כאשר המאורעות <math>A,B</math> [[קבוצות זרות|זרים]]), וההסתברות להתרחשות המאורע <math>A~ \text{and}~ B</math> היא <math>p \cdot q</math> (כלל זה תקף רק כאשר המאורעות <math>A,B</math> [[תלות (הסתברות)|בלתי-תלויים]]). כמו כן נעשה שימוש ראשון במכפלה של ההסתברות לזכייה בערך הזכייה - המוכרת כיום כ[[תוחלת]], אחד המושגים הבסיסיים בתורת ההסתברות. כן הם עשו שימוש במונח ''קומבינציה'' — צירוף בו אין חשיבות לסדר האיברים.

בנוסף התייחסו פרמה ופסקל בהתכתבותם למאורעות שאת היחסים ביניהם ניתן לתאר במונחים מאוחרים יותר כ[[תלות (הסתברות)|תלות]], אולם הם לא הציגו תיאור כללי של תלות ואי-תלות.{{הערה|שם=MathOverflow|[http://mathoverflow.net/questions/163582/what-is-the-early-history-of-the-concepts-of-probabilistic-independence-and-cond What is the early history of the concepts of probabilistic independence and conditional probability/expectation?] באתר [[MathOverflow]].}}

פרמה סיפק לראשונה פתרון הוגן לבעיית הניקוד: נניח כי לשחקן <math>A</math> חסרות <math>a</math> נקודות, וכי לשחקן <math>B</math> חסרות <math>b</math> נקודות. במצב זה, המשחק יסתיים אחרי לכל היותר <math>\ a+b-1</math> צעדים, ולכן יש לכל היותר <math>\ N=2^{a+b-1}</math> אפשרויות שונות להמשך המשחק. פתרונו של פרמה הוא כדלקמן: נבנה טבלה את כל התוצאות האפשריות של <math>a+b-1</math> הצעדים הבאים במשחק (נתעלם מכך שהמשחק יכול להיות מוכרע עוד לפני שכולם הסתיימו). נספור את המקרים בהם כל שחקן מנצח ונסמן אותם <math>\ N_A, N_B</math> בהתאמה (אפשר לבצע חישוב בעזרת [[משולש פסקל]]). ההסתברויות לניצחון של כל שחקן הן <math>\frac{N_A}{N}, \frac{N_B}{N}</math>, ואת החלוקה ההוגנת קובעים לפי [[הסתברות#יחס הסתברויות|יחס ההסתברויות]] <math>N_A:N_B</math>.

פסקל שיפר את הפתרון של פרמה (אשר הולך ומסתבך ככל שמספר הנקודות החסרות גדל) על ידי פתרון [[רקורסיה|רקורסיבי]] לבעיה, דבר שהיווה שימוש ראשון ברקורסיה לפתרון בעיות בהסתברות: נסמן ב-<math>e (a,b)</math> את החלק היחסי מהקופה שצריך לקבל שחקן <math>A</math> במצב שתואר לעיל (<math>a, b</math> מספר הנקודות הדרושות לניצחון עבור כל שחקן). אילו בוצע צעד נוסף במשחק, היו יכולים להיות שני מצבים אפשריים - <math>e(a-1,b)</math> או <math>e(a,b-1)</math>, בהסתברות שווה, ולכן צריך לתת להם משקלים שווים, ומכאן ניתן לחשב באופן רקורסיבי:
<math display="block">e(a,b) = \frac{1}{2} \cdot \left(e(a-1,b) + e(a,b-1) \right)</math>

כאשר תנאי העצירה הם: <math>e(0,b) = 1, e(a,0)=0</math>.

<math>e (a,b)</math> היא למעשה תוחלת הזכייה, ופסקל משתמש בה כאן לראשונה, בלי להגדירה במפורש.

פסקל ופרמה דנו באותה בעיה גם עם שלושה שחקנים. הפתרון הרקורסיבי פעל גם במקרה זה באופן דומה, אך בשיטה של פרמה (מניית האפשרויות) נוצר סיבוך נוסף: מספר התוצאות האפשריות הוא <math>\ 3^{a+b+c-2}</math>, אבל יש מקרים בהם שני שחקנים משיגים את מספר הניצחונות הדרוש להם, ואז כדי להחליט למי לייחס את התוצאה יש להתחשב בסדר בו השיגו השחקנים את הניצחונות - ולא ניתן לנצל את משולש פסקל לחישוב מקוצר כמו במקרה של שני שחקנים.

===הויגנס===

[[קובץ:Christiaan Huygens-painting.jpeg|ממוזער|שמאל|110px|[[כריסטיאן הויגנס]], ממניחי היסודות לתורת ההסתברות הנאיבית.]]

הצעדים הבאים נעשו על ידי [[כריסטיאן הויגנס]], שפרסם ב-[[1657]] את חיבורו "על חישובים במשחקי מזל".{{הערה|ב[[לטינית]]: "De Ratiociniis in Ludo Aleae"}} חיבור זה היה הפרסום הפומבי הראשון בענייני הסתברות (ספרו של קרדנו יצא לאור כאמור רק ב-[[1663]]). בחיבור זה ישנם כללים שאת כולם הציג הויגנס ב[[רקורסיה]], ועל ידי דוגמאות מספריות מסוימות ולא בצורה כללית. חיבורו של הויגנס היווה אבן יסוד בנושא ההסתברות והביא להתעניינות בתחום מצד מתמטיקאים חשובים, לא מעט גם בגלל השעשוע שבפתרון הבעיות שהוצגו בו, כמו [[יאקוב ברנולי]]. בנוסף, הוא הקנה לתחום גישה מסודרת ואנליטית.

בנפרד מהבעיות ההסתברותיות בהן דן הויגנס, הוא התייחס ל''טבלאות חיים'' — טבלאות בהן מוצגים נתונים על ילודים. כל טבלה מתחילה מגיל אפס ועם השנים חלקם מתים, עד שכולם מסיימים את חייהם. הויגנס התייחס לטבלה כזאת כמין הגרלה בה כל משתתף (ילוד) ''מגריל'' כרטיס ובו מספר השנים שנועדו לו, ובכך הציג לראשונה את הקשר העמוק בין [[סטטיסטיקה]] לבין תורת ההסתברות.

כמו פרמה ופסקל, גם הויגנס נגע במושג ה[[תלות (הסתברות)|תלות]], אך לא הגדיר אותו באופן כללי ומדויק דיו.{{הערה|שם=MathOverflow}}

הויגנס הציג הכללה של מושג ה''תוחלת'', אותה גם הגדיר לראשונה: אם נמצאים במצב בו ישנם שני מאורעות אפשריים, נאמר מאורע <math>A</math> (למשל זכייה בהגרלה) שערכו הוא <math>a</math> (למשל [[מספר שלם]] וחיובי של מטבעות), ומספר האפשרויות בהן מתרחש המאורע <math>A</math> הוא <math>p</math>, וכמו כן מאורע <math>B</math> (למשל הפסד בהגרלה) שערכו הוא <math>b</math> (למשל מספר שלם ושלילי של מטבעות), ומספר האפשרויות בהן מתרחש המאורע <math>B</math> הוא <math>q</math>, אז התוחלת של המצב בו אנו נמצאים היא:
<math display="block">\frac{p \cdot a + q \cdot b}{p+q}</math>

בהמשך דן הויגנס בווריאציות שונות של בעיית הניקוד עם שניים או שלושה שחקנים, וכן בווריאציות שונות של אפשרויות במשחקי קובייה. הכלל האחרון שהוצג בחיבורו, ייחודי בכך שמדובר במשחק בו אין מגבלה לאורכו, ובמסגרתו פיתח הויגנס שיטת אנליזה הקרויה על שמו: שחקן <math>A</math> זוכה אם בהטלת שתי קוביות סכום התוצאות הוא <math>7</math>, שחקן <math>B</math>, שגם זורק ראשון, צריך להשיג בהטלה של שתי קוביות סכום תוצאות של <math>6</math>. הויגנס סימן את ההסתברות ש-<math>A</math> יזכה על ידי <math>x</math>, אם תורו של שחקן <math>B</math>, והוא סימן אותה ב-<math>y</math>, אם תורו של <math>A</math>. כעת הוא השתמש בבנייה הבאה כדי למצוא במפורש את <math>x,y</math>. תחילה יש לשים לב כי ההסתברות ל-<math>7</math> בזריקה אחת של שתי קוביות היא <math>\frac{6}{36}</math>, וההסתברות ל-<math>6</math> בזריקה אחת של שתי קוביות היא <math>\frac{5}{36}</math>. כעת, בניתוח של תור בודד, נניח של שחקן <math>B</math>, ההסתברות ששחקן זה יזכה היא <math>\frac{5}{36}</math>, וההסתברות שלא יזכה היא <math>1 - \frac{5}{36} = \frac{31}{36}</math>, ואז ההסתברות לניצחון של <math>A</math> היא <math>y</math>. אם כך, ההסתברות ש-<math>A</math> יזכה אם כעת תורו של <math>B</math> היא <math>y \cdot \frac{31}{36} = x</math>. כעת נניח שתורו של <math>A</math> לשחק. ההסתברות שיזכה מיד היא <math>\frac{6}{36}</math> וההסתברות שלא יזכה מיד היא <math>1 - \frac{6}{36} = \frac{30}{36}</math>. ההסתברות ש-<math>A</math> ינצח אם כעת תורו היא לפיכך <math>x \cdot \frac{30}{36} + \frac{6}{36} = y</math>. התקבלו אם כך שתי משוואות בשני הנעלמים <math>x,y</math>.

בעיה נוספת שהויגנס מציג דומה לבעיה הקודמת, אלא שבה <math>B</math> זורק ראשון, <math>A</math> זורק פעמיים, <math>B</math> פעמיים וכן הלאה. בעיה אחרת היא משחק בו שלושה שחקנים מוציאים ומחזירים מיד כדור מתוך כד בו יש ארבעה כדורים אדומים ועוד שמונה כדורים כחולים, והמנצח הוא מי שמוציא כדור אדום ראשון. בעיה נוספת היא מצב בו יש 40 קלפים, 10 מכל סוג, וצריך להוציא ארבעה, כל אחד מסוג אחר וללא החזרה של הקלפים.

===ברנולי===

[[קובץ:Jakob Bernoulli.jpg|ממוזער|שמאל|110px|[[יאקוב ברנולי]], הראשון שכתב חיבור מתמטי על אודות תורת ההסתברות.]]

המתמטיקאי ה[[שווייצרי]] [[יאקוב ברנולי]] כתב ספר רב השפעה בשם "אמנות הניחוש",{{הערה|ב[[לטינית]]: "Ars Conjectandi"}} שפורסם רק ב-[[1713]], כשמונה שנים לאחר מותו. היה זה ספר היסוד המוקדם ביותר לתורת ההסתברות שהיה מוגדר ככזה, וכחיבור מחקרי מתמטי של ממש.{{הערה|קרדנו פרסם רק "מדריך למשחקי מזל", והויגנס פרסם חוברת דקה שהכילה דוגמאות.}} לספר היו ארבעה חלקים: הערות מקיפות על ספרו של הויגנס; טיפול יסודי ב[[קומבינטוריקה]] וב[[תמורה (מתמטיקה)|תמורות]]; משחקי מזל מנקודת מבט מתמטית; ויישומים ל[[כלכלה]] ול[[פוליטיקה]]. חלקו האחרון כלל הוכחה של [[החוק החלש של המספרים הגדולים]] עבור [[התפלגות ברנולי|משתני ברנולי]], שניסח לראשונה באופן מתמטי את הקשר העמוק שבין מושג ה[[ממוצע]] לבין מושג ה[[תוחלת]].

[[קובץ:Ars Conjectandi of Jakob Bernoulli, 1713 (1160x1130).png|ממוזער|ימין|עמוד השער של ספרו של ברנולי]]

בחלקו הראשון של הספר סיכם ברנולי את עבודתו של הויגנס, והכליל אותה לכדי נוסחאות (הויגנס נתן פתרונות מספריים, כאמור), וכן סיכם את עבודתו של פסקל. ברנולי הציג תאוריה שלמה של צירופים ותמורות. כמו כן הוא ציין את כלל המכפלה להסתברות של קיום שניים או יותר מאורעות בלתי תלויים, בכמה וריאציות: אם ישנם <math>n</math> מאורעות, ולכל מאורע הסתברות <math>p</math>, ההסתברות שיתקיימו כולם היא <math>\ p^n</math>. במקרה זה ההסתברות לאי-קיום המאורע היא <math>1-p</math>, ולכן עבור כל <math>0 \leq m \leq n</math>, ההסתברות למאורע בו מתקיימים בדיוק <math>m</math> מאורעות ולא מתקיימים בדיוק <math>n-m</math> מאורעות, היא: <math>\ p^m \cdot \left(1-p\right)^{n - m}</math>, אם נודעת חשיבות לסדר המאורעות. אם אין חשיבות לסדר, יש להכפיל את התוצאה האמורה במספר האפשרויות ללקיחת <math>m</math> איברים מתוך <math>n</math>, כלומר ב-<math>\binom{n}{m}</math>.

ברנולי עמד על ההבדל בין מאורעות [[קבוצות זרות|זרים]] לבין מאורעות שאינם זרים. מאורעות זרים הם למשל שתי התוצאות האפשריות בהטלת מטבע — עץ או פלי. מאורעות שאינם זרים הם למשל שני נידונים למוות שמקבלים רשות לשחק משחק בו כל אחד מטיל שתי קוביות בתורו, ומי שסכום קוביותיו גבוה יותר ישוחרר, אך אם התוצאה זהה — ישוחררו שניהם. כלומר המאורע שאסיר אחד ישוחרר והמאורע שהאסיר האחר ישוחרר אינם זרים, לכל נידון הסתברות גבוהה יותר מ-50% להשתחרר.

בחלקו השני של הספר הציג ברנולי לראשונה את הקומבינטוריקה בצורה שיטתית. תחילה הוכיח ברנולי ב[[אינדוקציה]] שמספר התמורות של <math>n</math> איברים הוא <math>n! = 1 \cdot 2 \cdot \dots \cdot n</math>, ושמספר התמורות של <math>n</math> איברים בהם יש <math>k_1</math> איברים מסוג אחד, <math>k_2</math> איברים מסוג שני, וכן הלאה, עד <math>k_j</math> איברים מסוג <math>j</math>, היא <math>\frac{n!}{k_1! \cdot k_2! \cdot \dots \cdot k_j!}</math> (נוסחת מרסן). בהמשך הספר, קבע ברנולי את מספר האפשרויות לחלק n איברים לשתי קבוצות בגודל <math>m, n-m</math>, כך שמאחת התת-קבוצות לוקחים <math>a-b</math> איברים ומהשנייה לוקחים <math>b</math> איברים, כמכפלה של מספר האפשרויות של תת-קבוצה אחת במספר האפשרויות של תת-הקבוצה האחרת.

ברנולי גם דן במאורעות של "הוצאה עם החזרה". אם ישנם <math>n</math> איברים בכד ומוציאים <math>m</math> מתוכם, כאשר כל איבר יכול להילקח עם כפילויות (כלומר הצירוף של <math>m</math> האיברים יכול לכלול את אותו איבר כמה פעמים. למשל, כד מלא בכדורים בצבעים שונים. כאשר כל כדור מוצא מן הכד, נספר, ומיד אחר מוחזר לכד), אז מספר הקומבינציות הוא <math>\frac{\left(n+m-1\right)!}{m! \cdot \left(n-1\right)!}</math>, כיוון שכל אחד מ-<math>m</math> האיברים נספר הן כאחד מ-<math>n</math> המקוריים והן כאחד מ-<math>m</math> האיברים שהוצאו. לקיחת <math>m</math> איברים מתוך <math>n</math>, אם כן, שקולה להשמת <math>n-1</math> מחיצות ב-<math>n+m-1</math> מיקומים אפשריים, כאשר ישנן <math>m!</math> אפשרויות לסידורם.

כמו כן הראה ברנולי כי מספר הפרמוטציות האפשריות ללקיחת <math>m</math> איברים מתוך <math>n</math> כאשר מאפשרים כפילויות הוא <math>n^m </math>, וזאת אם ישנה חשיבות לסדר (אחרת, אם אין חשיבות, יש לחלק את הביטוי במספר האפשרויות לסידורים השונים). בהמשך הדגים ברנולי בעזרת טבלאות שיטה אלגוריתמית למציאת מספר הצירופים האפשריים לכל תוצאה במספר קוביות נתון.

כמו פסקל, גם ברנולי חקר את ''משולש פסקל'', וחזר על הוכחות באופן דומה. מחקריו במשולש פסקל הובילו אותו גם למספר תוצאות חשובות ב[[חשבון דיפרנציאלי ואינטגרלי]]. כן פיתח ברנולי פתרון ל''בעיית המשחק המופסק'' עבור משחקים התלויים במיומנות כמו [[טניס]], כלומר בעיה בה ההסתברות לניצחון כל אחד מן הצדדים אינה <math>\frac{1}{2}</math>. פתרונו לבעיה זו היווה הכללה של נוסחת הרקורסיה של פסקל (ראו לעיל).

בהמשך מצא ברנולי נוסחאות לסכומים של פרמוטציות, קישר בין הנוסחאות בהסתברות לביטויים רב-איבריים ועוד. בכך סיכם ברנולי את תורת ההסתברות הנאיבית, שעסקה במאורעות שווי-הסתברות בהם סכום ההסתברויות שווה ל-1, ושבכל שלב יש מספר סופי של אפשרויות בדידות. כך סוכמה עבודתם של פסקל, פרמה והויגנס.

ברנולי מצא את הנוסחה לבעיית המשחק בעל אורך בלתי מוגבל שהציג הויגנס, ופתר מספר מקרים פרטיים שלה. למשל, אם שני שחקנים <math>A,B</math> משחקים משחק, בו המנצח צריך להשיג תוצאה של <math>6</math> בקובייה בודדת. הזריקות מתבצעות בסדר הבא: בשלב הראשון <math>A</math> זורק פעם אחת ואחריו <math>B</math> זורק פעם אחת, בשלב השני <math>A</math> זורק פעמיים ואחריו <math>B</math> זורק פעמיים, בשלב הבא הם זורקים שלוש פעמים בזה אחר זה, וכן הלאה עד [[אינסוף]]. נסמן <math>q = \frac{5}{6}</math> ונסמן <math>p = 1-q = \frac{1}{6}</math>.

ההסתברות שהמשחק יסתיים בשלב הראשון היא ההסתברות ששחקן <math>A</math> ינצח, <math>p</math>, ועוד ההסתברות ששחקן <math>B</math> ינצח, <math>q \cdot p</math> (שכן צריך ששחקן <math>A</math> לא ינצח, וזה מתרחש בהסתברות <math>q</math>). באופן דומה, ההסתברות שהמשחק יסתיים בשלב השני היא ההסתברות ששחקן <math>A</math> ינצח בשלב השני, <math>q^2 \cdot p</math>, ועוד ההסתברות ששחקן <math>B</math> ינצח <math>q^3 \cdot p = q^2 \cdot q \cdot p</math>. וכן הלאה, ההסתברות שהמשחק יסתיים בשלב ה-<math>k</math> היא ההסתברות ששחקן <math>A</math> ינצח, <math>q^{2(k-1)} \cdot p</math>, ועוד ההסתברות ששחקן <math>B</math> ינצח, <math>q^{2(k-1)+1} \cdot p</math>. בסך הכל נקבל כי ההסתברות למאורע שהמשחק יסתיים בשלב כלשהו, היא ה[[טור (מתמטיקה)|טור האינסופי]]: <math>\left[ p + q \cdot p \right] + q^2 \cdot \left[ p + q \cdot p \right] + q^4 \cdot \left[ p + q \cdot p \right] + \dots</math>. אם נסמן בקיצור <math>r := p + q \cdot p</math>, נקבל כי ההסתברות שהמשחק יסתיים בשלב כלשהו היא <math>r \cdot \sum_{k=0}^{\infty}q^{2k}</math>, והיות ש-<math>0 < q < 1</math> נובע כי טור זה אכן מתכנס, כפי שנוסח באופן פורמלי שנים רבות לאחר עבודתו של ברנולי. הייתה זו הפעם הראשונה בה בעיה בהסתברות נפתרה באמצעות [[סכום אינסופי]].

==המשך התפתחותה של תורת ההסתברות==
===דה-מואבר===

[[קובץ:Abraham de moivre.jpg|ממוזער|שמאל|110px|[[אברהם דה-מואבר]], הוגה מושג ה"תלות"]]

המתמטיקאי ה[[צרפתי]] [[אברהם דה-מואבר]] הרחיב את עבודתם של הויגנס וברנולי, וספרו "תורת הסיכויים: מתודה לחישוב הסתברויות של מאורעות במשחק",{{הערה|ב[[אנגלית]]: "The Doctrine of Chance: A method of calculating the probabilities of events in play"}} הוא הספר השני המשמעותי אודות תורת ההסתברות לאחר ספרו של ברנולי. ספר זה פורסם בארבע מהדורות; הראשונה ב[[לטינית]] בשנת [[1711]], ושלוש מהדורות נוספות באנגלית בשנים [[1718]], [[1738]] ו-[[1756]].{{הערה|{{הערה|{{מתמטיקאי|De_Moivre|אברהם דה-מואבר}}}}}} תרומתו הכוללת של דה-מואבר לתורת ההסתברות הייתה כה חשובה, עד שבמאה ה-19 כתב עליו ההיסטוריון של המתמטיקה [[אייזיק טודהאנטר]] כי "תורת ההסתברות חייבת את רובה לדה-מואבר, עם יוצא דופן אחד והוא לפלס".{{הערה|שם=דה-מואבר-לפלס|בספרו A History of the Mathematical Theory of Probability from the Time of Pascal to that of Laplace משנת [[1865]]. ראו: {{הידען|לירן זיידמן|אברהם דה-מואברה – אבי תורת ההסתברות|de-moivre-2012193|20 בנובמבר 2009}}.}} אמירה זו כבר אינה תקפה באשר לתורת ההסתברות בימינו אנו, אך שיקפה את מצבה של תורת ההסתברות במאה ה-19.

[[קובץ:Abraham de Moivre - Doctrine of Chance - 1718.gif|ממוזער|ימין|עמוד השער של ספרו של דה-מואבר]]

במהדורה משנת [[1738]] הגדיר דה-מואבר את המושג היסודי של [[תלות (הסתברות)|תלות]] בין מאורעות, וניסח במפורש את התובנה שההסתברות להתרחשות זוג מאורעות תלויים אינה מכפלת ההסתברויות להתרחשות כל אחד מהמאורעות. עם זאת הוא לא כתב במפורש את הנוסחה הידועה <math>\mathbb{P} \left(A \mid B \right) \cdot \mathbb{P} \left(B \right) =
\mathbb{P} \left(A ~\text{and}~ B \right)</math>.{{הערה|שם=MathOverflow}}

במהדורות המאוחרות של ספרו כלל דה-מואבר תוצאה שגילה בשנת [[1733]], לפיה ההתנהגות ה[[אסימפטוטה|אסימפטוטית]] של ה[[התפלגות בינומית|התפלגות הבינומית]] [[קירוב|מקורבת]] על ידי מה שכונה מאוחר יותר [[התפלגות נורמלית]] או [[התפלגות גאוסיאנית]],{{הערה|Abraham De Moivre (November 12, 1733) "Approximatio ad summam terminorum binomii (a+b)n in seriem expansi" (self-published pamphlet), 7 pages.|כיוון=שמאל}} כלומר גרסה של [[משפט הגבול המרכזי]] עבור ההתפלגות הבינומית. דה-מואבר גילה זאת על ידי כך שמצא כי אם מבצעים סדרות גדולות של הטלות מטבע פעמים רבות בזו אחר זו, מספר ה"עצים" שמתקבל על ידי סדרות ההטלות מתואר על ידי גרף הפעמון המפורסם של ההתפלגות הנורמלית. הייתה זו הפעם הראשונה בה [[שגיאת קירוב]] תוארה במונחים של [[התפלגות]], ונעשה ניתוח של השגיאה באמצעים הסתברותיים. דה-מואבר עשה צעד נוסף לעבר גילוי ההתפלגות הנורמלית, בכך שפרסם ניתוח סטטיסטי של טבלאות של התפלגות התמותה של בני אדם לפי גיל, ששימשו ליישומים [[אקטואריה|אקטואריים]]. יש שייחסו לפיכך לדה-מואבר את גילוי ההתפלגות הנורמלית,{{הערה|Johnson, Norman L.; Kotz, Samuel; Balakrishnan, Narayanaswamy (1994). Continuous Univariate Distributions, Volume 1. Wiley. page 85.|כיוון=שמאל}} אך עם זאת ברור כי דה-מואבר לא הבין את חשיבותה של ההתפלגות הנורמלית כשלעצמה וגם לא ידע כיצד לתאר אותה במונחים של [[פונקציית צפיפות]], אלא ראה בה רק קירוב אסימפטוטי של ההתפלגות הבינומית.{{הערה|Stephen M. Stigler, '''The History of Statistics: The Measurement of Uncertainty before 1900''', Harvard University Press (1986), page 76.|כיוון=שמאל}}

דה-מואבר הכליל את [[נוסחת הבינום]] של [[אייזק ניוטון]], והציג את [[נוסחת המולטינום]]. כמו כן בשנת [[1733]] גילה דה-מואבר נוסחה לחישוב מקורב של פונקציית ה[[עצרת (מתמטיקה)|עצרת]], דבר ששימש רבות בחישובים הסתברותיים. הקירוב שהציג דה-מואבר היה <math>n! \approx c \cdot n^{n+1/2} \cdot e^{-n}</math> כאשר <math>c</math> היה [[קבוע מתמטי|קבוע]] שדה-מואבר ידע רק לקרב. מאוחר יותר גילה [[ג'יימס סטירלינג]] כי <math>c = \sqrt{2 \pi}</math>, ומכאן השם "[[נוסחת סטירלינג]]".{{הערה|Pearson, Karl. "Historical note on the origin of the normal curve of errors". Biometrika. 16: 402–404.|כיוון=שמאל}}

הישג מוקדם נוסף של דה-מואבר היו כמה תוצאות אודות [[התפלגות פואסון]], עד שהיו שטענו שההתפלגות צריכה לשאת את שמו של דה-מואבר.{{הערה|Stephen M. Stigler, '''Poisson on the Poisson distribution''', Statistics & Probability Letters 1.1 (1982), pages 33-35.|כיוון=שמאל}} עם זאת המתמטיקאי ה[[צרפתי]] [[סימאון דני פואסון]] הוא זה שפרסם לראשונה תיאור מלא של ההתפלגות, בשנת [[1837]] בספרו "מחקר על תורת ההסתברות של פסקי-דין פליליים ואזרחיים".{{הערה|ב[[אנגלית]]:
"Research on the Probability of Criminal and Civil Verdicts"}} בספרו זה תיאר פואסון באופן מלא את [[התפלגות פואסון]], המתארת את ההסתברות למאורעות נדירים ובלתי-תלויים המתרחשים בממוצע בקצב קבוע. פואסון השתמש בהתפלגות זו כדי לתאר את "[[תהליך פואסון]]", שהוא תהליך מקרי בו התפלגות מספר המאורעות בפרק זמן נתון היא התפלגות פואסון. בנוסף, פואסון פרסם בספרו זה גרסה של [[החוק החלש של המספרים הגדולים]].{{הערה|[https://www.britannica.com/biography/Simeon-Denis-Poisson Siméon-Denis Poisson], ב[[אנציקלופדיה בריטניקה]].}}

===גאוס===

[[קובץ:Carl Friedrich Gauss.jpg|שמאל|ממוזער|110px|[[קרל פרידריך גאוס]], הראשון שתיאר את ההתפלגות הנורמלית]]

בשנת [[1807]] פרסם המתמטיקאי ה[[גרמני]] [[קרל פרידריך גאוס]] את ספרו "תאוריית התנועה של גופים שמימיים בחתכים חרוטיים סביב השמש",{{הערה|ב[[לטינית]]: "Theoria motus corporum coelestium in sectionibus conicis solem ambientium"}} ובו תיאר לראשונה באופן מלא את ה[[התפלגות נורמלית|התפלגות הנורמלית]]. גאוס בספרו תיאר את [[שיטת הריבועים הפחותים]] ואת שיטת [[אמידת נראות מרבית]], שתיהן שיטות יסודיות ביותר המשמשת רבות ב[[סטטיסטיקה]], ועשה בהן שימוש על מנת לנתח נתוני מדידות אסטרונומיות שלעיתים סתרו זו את זו.

כדי לאמוד את השגיאה של המדידות, גאוס בחר להניח כי ה[[ממוצע חשבוני|ממוצע החשבוני]] הוא הערך שממזער את שגיאת המדידה. כלומר, המדידה שמרחקה מן הממוצע החשבוני הוא המזערי, היא בהסתברות גבוהה הקרובה ביותר לערכים האמיתיים. תחת הנחה זו הוא חישב ומצא כי ההתפלגות הנורמלית מתארת את שגיאת המדידה, וסיפק נוסחה של ההתפלגות הנורמלית הסטנדרטית.{{הערה|בספרו, בחלק 177. ראו גם: {{נסיכת המדעים|18770|ההיסטוריה של ההתפלגות הנורמלית}}.}}

===לפלס===

[[קובץ:Pierre-Simon Laplace.jpg|שמאל|ממוזער|110px|[[פייר-סימון לפלס]], תרם רבות לחקר ההתפלגות הנורמלית, וליסודות משפט הגבול המרכזי]]

בשנת [[1812]] פרסם המתמטיקאי ה[[צרפתי]] [[פייר-סימון לפלס]] את ספרו "התאוריה האנליטית של ההסתברות",{{הערה|ב[[צרפתית]]: "Théorie analytique des probabilités"}} שנכתב בעיקר כדי לבסס את "תורת השגיאות" — התפלגות שגיאות המדידה אותה חקר גאוס. אף על פי שגאוס תיאר לראשונה את התפלגות שגיאות המדידה כהתפלגות נורמלית, הוא לא סיפק תיאור מלא של התפלגות זו. לפלס היה זה שחישב לראשונה את הנוסחה המלאה ל[[פונקציית התפלגות מצטברת|פונקציית ההתפלגות המצטברת]] של ההתפלגות הנורמלית, על ידי חישוב האינטגרל <math>\int e^{-t^2} dt = \sqrt{ \pi }</math> שסיפק את הקבוע החשוב של ההתפלגות הנורמלית.{{הערה|Pearson, Karl (1905). "'Das Fehlergesetz und seine Verallgemeinerungen durch Fechner und Pearson'. A rejoinder". Biometrika. 4 (1): 169–212. page 189.|כיוון=שמאל}} בבואו לחקור את התפלגות השגיאות, גישתו של לפלס הייתה הפוכה מזו של גאוס, [[הסתברות בייסיאנית|בייסיאנית]] במהותה: לפלס בחר להניח כי לשגיאות המדידה ישנה [[התפלגות משותפת]] מסוימת, התפלגות [[אפריורי]]ת, וטען כי גם כאשר התפלגות זו אינה ההתפלגות הנורמלית — היא בכל אופן מתכנסת להתפלגות הנורמלית, כפי שקובע [[משפט הגבול המרכזי]].{{הערה|[http://onlinestatbook.com/2/normal_distribution/history_normal.html History of the Normal Distribution] באתר Online Statistics Education; {{נסיכת המדעים|1877|ההיסטוריה של ההתפלגות הנורמלית}}.}} לפלס לא סיפק ניסוח מלא והוכחה של משפט הגבול המרכזי, אך הוא הציג גרסה ראשונה שלו עבור התפלגות בינומית, כפי שכבר חזה דה-מואבר, ובשנים [[1810]]–[[1811]] הוא פיתח את התורה של [[פונקציה אופיינית (הסתברות)|פונקציות אופייניות]] שסיפקה הוכחה לגרסה זו. בכך תרם לפלס לביסוס חשיבותה התאורטית העליונה של ההתפלגות הנורמלית.{{הערה|Stigler, Stephen M. (1986). The History of Statistics: The Measurement of Uncertainty before 1900. Harvard University Press. {{ISBN|0-674-40340-1}}. page 144.}}

בשנת [[1814]] לפלס אף ניסה לתאר באופן אקסיומטי את תורת ההסתברות, כפי שיפורט בפרק על הנושא, אולם היה זה ניסיון בוסרי שלא היה פורמלי דיו במונחים מודרניים.

הערכות מוקדמות העניקו ללפלס מקום של כבוד, וכך ב[[המאה ה-19|מאה ה-19]] כתב ההיסטוריון של המתמטיקה [[אייזיק טודהאנטר]] כי "תורת ההסתברות חייבת את רובה לדה-מואבר, עם יוצא דופן אחד והוא לפלס".{{הערה|שם=דה-מואבר-לפלס}} הסטטיסטיקאי הנודע [[רונלד פישר]] טען כי השקפותיו של לפלס על הסתברות היו ברובן "שטויות חסרות בסיס", מתוך עמדה המתנגדת ל[[סטטיסטיקה בייסיאנית]]. אולם מנגד — ואולי אף מבלי לסתור זאת — חוקרים חשובים אחרים תיארו את עבודותיו המוקדמות של לפלס כחשובות כל-כך, עד כי הסטטיסטיקה המודרנית היא "סדרת הערות שוליים ללפלס".{{הערה|John Aldrich, '''[https://projecteuclid.org/download/pdf_1/euclid.ba/1340370565 R. A. Fisher on Bayes and Bayes' Theorem]''', Bayesian analysis (2008), 3 (1), pages 161–170|כיוון=שמאל}}

===צ'בישב===

[[קובץ:Chebyshev.jpg|שמאל|ממוזער|110px|[[פפנוטי צ'בישב]], הראשון שסיפק הוכחה לחוק המספרים הגדולים]]

בחלקה השני של המאה ה-19 חלה התפתחות עצומה בחקר תורת ההסתברות, בעיקר ב[[רוסיה]]. התפתחות זו תרמה לגיבושו הפורמלי של [[חוק המספרים הגדולים]] על שלל גרסאותיו, ועד לגולת הכותרת של תורת ההסתברות אז — הוכחת [[משפט הגבול המרכזי]]. התפתחות זו השפיעה רבות על המחקר בתורת ההסתברות במאה ה-20.

בשנת [[1863]] ניסח המתמטיקאי ה[[צרפתי]] [[אירנה-ז'ול ביינאמה|אירנה-ז'ול ביינאמה (בְּיָאנְאֶמֶה)]] (Irénée-Jules Bienaymé) לראשונה את מה שמכונה היום [[אי-שוויון צ'בישב]], לפיו עבור משתנה מקרי <math>X</math> בעל שונות <math>0 < \sigma < \infty</math> ובעל תוחלת סופית, לכל <math>C > 0</math> מתקיים כי ההסתברות למאורע <math>\left\{ \left| X \right| > C \right\}</math> חסומה מלעיל על ידי <math>\frac{\mathbf{E} \left[ X^2 \right]}{C^2}</math>. תוצאה זו מהווה תוצאה בעל חשיבות יסודית, והיא נקראת לעיתים גם על שמו של ביינאמה.{{הערה|שם=צ'בישב|{{מתמטיקאי|Chebyshev|פפנוטי צ'בישב}}}}

בשנת [[1867]] סיפק המתמטיקאי ה[[רוסי]] [[פפנוטי צ'בישב]] הוכחה לאי-שוויון זה, ועל בסיסו הוא הצליח להוכיח את [[החוק החלש של המספרים הגדולים]] בגרסתו עבור סדרת [[משתנה מקרי|משתנים מקריים]] [[תלות (הסתברות)|בלתי-תלויים]] בעלי [[שונות]] סופית, החסומה במידה שווה.{{הערה|שם=צ'בישב}}{{הערה|שם=EoM|[[יורי פרוחורוב]], [https://www.encyclopediaofmath.org/index.php/Law_of_large_numbers Law of large numbers] באתר Encyclopedia of Mathematics.}}

עשרים שנה לאחר מכן, פרסם צ'בישב מאמר בשם "על אודות שני משפטים בנוגע להסתברות",{{הערה|ב[[אנגלית]]: "On two theorems concerning probability"}} שהיווה צעד ראשון בדרך להוכחת [[משפט הגבול המרכזי]]. לצ'בישב היו תוצאות חשובות נוספות בתורת ההסתברות, כדוגמת חקירתה של [[פונקציית בטא]] החשובה ל[[התפלגות בטא]], ולעבודתו הפורמלית נודעה חשיבות בפיתוחה של תורת ההסתברות.{{הערה|שם=צ'בישב}} כך למשל כתב אודותיו [[אנדריי קולמוגורוב]], כי {{ציטוטון|העיקרון המרכזי בעבודתו של צ'בישב התמקד בכך שהוא ניסה להעריך במדויק את תקפותם של אי-שוויונים תחת בדיקות רבות על מנת לאמוד את השגיאה מהחסם. יתרה מזאת, צ'בישב היה הראשון שהגדיר במדויק והשתמש ברעיונות יסוד כמו "אי-שוויון מקרי" וה"תוחלת" שלו.}}{{הערה|A P Youschkevitch, Biography in Dictionary of Scientific Biography (New York 1970-1990).|כיוון=שמאל}}

===ליאפונוב===

[[קובץ:Alexander Ljapunow jung.jpg|שמאל|ממוזער|110px|[[אלכסנדר ליאפונוב]], הראשון שהוכיח גרסה מלאה של משפט הגבול המרכזי.]]

בשנת [[1901]] סיפק המתמטיקאי הרוסי [[אלכסנדר ליאפונוב]], תלמידו של צ'בישב ועמיתו של מרקוב, נוסח כללי של [[משפט הגבול המרכזי]], והוכיח אותו באמצעות [[פונקציה אופיינית (הסתברות)|פונקציות אופייניות]].{{הערה|Tijms Henk, '''Understanding Probability: Chance Rules in Everyday Life''', Cambridge University Press (2004), page 169.|כיוון=שמאל}} אמנם גרסה ראשונית של משפט הגבול המרכזי עבור ההתפלגות הבינומית כבר ניסח דה-מואבר, ולפלס הוכיח אותה באמצעות פונקציות אופייניות, אך עם זאת תוצאה זו נשכחה וחשיבותה לא הובנה עד לעבודתו של ליאפונוב, שסיפק נוסח כללי למשפט יסודי זה. הנוסח של ליאפונוב עסק בסדרה <math>\left\{ X_i \right\}_{i=1}^{\infty}</math> של משתנים מקריים [[תלות (הסתברות)|בלתי-תלויים]], שלמשתנה המקרי <math>X_i</math> תוחלת סופית <math>\mu _i</math> ושונות <math>\sigma _i^2</math>, והם מקיימים את מה שמכונה ''תנאי ליאפונוב'': כלומר, נסמן <math>s_n^2 = \sum_{i=1}^n \sigma_i^2</math>, וקיים איזשהו <math>\delta > 0</math> שעבורו קיים ה[[גבול (מתמטיקה)|גבול]] הבא:
<center><math>\lim_{n\to\infty} \frac{1}{s_{n}^{2+\delta}} \sum_{i=1}^{n} \operatorname{E}\big[\,|X_{i} - \mu_{i}|^{2+\delta}\,\big] = 0</math>
</center>

בתנאי זה, קובע משפט הגבול המרכזי בגרסת ליאפונוב, מתקיימת ה[[התכנסות בהתפלגות]] הבאה:{{הערה|Patrick Billingsley, Probability and Measure (1995; Third edition), page 362.|כיוון=שמאל}}
<math display="block">\frac{1}{s_n} \sum_{i=1}^{n} (X_i - \mu_i) \ \xrightarrow{d}\ \mathcal{N}(0,\;1)</math>

למרות חשיבותו העליונה של משפט הגבול המרכזי, שאר עבודתו המתמטית של ליאפונוב התמקדה ב[[פיזיקה מתמטית]] ופחות בתורת ההסתברות. גרסאות נוספות של משפט הגבול המרכזי סיפקו בהמשך המתמטיקאי ה[[פיני]] [[יארל ולדמר לינדברג|יַארְל וַלְדֵמַר לִינְדֵבֶּרְג]] {{אנ|Jarl Waldemar Lindeberg}} והמתמטיקאי ה[[צרפתי]] [[פול לוי]]. כמו כן הושגה גם הכללה של המשפט למשתנים מקריים רב-ממדיים, שם ההתכנסות היא ל[[התפלגות רב-נורמלית]].

==התפתחות במאה ה-[[המאה ה-20|20]]==
===מרקוב===

[[קובץ:AAMarkov.jpg|שמאל|ממוזער|110px|[[אנדריי מרקוב]], מהמייסדים הראשונים של חקר [[תהליך סטוכסטי|תהליכים סטוכסטיים]].]]

פיתוחה של תורת ההסתברות במהלך [[המאה ה-20]] התרחש בעקבות דחיפה עצומה שחלה במחקר בחלקה השני של [[המאה ה-19]]. כך בשנת [[1907]] הצליח המתמטיקאי ה[[רוסי]] [[אנדריי מרקוב]] להכליל את התוצאה של צ'בישב מ-[[1867]], ולקבוע כי חוק המספרים הגדולים תקף גם במקרה בו השונות אינה סופית, תחת תנאי חלש יותר לפיו <math>\mathbf{E} \left[ X_i - \mathbf{E} \left[ X_i \right] \right]^{1+\delta} < L</math> לאיזה <math>\delta > 0</math> עבור קבוע <math>L > 0</math>. הוא עשה זאת באמצעות פיתוח התורה של [[שרשראות מרקוב]], ועבודתו הכללית על הוכחת חוק המספרים הגדולים היא אבן יסוד בתורה של [[תהליכים מקריים]], שתרמה רבות גם ל[[התורה הארגודית|תורה הארגודית]].{{הערה|שם=EoM}} בשנת [[1929]] הכליל המתמטיקאי הרוסי [[אלכסנדר חינצ'ין]] את התוצאה של צ'בישב בכיוון אחר, והראה כי חוק המספרים הגדולים בגרסתו החלשה תקף בכל מקרה בו ה[[תוחלת]] סופית, בתנאי שהמשתנים המקריים הם גם שווי-התפלגות.{{הערה|שם=EoM}}

===קולמוגורוב ועמיתיו===

המתמטיקאי ה[[רוסי]] [[אנדריי קולמוגורוב]] תרם רבות לכלים היסודיים ביותר בחקר תורת ההסתברות. תרומתו הבסיסית ביותר היא ביסוס המערכת האקסיומטית של תורת ההסתברות (ראו להלן), אך גם משפטים יסודיים ביותר המשמשים בתורה זו הם פרי עבודתו, כדוגמת [[אי-שוויון קולמוגורוב]], [[חוק האפס-אחד של קולמוגורוב]], [[משפט שני הטורים של קולמוגורוב|משפט שני הטורים]] ו[[משפט שלושת הטורים של קולמוגורוב|משפט שלושת הטורים]]. עוד היו לו תרומות כלליות אותן ניתן להחשיבן כחלק מ[[תורת המידה]], כדוגמת [[משפט האן-קולמוגורוב]]. לקולמוגורוב תרומה גם לתורה של [[תהליך סטוכסטי|תהליכים סטוכסטיים]], כדוגמת [[משפט ההרחבה של קולמוגורוב|משפט ההרחבה]] ו[[משפט הרציפות של קולמוגורוב|משפט הרציפות]], שני משפטים שיחדיו מספקים את אחת הדרכים לבנות [[תנועה בראונית]].

בסוף [[שנות ה-30 של המאה ה-20|שנות ה-30]] הקימו מספר מתמטיקאים חשובים מ[[אוניברסיטת מוסקבה]], בהם [[ישראל גלפנד]], [[אלכסנדר חינצ'ין]] ו[[פאבל אלכסנדרוב]], קבוצת מחקר להסתברות ולסטטיסטיקה ב[[מכון סטקלוב למתמטיקה]] של [[האקדמיה הרוסית למדעים]]. בראש קבוצת מחקר זו הועמד קולמוגורוב. במסגרת זו נחקרו תופעות פיזיקליות כדוגמת תנועתם של [[כוכב לכת|כוכבי לכת]] ו[[זרימה טורבולנטית]] של [[אוויר]] מ[[מנוע סילון]], ובשנת [[1941]] פורסמו שני מאמרים יסודיים בנושאים אלה, המטפלים בהם מנקודת מבט הסתברותית של [[מערכת דינמית|מערכות דינמיות]]. מחקר זה יצר השפעה עמוקה של תורת ההסתברות על תחום ה[[פיזיקה]].{{הערה|שם=קולמוגורוב|{{מתמטיקאי|Kolmogorov|אנדריי קולמוגורוב}}}}

השפעה זו המשיכה ב[[שנות ה-50 של המאה ה-20|שנות ה-50]], אז פורסמו עבודות של קולמוגורוב המטפלות גם ב[[מכניקה המילטוניאנית]] מנקודת מבט של מערכות דינמיות, שבהמשך התפתחו לכדי תורת "KAM" הקרויה על שם קולמוגורוב-[[ולדימיר ארנולד|ארנולד]]-[[יורגן מוזר|מוזר]].{{הערה|שם=קולמוגורוב}}

===תורת התהליכים המקריים===

{{ערך מורחב|תהליך מקרי}}

עבודותיהם של מרקוב וקולמוגורוב על התורה של תהליכים מקריים פתחה ענף חדש בתורת ההסתברות. בהמשך לעבודות אלה, תרומה חשובה לתורת ההסתברות פורסמה על ידי המתמטיקאי ה[[הונגרי]] [[ג'ורג' פוליה]]. פוליה הראה בשנת [[1921]] תוצאה מפתיעה לגבי [[הילוך מקרי פשוט]] על ה[[סריג (גאומטריה)|סריג]] <math>\mathbb{Z}^d</math>, לפיה ההילוך נשנה (היינו, יש הסתברות 1 לחזור לנקודת המקור) אם <math>d=1</math> או <math>d=2</math>, וחולף (היינו, יש הסתברות שאינה 1 לחזור לנקודת המקור) עבור כל <math>d</math> שלם חיובי אחר. כלומר, אם מתחילים בנקודה אקראית על הסריג <math>\mathbb{Z}^d</math> ומבצעים בכל שלב צעד אחד בכיוון כלשהו ב[[התפלגות אחידה בדידה|התפלגות אחידה]], אז בהסתברות <math>1</math> נחזור לנקודת ההתחלה אינסוף פעמים אם ורק אם <math>d=1</math> או <math>d=2</math>. תרומה נוספת של פוליה הייתה בתחום של [[פונקציה אופיינית (הסתברות)|פונקציות אופייניות]], שם הראה את הקשר לתורה של [[התמרת פורייה]] של מידות הסתברות.{{הערה|{{מתמטיקאי|Polya|ג'ורג' פוליה}}}}

התהליך המקרי הרציף המכונה [[תנועה בראונית]] היה מפורסם עוד מראשית [[המאה ה-19]]. ב"[[שנת הפלאות (1905)|שנת הפלאות]]" של הפיזיקאי זוכה [[פרס נובל לפיזיקה|פרס נובל]] [[אלברט איינשטיין]], באחד מארבעת מאמריו הנודעים עשה איינשטיין שימוש בתנועה בראונית במחקרו על [[מכניקה סטטיסטית]], במקביל לעבודתו של הפיזיקאי ה[[פולני]] {{קישור שפה|אנגלית|Marian Smoluchowski|מריאן סמולוכובסקי}}. בהמשך לעבודות אלה, הפיזיקאי ה[[צרפתי]] [[ז'אן-בטיסט פרן]], גם הוא זוכה פרס נובל, עשה שימוש בתנועה בראונית כדי לחשב את [[מספר אבוגדרו]]. השלכות אלה על תחום הפיזיקה חיזקו את העניין המתמטי בתנועה בראונית שבתקופה זו טרם הייתה מוגדרת במסגרת אקסיומטית מוצקה, ובשנת [[1923]] סיפק המתמטיקאי ה[[אמריקאי]] [[נורברט וינר]] ביסוס מתמטי למושג מורכב זה, עד שבהקשר של תורת התהליכים המקריים תהליך זה מכונה "תהליך וינר". לפי תיאור זה, משפחה של [[משתנה מקרי|משתנים מקריים]] <math>\left\{ W_t \right\}_{t \in \mathbb{R}_+ }</math> היא "[[תהליך וינר]]", אם היא מקיימת את כל התנאים הבאים:
# <math>W_0 = 0</math> [[כמעט תמיד]].
# עבור כל <math>u > 0</math>, {{כ}}<math>W_{t+u} - W_t</math> הוא משתנה מקרי [[תלות (הסתברות)|בלתי-תלוי]] ב-<math>\left\{ W_s \right\}_{s \in \left[ 0,t \right] }</math>.
# עבור כל <math>u > 0</math>, {{כ}}<math>W_{t+u} - W_t</math> הוא משתנה מקרי בעל התפלגות נורמלית מהצורה <math>N\left(0,u\right)</math>.
# <math>\left\{ W_t \right\}_{t \in \mathbb{R}_+ }</math> רציף במשתנה <math>t</math> בהסתברות <math>1</math>.
ההוכחה שאכן קיימת סדרה משתנים מקריים שהיא תהליך וינר לא הייתה מובנת מאליה בזמנו.

[[קובץ:Paul Pierre Levy 1886-1971.jpg|110px|ממוזער|שמאל|[[פול לוי]], ממניחי היסודות לתורת התהליכים המקריים]]

בהמשך [[המאה ה-20]] בלט המחקר בתורה של תהליכים מקריים. לפיתוח תחום זה תרם רבות המתמטיקאי ה[[צרפתי]] [[פול לוי]],{{הערה|שם=Essentials}} בפרט לתורה של [[תהליך מרקוב אדיטיבי|תהליכים אדיטיביים]], והספר החשוב הראשון בתורה זו הוא ספרו משנת [[1948]], "תהליכים סטוכסטיים ותנועה בראונית".{{הערה|ב[[אנגלית]]: "Processus stochastiques et mouvement brownien"}} תורם מרכזי נוסף לתורה של תהליכים מקריים היה המתמטיקאי ה[[אמריקאי]] [[ג'וזף דוב]], שפיתח ב[[שנות ה-50 של המאה ה-20|שנות ה-50]] את יסודות התורה של [[מרטינגל (תורת ההסתברות)|מרטינגל]]ים. תורה זו עסקה בהילוכים מקריים המתארים משחק הוגן, בהם התוחלת של הרווח בכל שלב נקבעת על ידי השלב הקודם. התפתחות מושג התנועה הבראונית קודם לכן הולידה גם את חקר המרטינגלים בזמן רציף, וכך למשל אחת מתרומותיו הבולטות של קודמו של דוב, לוי, היה מה שכונה "קריטריון לוי", לפיו משפחת משתנים מקריים <math>\left\{ W_t \right\}_{t \in \mathbb{R}_+ }</math> היא תהליך וינר [[אם ורק אם]] היא מרטינגל רציף [[כמעט תמיד]] עם התנאי <math>W_0 = 0</math>, המקיים כי <math>\left\{ W_t^2 - t \right\}_{t \in \mathbb{R}_+ }</math> גם הוא מרטינגל. עבודתו של לוי עסקה גם בתורה של חוקי גבול כלליים יותר, וכך למשל אחת הגרסאות הנודעות של [[משפט הגבול המרכזי]] פותחה על ידי לוי.

בשנות ה-50 פיתח המתמטיקאי ה[[יפני]] [[קיושי איטו]] את ה[[אנליזה סטוכסטית|אנליזה הסטוכסטית]], תוך שימוש בתנועה בראונית. תחום זה איפשר לבצע חשבון דיפרנציאלי ואינטגרלי עבור תהליכים מקריים, ולפיכך גם פתרון [[משוואות דיפרנציאליות]] סטוכסטיות. לתחום זה יישומים חשובים בעיקר ב[[מתמטיקה פיננסית]], למשל ב[[מודל בלק-שולס]].

==הביסוס האקסיומטי והמושָׂגִי של תורת ההסתברות==
===אקסיומות לפלס===

בשנת [[1814]] פרסם לפלס את חיבורו "מסה פילוסופית על ההסתברות",{{הערה|ב[[צרפתית]]: "Essai philosophique sur les probabilités"}} ובחיבור זה הציג לפלס לראשונה ניסיון להגדיר באופן מתמטי מהי הסתברות. עקרונות אלה של לפלס היו ניסיון ראשון לתאר את תורת ההסתברות בצורה אקסיומטית, אך הם לא היו מספיק חמורים במונחים מודרניים.

ספרו של לפלס נפתח בסדרת העקרונות הבאים:
# הסתברות היא היחס בין מאורע המטרה לבין כל המאורעות האפשריים.
# הנחת היסוד הראשונה היא שיש הסתברות שווה לכל המאורעות. כאשר זה לא מתקיים, עלינו להגדיר הסתברויות לכל המאורעות, ואז ההסתברות של כל המאורעות האפשריים היא סכום ההסתברויות של כל המאורעות.
# עבור מאורעות בלתי-תלויים, ההסתברות של התרחשות של כולם היא מכפלת ההסתברויות של כולם.
# עבור מאורעות תלויים, ההסתברות שמאורע <math>B</math> יתרחש לאחר המאורע <math>A</math>, היא ההסתברות שיתרחש מאורע <math>A</math> כפול ההסתברות שיתרחש המאורע <math>A ~\text{and}~ B</math>.
# ההסתברות שיתרחש מאורע <math>A</math> בהינתן שהתרחש מאורע <math>B</math>, היא ההסתברות שיתרחש המאורע <math>A ~\text{and}~ B</math> לחלק להסתברות שיתרחש המאורע <math>B</math>.
# אם <math>A_i</math> הוא מאורע אחד מתוך המאורעות <math>A_1,A_2,...,A_n</math>, והוא ממצה את רשימת כל האפשרויות שיתרחש מאורע <math>B</math>, וגם ההסתברות להתרחשות המאורע <math>B</math> שווה להסתברות להתרחשות המאורעות <math>A_1,A_2,...,A_n</math>, אז מתקיימת הנוסחה:
<math display="block">\Pr(A_i \mid B) = \Pr(A_i)\frac{\Pr(B\mid A_i)}{\sum_j \Pr(A_j)\Pr(B\mid A_j)}</math>

עקרון שביעי שמופיע בספרו של לפלס הוא "כלל העקיבה", הקובע כך: אם בניסוי כלשהו יש רק שתי תוצאות אפשריות המסומנות ב-<math>s</math> וב-<math>f</math>, תחת ההנחה כי לא ידוע דבר אפריורי על ההסתברויות של תוצאות אלה, אז ההסתברות ל-<math>s</math> בצעד הבא (הצעד ה-n+1) היא <math>\frac{s(n)+1}{n+2}</math>, כאשר <math>s(n)</math> היא מספר ה-<math>s</math>-ים שהופיעו עד הצעד ה-<math>n</math>.

===ניסיונות מוקדמים===

הצורך בגיבוש בסיס [[אקסיומה|אקסיומטי]] מוצק לתורת ההסתברות גבר בסוף [[המאה ה-19]]. כך בשנת [[1889]] פרסם המתמטיקאי ה[[צרפתי]] [[ז'וזף ברטראן]], בספרו "חשבון ההסתברות",{{הערה|ב[[צרפתית]]: "Calcul des probabilitiés"}} את ה[[פרדוקס]] שמאוחר יותר קיבל את שמו "[[הפרדוקס של ברטראן]]". הפרדוקס עסק בשאלה הבאה: {{ציטוטון|בהינתן [[מעגל]] ב[[מישור (גאומטריה)|מישור]] ו[[משולש שווה-צלעות]] החסום בו, מהי ההסתברות ש[[מיתר (גאומטריה)|מיתר]] אקראי יהיה ארוך יותר מצלעו של המשולש?}} ברטרנד תיאר כמה צורות שונות לחשב הסתברות זאת, והגיע לתוצאות שונות. הפתרון לפרדוקס נבע מכך שמרחב ההסתברות בפרדוקס אינו מוגדר היטב, היות שלא ברור האם מה ש"אקראי" הוא נקודות הקצה של המיתר, נקודת האמצע שלו או הרדיוס.{{הערה|ראו עוד: P D Vestergaard, How long is the chord? (Bertrand's paradox) (Danish), Normat 3 (1979), 112-114; 128.}} כוונתו של ברטאן הייתה לערער על האפשרות להעמיד את תורת ההסתברות על יסודות אקסיומטיים, מתוך תפיסה שרכיב האקראיות סותר את העקרונות המדעיים המקובלים, וכך הוא כתב בספרו זה: {{ציטוטון|כיצד נעז לדבר על אודות חוקי ההסתברות? האם "הסתברות" אינה האנטיתזה לכל חוק?!}}{{הערה|'''[https://books.google.co.il/books?id=se5iE4DMPioC&pg=PA1380&lpg=PA1380&dq=How+dare+we+speak+of+the+laws+of+chance?+Is+not+chance+the+antithesis+of+all+law?&source=bl&ots=LFnnnX1XQc&sig=yr_Xu0bOYn_FMK_B-k7I_f7LICA&hl=iw&sa=X&ved=0ahUKEwjt197G5MbZAhXJDewKHZgxDB4Q6AEINDAC#v=onepage&q=How%20dare%20we%20speak%20of%20the%20laws%20of%20chance%3F%20Is%20not%20chance%20the%20antithesis%20of%20all%20law%3F&f=false Chance]''' by Henry Poincare. In: James Roy Newman (Editor), "The World of Mathematics", Volume 2, 2000.}} למרות כוונתו של ברטראן, הפרדוקס שהציג השפיע על הבנת הצורך בהגדרה מדויקת של ה[[התפלגות אחידה רציפה|התפלגות האחידה]], וממנה על הבנת החשיבות של בניית מערכת אקסיומות [[עקביות (לוגיקה)|עקבית]] לתורת ההסתברות.

ניסיון לטפל בצורה אקסיומטית בתורת ההסתברות בוצע ב[[העשור השני של המאה ה-20|עשור השני של המאה ה-20]] על ידי המתמטיקאי ה[[איטלקי]] [[פרנצ'סקו פאולו קנטלי]]. קנטלי יצר מסגרת אקסיומטית כדי לטפל בחוקי גבול, אך המסגרת שהציע הייתה חלקית בלבד ולא טיפלה במושגים יסודיים כמו [[משתנה מקרי]]. עם זאת היא הייתה טובה דיה כדי להוכיח תוצאות עקרוניות, וכך למשל אחת התוצאות היסודיות בתורה של חוקי גבול העוסקת ב[[התכנסות בהסתברות]] היא [[הלמה של בורל-קנטלי]].{{הערה|Eugenio Regazzini, '''[http://www.jehps.net/Mars2005/Regazzini.pdf Probability and statistics in Italy during the First World War I: Cantelli and the laws of large numbers]''', in: Electronic Journal for History of Probability and Statistics, 2005.|כיוון=שמאל}}

ניסיון נוסף לתאר אקסיומטית את תורת ההסתברות נעשה על ידי [[ריכרד פון מיזס]] בשנת [[1919]].{{הערה|A. Szafarz, "Richard von Mises: l'échec d'une axiomatique", Dialectica 38 (4), 1984, pp. 311–317.|כיוון=שמאל}} ניסיון זה לא צלח, אך קולמוגורוב העיד כי הוא שאב מניסיון זה השראה.{{הערה|שם=מיזס|אנדריי קולמוגורוב, [http://www.sciencedirect.com/science/article/pii/S0304397598000759/part/first-page-pdf On tables of random numbers], הודפס בכתב העת Sankhyā: The Indian Journal of Statistics, Series A (1961-2002), Vol. 25, No. 4 (Dec., 1963), pages 369-376.}} באותה השנה, המתמטיקאי ה[[צרפתי]] [[פול לוי]] מסר שלוש הרצאות מפורסמות ב[[אקול פוליטקניק]] על אודות המושגים היסודיים של תורת ההסתברות, וכן על התפלגות השגיאות לפי עבודתו של [[גאוס]].{{הערה|שם=לוי|{{מתמטיקאי|Levy_Paul|פול לוי}}}} לעבודתו של לוי הייתה תרומה גדולה לגיבוש תורת ההסתברות לכדי תורה מתמטית, בפרט בספרו "תורת החשבון של הסתברות",{{הערה|ב[[צרפתית]]: "Calcul des probabilités"}} שפורסם בשנת [[1925]].{{הערה|שם=לוי}}

===השפעת תורת המידה===

[[קובץ:Emile Borel-1932.jpg|ממוזער|שמאל|110px|[[אמיל בורל]], הראשון שהבין את הקשר בין תורת ההסתברות לבין תורת המידה.]]

בסוף המאה ה-19 התפתחה [[תורת המידה]] — תורה מתמטית שנועדה לטפל במושגים כמו [[אורך]], [[שטח]] ו[[נפח]], מנקודת מבט [[גאומטריה|גאומטרית]]. אחד ממניחי היסודות של תורה זו, המתמטיקאי ה[[צרפתי]] [[אמיל בורל]], הציע עוד בסוף המאה ה-19 לבחון את תורת ההסתברות מנקודת מבט זו של תורת המידה, אם כי הוא לא טיפל במקרה הכללי של מרחב הסתברות אלא במרחב הסתברות של קטע ממשי. הסתכלות זאת התבררה כמוצלחת במיוחד, ובהמשך הפכה לגישה השלטת בתורת ההסתברות.{{הערה|שם=Sion|Maurice Sion, [http://www.math.ubc.ca/~marcus/Math507420/Math507420hist.pdf HISTORY OF MEASURE THEORY IN THE TWENTIETH CENTURY], page 23.|כיוון=שמאל}} בראשית [[שנות ה-20 של המאה ה-20]], הרחיב המתמטיקאי ה[[אמריקאי]] [[נורברט וינר]] גישה זו, והגדיר [[מידה (מתמטיקה)|מידה]] על מרחב ה[[מסילה (מתמטיקה)|מסילות]] הרציפות על-מנת לתאר את תנועתם של חלקיקים הצפים בנוזל, מה שמכונה כיום [[תנועה בראונית]]. גישה זו סיפקה פרספקטיבה חדשה לחלוטין הן על תורת המידה הן על תורת ההסתברות;{{הערה|שם=Sion}} מעתה תורת המידה הכללית לא טיפלה רק בגודל של קבוצות במובן הגאומטרי, אלא אפשרה מדידה של קבוצות במגוון הקשרים — כדוגמת הסתברות של מאורע. לפי גישה זו, מאורע הוא תת-קבוצה של [[מרחב המדגם]], והסתברותו של המאורע היא מידת הגודל היחסי של תת-קבוצה זו. פרספקטיבה זו הפכה למסגרת ה[[אקסיומה|אקסיומטית]] המקובלת עד ימינו, כפי שהתגבשה על ידי קולמוגורוב.

עוד קודם לקולמוגורוב, בשנת [[1923]], סיפק המתמטיקאי ה[[פולני]] [[הוגו שטיינהאוס]] לראשונה תיאור פורמלי של [[מרחב הסתברות|מרחב ההסתברות]] של [[הטלת מטבע|הטלות מטבע]],{{הערה|Mark Kac, '''Enigmas of chance: an autobiography''', University of California Press (1987), pages 49–53.|כיוון=שמאל}} שהושפע מתיאורו המוקדם של בורל.{{הערה|Mark Kac, '''[https://books.google.co.il/books?id=1ZWl39UJWycC&pg=PA50&lpg=PA50&dq=steinhaus+Grzegorz+Krochmalny&redir_esc=y#v=onepage&q=coin&f=false Enigmas of chance: an autobiography]''', University of California Press (1987), page 65.|כיוון=שמאל}} בנוסף, שטיינהאוס גם היה הראשון שסיפק תיאור פורמלי של ה[[התפלגות אחידה רציפה|התפלגות האחידה הרציפה]], וכן למושג ה[[תלות (הסתברות)|תלות]] בין שני [[משתנה מקרי|משתנים מקריים]].{{הערה|{{מתמטיקאי|Steinhaus|הוגו שטיינהאוס}}}}

===אקסיומות קולמוגורוב===

[[קובץ:Andrej Nikolajewitsch Kolmogorov.jpg|ממוזער|שמאל|130px|[[אנדריי קולמוגורוב]], מניח היסודות האקסיומטיים של תורת ההסתברות.]]

ביסוס [[אקסיומה|אקסיומטי]] סופי לתורת ההסתברות ניתן בשנת [[1933]] על ידי המתמטיקאי הרוסי [[אנדריי קולמוגורוב]], בספרו "יסודות תורת ההסתברות".{{הערה|ב[[גרמנית]]: "Grundbegriffe der Wahrscheinlichkeitsrechnung", וב[[אנגלית]]: "Foundations of the Theory of Probability"}} ספר זה מהווה ציון דרך בתולדות תורת ההסתברות, והוא נחשב לספר החשוב ביותר בהתפתחותה. האקסיומות שהציג קולמוגורוב מכונות "[[אקסיומות קולמוגורוב]]" או "אקסיומות ההסתברות", והן מהוות תיאור כללי למרחב הסתברות עד ימינו — תיאור המעמיד את תורת ההסתברות בהקשר של תורת המידה, בהמשך לעבודתו פורצת הדרך של בורל. המתמטיקאי ה[[צרפתי]] [[מוריס פרוכטה]], בנאומו בסמינר הבינלאומי של [[אוניברסיטת ז'נבה]] בשנת [[1937]], תיאר את עבודתם של בורל וקולמוגורוב לגיבוש אקסיומות תורת ההסתברות: {{ציטוט|היה זה הרגע בו מר בורל הציג את המושג החדש של אדיטיביות בהקשר של תורת ההסתברות בשנת 1909, בו ניתן לומר שכל האלמנטים שנדרשו לנסח במפורש יחד את כל מסד האקסיומות של תורת ההסתברות (הקלאסית-מודרנית) הובנו יחד.{{ש}}אין זה מספיק לדעת את כל הרעיונות, ולזכור אותם אז ועכשיו; על מישהו לוודא כי הן ממצות ומספיקות, לנסח אותם יחד במפורש, ולקחת את האחריות לומר שלא נדרשות יותר אקסיומות כדי לבנות את התאוריה. זה מה שמר קולמוגורוב עשה. זהו ההישג שלו.|מופיע בתוך: Glenn Shafer, '''[http://www.probabilityandfinance.com/articles/04.pdf The origins and legacy of Kolmogorov’s Grundbegriffe]''', Introduction, page 1}}

בנוסף לאקסיומות, קולמוגורוב סיפק בספרו הגדרות פורמליות למונחים החשובים והיסודיים ביותר של תורת ההסתברות: [[סיגמא-אלגברת בורל]], [[תלות (הסתברות)|תלות]] ו[[הסתברות מותנית]], [[משתנה מקרי]], [[תוחלת]] ו[[תוחלת מותנית]].

קולמוגורוב מציג תחילה תיאור כללי של אקסיומות מרחב הסתברות בעל אוסף מאורעות סופי, באופן הבא:
{{ציטוט|תהי <math>E</math> אוסף של אלמנטים <math>\xi, \eta, \zeta, \dots</math>, להם נקרא ''מאורעות בסיסיים'', ותהי <math>\mathfrak{F}</math> קבוצה של תת-קבוצות של <math>E</math>; האיברים של הקבוצה <math>\mathfrak{F}</math> יכונו ''מאורעות מקריים''.
# <math>\mathfrak{F}</math> היא ''שדה של קבוצות''.{{הערה|קולמוגורוב מסביר בעצמו בהערת שוליים מהו שדה של קבוצות, בהתבסס על הגדרה של [[פליקס האוסדורף]]: קבוצה של קבוצות, שסגורה תחת איחוד, חיתוך והפרש של כל זוג קבוצות שלה. כיום נהוג לקרוא לקבוצה כזאת [[אלגברה של קבוצות]].}}
# <math>\mathfrak{F}</math> מכילה את הקבוצה <math>E</math>.
# לכל קבוצה <math>A</math> ב-<math>\mathfrak{F}</math>, מתאים מספר ממשי אי-שלילי <math>\mathtt{P}\left(A\right)</math>. מספר זה נקרא ''ההסתברות של המאורע <math>A</math>''.
# <math>\mathtt{P}\left(E\right)</math> שווה ל-<math>1</math>.
# אם ל-<math>A</math> ול-<math>B</math> אין איברים משותפים, אז <math>\mathtt{P}\left(A+B\right) = \mathtt{P}\left(A\right) + \mathtt{P}\left(B\right)</math>.{{הערה|קולמוגורוב משתמש בסימון <math>A+B</math> עבור [[איחוד (מתמטיקה)|איחוד]].}}
מערכת של קבוצות, <math>\mathfrak{F}</math>, בצירוף הגדרה של מספרים <math>\mathtt{P}\left(A\right)</math>, המקיימת את אקסיומות 1–5, נקראת ''שדה הסתברות''.|Elementary Theory of Probability, פרק 1: Axioms.}}

בהמשך ספרו קולמוגורוב מציג מערכת אקסיומות מוכללת עבור מרחב הסתברות בעל מספר מאורעות אינסופי, שהיא הבסיס של ראיית תורת ההסתברות בתוך ההקשר הרחב יותר של [[תורת המידה]].{{הערה|Alan Hájek, "[http://plato.stanford.edu/archives/win2012/entries/probability-interpret/ Interpretations of Probability]", The Stanford Encyclopedia of Philosophy|כיוון=שמאל}} במערכת זו, <math>\mathfrak{F}</math> היא [[סיגמא-אלגברה]], כלומר סגורה גם לאיחוד [[קבוצה בת מנייה|בן-מנייה]], וכן אקסיומה 5 מוחלפת באקסיומה המתאימה עבור איחוד בן-מנייה. כלומר, מתקיים עבור מאורעות <math>A_1,A_2,A_3, \dots</math> [[קבוצות זרות|זרים בזוגות]], כי:
<math display="block">\mathtt{P}\left(A_1 \cup A_2 \cup A_3 \cup \dots \right) = \mathtt{P}\left(A_1\right) + \mathtt{P}\left(A_2\right) + \mathtt{P}\left(A_3\right) + \dots</math>

===אקסיומות קוקס===

תיאור פורמלי אחר לתורת ההסתברות ניתן בשנת [[1946]] על ידי ה[[פיזיקאי]] ה[[אמריקאי]] [[ריצ'רד קוקס]]. ה[[משפט קוקס|משפט של קוקס]] קבע כי ניתן לקבל מרחב הסתברות במובן של אקסיומות קולמוגורוב, מתוך כל מערכת המקיימת את שלוש הדרישות הבאות:{{הערה|שם=ארנבורג|Stefan Arnborg and Gunnar Sjödin, On the foundations of Bayesianism, Preprint: Nada, KTH (1999).|כיוון=שמאל}}
# ''התחלקות'' ו''השוואתיות'' — ההסתברות של קביעה היא [[מספר ממשי]] התלוי במידע המיוחס לקביעה עצמה.
# ''שכל ישר'' — ההסתברויות המיוחסות לקביעות משתנות בהתאם לסבירות של הקביעה במודל.
# ''עקביות'' — אם ניתן לחשב את ההסתברויות בצורות שונות, כל התוצאות צריכות להיות שוות.
כפי שניכר מתיאור זה, הדרישות שתיאר קוקס לא היו פורמליות דיין מבחינה מתמטית,{{הערה|oseph Y. Halpern, "A counterexample to theorems of Cox and Fine," Journal of AI research, 10, 67–85 (1999).|כיוון=שמאל}} אולם בהמשך נעשו עבודות שאפשרו להפוך אותן לפורמליות.{{הערה|שם=ארנבורג}}

תיאור זה זניח יותר ומשמש פחות במחקר, אך עם זאת משפט קוקס נתפס כאחד הצידוקים הפורמליים לשימוש ב[[הסתברות בייסיאנית]], לפיו מרחב הסתברות מתפרש כ[[תורה (לוגיקה מתמטית)|תורה לוגית]].{{הערה|Edwin Thompson Jaynes, Probability Theory: The Logic of Science, Cambridge University Press (2003). — preprint version (1996) at http://omega.albany.edu:8008/JaynesBook.html; Chapters 1 to 3 of published version at http://bayes.wustl.edu/etj/prob/book.pdf|כיוון=שמאל}} ישנם דיונים שונים בנוגע למשמעות הפילוסופית של גישה אקסיומטית שונה זו.{{הערה|Van Horn, K. S. (2003). "Constructing a logic of plausible inference: A guide to Cox's theorem". International Journal of Approximate Reasoning. 34: 3–24.|כיוון=שמאל}}

==השפעות על התפתחות ענפי מדע אחרים==

להתפתחותה של תורת ההסתברות נודעה חשיבות רבה בתחומי מדע רבים; הן באופן ישיר הן באמצעות השפעתה על התפתחותה של הסטטיסטיקה. באופן כללי, תורת ההסתברות אפשרה לבצע פעולה יסודית ביותר בכל תחומי המדע: כימות של גדלים לא ידועים. לפעולה זו שימוש בכל תחומי המדע כולם ולכל סוגי הגדלים: הן גדלים נצפים, הן גדלים חישוביים והן גדלים תאורטיים.{{הערה|שם=UQ}}

===סטטיסטיקה ומתמטיקה סטטיסטית===

{{הפניה לערך מורחב|ערכים=[[סטטיסטיקה]], [[היסטוריה של הסטטיסטיקה]]}}

שימוש נאיבי בסטטיסטיקה ידוע עוד אפילו מהמאה ה-[[המאה ה-9|9]],{{הערה|Simon Singh, '''The code book : the science of secrecy from ancient Egypt to quantum cryptography''', New York: Anchor Books (2000)|כיוון=שמאל}} אולם הסטטיסטיקה החלה את התפתחותה הפורמלית במהלך [[המאה ה-18]], והשתכללה לכדי תורה פורמלית ומבוססת מבחינה מתמטית רק על בסיסה של תורת ההסתברות, כפי שתיאר המתמטיקאי ה[[צרפתי]] [[אמיל בורל]]: {{ציטוטון|...אנו יכולים לנסח מהי בעיה כללית במתמטיקה סטטיסטית באופן הבא: הגדר מערכת של דגימות מתוך מצבור בעל ערבוב קבוע, כך שהתוצאה של סדרת דגימות, המתפרשת בעזרת קבועים הנבחרים לצורך הפשטות, מובילה ב'''הסתברות''' {{גודל|1.5|(ההדגשה אינה במקור)}} מאוד טובה לטבלה זהה לטבלה של התצפיות.}}{{הערה|Colin Howson, '''[https://books.google.co.il/books?id=lGMyBwAAQBAJ&pg=PA291&lpg=PA291&dq=the+fundamental+problem+of+the+statistical+mathematics,+emile+borel&source=bl&ots=3_aeQy2nEH&sig=DnxZnmnPknhSRR-W7hO7NUkng_c&hl=en&sa=X&ved=0ahUKEwiF2pvgmNfPAhVrBsAKHVuWDPEQ6AEIQTAF#v=onepage&q=the%20fundamental%20problem%20of%20the%20statistical%20mathematics%2C%20emile%20borel&f=false The Development of Logical Probability]''', in: "Essays in Memory of Imre Lakatos", Volume 39 of the series Boston Studies in the Philosophy of Science pp 277-298.|כיוון=שמאל}}

בראשית המאה ה-[[המאה ה-18|18]], [[אברהם דה-מואבר]] פרסם ספר בשם "קצבאות לנפשות",{{הערה|ב[[אנגלית]]: " Annuities upon Lives: Or, the Valuation of Annuities upon any Number of Lives"}} ובו ניתוח של טבלאות תמותה וחישובים כיצד לחלק קצבאות מחיה, ענף של הסטטיסטיקה המכונה כיום [[אקטואריה]].{{הערה|Frank J. Swetz, '''[http://www.maa.org/press/periodicals/convergence/mathematical-treasure-de-moivre-s-annuities-on-lives Mathematical Treasure: De Moivre’s Annuities on Lives]''', MATHEMATICAL ASSOCIATION OF AMERICA|כיוון=שמאל}} בהמשך אותה מאה, לפלס היה הראשון שביצע קישור ישיר בין מתודולוגיה מתורת ההסתברות לבין סטטיסטיקה, ועבודותיו של לפלס, יחד עם עבודותיו של גאוס, הביאו לקשר ראשוני ויסודי בין תורת ההסתברות לסטטיסטיקה על ידי ניתוח הנתונים שהגיעו מ[[אסטרונומיה]], לשם כך הם פיתחו את [[שיטת הריבועים הפחותים]] ו[[אמידת נראות מרבית]], והשתמשו בהתפלגות הנורמלית כדי לאמוד את השגיאות של המדידות. לפלס פרסם עוד עבודות סטטיסטיות רבות שעשו שימוש בתורת ההסתברות, כדוגמת אמידת גודלה של אוכלוסיית [[צרפת]] על בסיס טבלאות לידה ומידע דמוגרפי מוקדם.

עבודות רבות בסטטיסטיקה נעשו על בסיס תורת ההסתברות הנאיבית בחלקה הראשון של [[המאה ה-19]], כדוגמת עבודותיה של [[פלורנס נייטינגייל]] ב[[אפידמיולוגיה]]. בתקופה זו גם הוקם הגוף הראשון העוסק במחקר סטטיסטי, [[האגודה הסטטיסטית המלכותית]]. אולם רק בחציה השני של המאה ה-19, [[פרנסיס גלטון]] וממשיכו [[קרל פירסון]] הפכו את הסטטיסטיקה לתורה העושה שימוש בכלים מתמטיים, ופיתחו את התאוריה הסטטיסטית המבוססת על תורת ההסתברות. גלטון התעניין בניתוח נתונים [[גנטיקה|גנטיים]], ובמסגרת זאת הוא פיתח מושגים סטטיסטיים יסודיים כמו [[מתאם]] ו[[רגרסיה ליניארית]], ובאמצעותם ביצע [[הסקה סטטיסטית]] פורמלית. גלטון הקים קתדרה ב[[הקולג' האוניברסיטאי של לונדון|קולג' האוניברסיטאי של לונדון]] שם מונה קרל פירסון שהמשיך את מחקריו, והעמיד את הסטטיסטיקה על יסודות המתמטיקה הסטטיסטית. גלטון ופירסון, יחד עם [[רפאל וולדון]], ייסדו את [[כתב עת|כתב העת]] "Biometrika" ([[ביומטריקה (כתב עת)]]), שהיה [[כתב עת מדעי|כתב העת המדעי]] הראשון שעסק במתמטיקה סטטיסטית. פירסון גם הוא פיתח מושגים חשובים כדוגמת [[סטיית תקן]], [[מקדם המתאם]] ו[[ערך-p]], כמו גם מתודולוגיות סטטיסטיות חשובות כדוגמת [[שיטת המומנטים]] ו[[בדיקת השערות]]. בשנת [[1911]] הוא הקים את המחלקה לסטטיסטיקה הראשונה בעולם, בקולג' האוניברסיטאי של לונדון.

ממשיכו הבולט של פירסון היה [[רונלד פישר]] שפעל ב[[שנות ה-20 של המאה ה-20|שנות ה-20]] וה-[[שנות ה-30 של המאה ה-20|30]], ונחשב למייסד הסטטיסטיקה המודרנית וזה שהפך אותה לכלי שימושי בכל תחומי המדע כולם, בכך שפיתח את הענף של [[תכנון ניסויים]]. הוא פיתח מתודולוגיות כמו [[שיטת נראות מרבית]], והיה אחראי לגילוי של התפלגויות סטטיסטיות חשובות כמו [[התפלגות F]] ו[[התפלגות t]], בהן נעשה שימוש יסודי ב[[בדיקת השערות]]. מתקופתו של פישר והלאה הסטטיסטיקה הפכה לענף מדעי עצמאי. מאז, בנוסף למחלקה לסטטיסטיקה של הקולג' האוניברסיטאי של לונדון, באוניברסיטאות רבות בעולם המחלקות לסטטיסטיקה ולמתמטיקה הן נפרדות.

===מתמטיקה טהורה===

{{הפניה לערך מורחב|ערכים=[[תורת המידה]], [[השיטה ההסתברותית]]}}

[[קובץ:Erdos budapest fall 1992.jpg|110px|ממוזער|שמאל|[[פאול ארדש]], מייסד השיטה ההסתברותית]]

בסוף [[המאה ה-19]] וראשית [[המאה ה-20]], עבודתם של מתמטיקאים כמו [[אמיל בורל]] ו[[אנרי לבג]] הביאה לכדי פיתוח [[תורת המידה]]. כפי שנכתב לעיל, המודל המתמטי של תורת ההסתברות הוא במסגרת תורת המידה, לאחר התפתחות תורת המידה כתורה עצמאית. כאמור, היה זה בורל הראשון שקישר בין תורת המידה לתורת ההסתברות, ושהתובנה הראשונה שלו גובשה על ידי קולמוגורוב לתובנה בימינו כי תורת ההסתברות עוסקת במרחבי מידה מהצורה <math>\left(X, \mathcal{F}, \mu \right)</math> כאשר פשוט מתקיים כי <math>\mu \left(X \right) = 1</math> (בתורת המידה, מרחב מידה כללי יכול גם לקיים <math>\mu \left( X \right) = \infty</math>). כך למשל יש היגיון להתבונן בישר הממשי כמרחב בו מידתו של כל [[קטע (מתמטיקה)|קטע]] <math>\left(a, b \right)</math> היא <math>b-a</math>, והמידה היחידה המקיימת תכונה זאת לכל קטע, [[מידת לבג]] (או בגרסתה המצומצמת, מידת בורל), אינה יכולה לתת מידה סופית לישר הממשי כולו. ראייתה המחודשת של תורת ההסתברות בהקשר הכללי יותר של תורת המידה הביאה לכדי תורת [[אינטגרציה (מתמטיקה)|אינטגרציה]] חדשה וכללית לחלוטין, והשפעתה ניכרה בתחומים רבים במחקר המתמטי שנדמו כרחוקים מתורת ההסתברות, כדוגמת פיתוח של גישות הסתברותיות במחקר של [[גאומטריה]] ו[[תורת המספרים]]. מאידך, התפתחויות מתמטיות בתורת המידה, כדוגמת [[משפט ההתכנסות המונוטונית]] ו[[משפט ההתכנסות הנשלטת]], הביאו לתובנות חשובות בתורת ההסתברות.

השפעה בכיוון אחר ומפתיע שהייתה לתורת ההסתברות על המחקר המתמטי, הייתה פיתוח התורה של [[גרף מקרי|גרפים מקריים]]. מתוך תורה זו צמחה מתודה לפתרון בעיות בקומבינטוריקה ובתורת הגרפים שכונתה "[[השיטה ההסתברותית]]", שאת פיתוחה הוביל המתמטיקאי ה[[הונגרי]] [[פאול ארדש]] ב[[שנות ה-50 של המאה ה-20|שנות ה-50]]. באופן כללי השיטה מראה אפשרות של קיום גרפים בעלי תכונות מסוימות, על ידי כך שמגדירים מידת הסתברות על אוסף כלשהו של גרפים, ומראים כי ההסתברות של אוסף הגרפים המקיימים תכונות מסוימות היא חיובית. דוגמה יסודית לבנייה כזאת שהציג פאול ארדש יחד עם [[אלפרד רניי]],{{הערה|Erdős, P.; Rényi, A. (1963), "Asymmetric graphs", '''Acta Mathematica Academiae Scientiarum Hungaricae''', 14: 295–315|כיוון=שמאל}} היא של [[גרף רדו]]: זהו גרף המבוסס על מספר בן מנייה ולא סופי של קודקודים, שבו כל זוג קודקודים מחובר בהסתברות <math>1/2</math> (ולמעשה ניתן לבחור כל הסתברות <math>0<p<1</math>). מתברר כי תהליך זה מוביל בהסתברות <math>1</math> לאותו גרף, עד כדי [[איזומורפיזם]]. לגרף זה תכונות אוניברסליות חשובות, וכך למשל כל גרף בן מנייה משתכן בו.{{הערה|Cameron, Peter J. (1997), "[https://arxiv.org/abs/1301.7544 The random graph]", '''The mathematics of Paul Erdős''', II, Algorithms Combin., 14, Berlin: Springer, pp. 333–351|כיוון=שמאל}}

===אלגוריתמיקה ומדעי המחשב===

במהלך המאה ה-20, במקביל להתפתחותם של [[מדעי המחשב]], הוכנסו לשימוש [[אלגוריתם אקראי|אלגוריתמים אקראיים]] וכן {{קישור שפה|אנגלית|Probabilistic analysis of algorithms|ניתוח הסתברותי של אלגוריתמים}}. במהלך [[מלחמת העולם השנייה]] הזמין המתמטיקאי ה[[אמריקאי]] [[ג'ון פון נוימן]] את חברו המתמטיקאי ה[[פולני]] [[סטניסלב אולם]] להשתתף בפרויקט סודי ב[[ניו מקסיקו]]. אולם הצטרף ל[[תוכנית מנהטן]] ב[[המעבדה הלאומית לוס אלמוס|מעבדה הלאומית לוס אלמוס]], ובמסגרת עבודתו הציע להשתמש ב[[שיטת מונטה קרלו]] להערכה של [[אינטגרל]]ים סבוכים המופיעים בתורה של [[תגובת שרשרת|תגובות שרשרת]] [[גרעין האטום|גרעיניות]]. הצעתו זו הביאה לפיתוח שיטתי יותר של שיטת מונטה קרלו על ידי פון נוימן, [[ניקולס מטרופוליס]] ואחרים. שיטת מונטה קרלו הייתה מרכיב חשוב בסימולציות שנערכו במסגרת תוכנית הגרעין. עוד קודם לכן, באופן בלתי-תלוי, הפיזיקאי ה[[איטלקי]] [[אנריקו פרמי]] עשה שימוש בשיטות אקראיות לביצוע חישובים. כך בשנת [[1930]] השתמש פרמי בשיטה כזו לחישוב תכונותיו של ה[[נייטרון]], שהתגלה באותה עת. עם זאת, המצאת המחשב, שאיפשרה ביצוע סימולציות בקלות רבה, נתנה דחיפה עיקרית לחקירתן של שיטות אלה ולהתפתחותן.

במהלך [[שנות ה-70 של המאה ה-20]] פותחו [[אלגוריתם אקראי|אלגוריתמים אקראיים]] כדי לפתור ביעילות רבה בעיות שימושיות. ב-[[1976]] הציג המתמטיקאי ה[[ישראלי]] [[מיכאל רבין]] אלגוריתם אקראי לפתרון בעיה מתחום ה[[גאומטריה חישובית|גאומטריה החישובית]], {{קישור שפה|אנגלית|Closest pair of points problem|בעיית זוג הנקודות הקרובות ביותר}}. אחת הבעיות הראשונות שבהן הודגמו חוזקם של אלגוריתמים הסתברותיים והייתה זרז לפיתוח האלגוריתמים האקראיים הייתה בעיית [[בדיקת ראשוניות]].{{הערה|שם=:0|{{צ-מאמר|מחבר=Richard M. Karp|שם=An introduction to randomized algorithms|כתב עת=Discrete Applied Mathematics|כרך=34|עמ=165–201|שנת הוצאה=1991-11-21|doi=10.1016/0166-218X(91)90086-C|קישור=http://www.sciencedirect.com/science/article/pii/0166218X9190086C}}}} באותה עת לא הייתה ידועה דרך יעילה לבדוק האם מספר הוא ראשוני ב[[זמן ריצה פולינומי]] (כיום ידוע בשם [[מבחן AKS לראשוניות]]). אלגוריתם הסתברותי יעיל לפתרון בעיה זו הוצג ב-[[1977]] על ידי המתמטיקאי ה[[אמריקאי]] [[רוברט סולוביי]] והמתמטיקאי ה[[גרמני]] [[פולקר שטרסן]], ושנודע בעקבות ממציאיו בשם [[מבחן סולוביי-שטרסן]].{{הערה|{{צ-מאמר|מחבר=R. Solovay, V. Strassen|שם=A Fast Monte-Carlo Test for Primality|כתב עת=SIAM Journal on Computing|כרך=6|עמ=84–85|שנת הוצאה=1977-03-01|doi=10.1137/0206006|קישור=http://epubs.siam.org/doi/abs/10.1137/0206006}}}} ב-1980 פורסם על ידי מיכאל רבין אלגוריתם חזק יותר לבדיקת ראשוניות, [[אלגוריתם מילר-רבין]] .{{הערה|{{צ-מאמר|מחבר=Michael O Rabin|שם=Probabilistic algorithm for testing primality|כתב עת=Journal of Number Theory|כרך=12|עמ=128–138|שנת הוצאה=1980-02-01|doi=10.1016/0022-314X(80)90084-0|קישור=http://www.sciencedirect.com/science/article/pii/0022314X80900840}}}} לאלגוריתמים אלו לבדיקת ראשוניות הייתה חשיבות רבה במדעי המחשב, שכן הם היוו את הבסיס לפיתוחן של שיטות [[הצפנה]] נפוצות כדוגמת [[RSA]].

ב-[[1977]] פרסם המתמטיקאי ה[[אמריקאי]] [[ג'ון גיל]] את מודל [[מכונת טיורינג הסתברותית]], ובכך הניח את היסודות לניתוח אלגוריתמים הסתברותיים במסגרת [[תורת הסיבוכיות]].{{הערה|שם=:0}}{{הערה|{{צ-מאמר|מחבר=J. Gill|שם=Computational Complexity of Probabilistic Turing Machines|כתב עת=SIAM Journal on Computing|כרך=6|עמ=675–695|שנת הוצאה=1977-12-01|doi=10.1137/0206049|קישור=http://epubs.siam.org/doi/abs/10.1137/0206049}}}}

===פיזיקה סטטיסטית===

{{הפניה לערך מורחב|ערכים=[[פיזיקה סטטיסטית]], [[התאוריה הקינטית של הגזים]]}}

בשנת [[1738]] פרסם המתמטיקאי ה[[הולנדי]]-[[שווייצרי]] [[דניאל ברנולי]] את מאמרו "[[הידרודינמיקה]]", ובו הציע להתייחס ל[[גז]] כאל אוסף של [[חלקיק]]ים הנעים באקראי, על סמך מודל של [[כדור משחק|כדור]]י [[ביליארד]]. בכך תרם ברנולי לייסוד [[התאוריה הקינטית של הגזים]]. בשנת [[1856]] פרסם [[אוגוסט קארל קרניג]] {{אנ|August Krönig}} מאמר בהשפעת זה של ברנולי, שבו נעשה לראשונה שימוש בהסתברות כדרך לתמוך בתאוריה הקינטית. קרניג לא התייחס במאמרו לסטטיסטיקה, אבל ההצדקה שלו למודל שהציע, לפיו ניתן להניח שמולקולות הגז בתוך מכל עם דפנות חלקות נעות במקביל אחת לשנייה, תאמה את השפה שבה השתמשו כותבים שעסקו בתחום. הוא כתב, "המסלול של כל [[אטום]] גז חייב להיות כה בלתי-רגיל, שהוא בלתי ניתן לחישוב. עם זאת, בהתאם לחוקי ההסתברות ניתן להניח סדר מוחלט במקום אי-סדירות מוחלטת". באותה שנה, וככל הנראה ללא היכרות עם המאמר של קרניג, הביע [[רודולף קלאוזיוס]] את אותו הרעיון.{{הערה|Theodore M. Porter, ''The Rise of Statistical Thinking, 1820-1900'' (Princeton University Press: 2020), p. 115|כיוון=שמאל}}

בהמשך, תרם לפיתוח תורה זו [[ג'יימס קלארק מקסוול]]. הוא פרסם בשנת [[1866]] את [[התפלגות מקסוול-בולצמן|התפלגות מקסוול]] (אשר נקראה לימים "התפלגות מקסוול-בולצמן"), המתארת את ההסתברות של [[מולקולה|מולקולת]] גז להימצא במהירות מסוימת. בשנת [[1867]] עמד מקסוול על אופיו הסטטיסטי של [[החוק השני של התרמודינמיקה]], והציע את הקשר בין [[אנטרופיה]] ל[[תורת האינפורמציה|אינפורמציה]], אותו חידד באמצעות [[ניסוי מחשבתי]], הידוע בשם "[[השד של מקסוול]]". בשנת [[1878]] הציע מקסוול את שם התחום "מכניקה סטטיסטית". ברבות הימים, עם הכללת השימוש בכלים שסיפק ענף זה לפתרון בעיות שונות בפיזיקה החורגות מהתחום המכני גרידא, התקבל גם השם "פיזיקה סטטיסטית".

[[קובץ:Boltzmann-Ludwig.jpg|110px|ממוזער|שמאל|[[לודוויג בולצמן]], מאבות המכניקה הסטטיסטית]]

בשנת [[1871]], ניסח הפיזיקאי ה[[אוסטרי]] [[לודוויג בולצמן]] את [[הנחת הארגודיות]], אשר לה חשיבות רבה בניסוח המודרני של המכניקה הסטטיסטית. שנה לאחר מכן, בשנת [[1872]], פרסם בולצמן את [[משפט ה-H]]. בולצמן הוא זה אשר זיהה את האנטרופיה, במילים פשוטות, כמידת "חוסר הסדר" במערכת. המשפט, אשר סתר לכאורה את ה[[מכניקה קלאסית|מכניקה הקלאסית]] בה תהליכים הם הפיכים בזמן, עורר הדים רבים. כמו כן, ניסח בולצמן את [[התפלגות בולצמן]] המתארת את ההסתברות של מערכת סטטיסטית להימצא במצב אנרגטי מסוים. במקביל לבולצמן, פיתח הפיזיקאי [[ג'וסיה וילארד גיבס]] את גישת [[צבר (פיזיקה סטטיסטית)|הצברים]], לה תפקיד מרכזי בפיזיקה הסטטיסטית המודרנית.

בהמשך, התגבשה הפיזיקה הסטטיסטית על יסודות מתמטיים של תורת ההסתברות, בין השאר על בסיס ההנחה כי במערכות גדולות מתנהגים מאפיינים הסתברותיים של המערכת בדומה למאפיינים סטטיסטיים: כך למשל, בהתאם לחוק המספרים הגדולים, אם במערכת מסוימת ההסתברות להימצא במצב מקרוסקופי מסוים היא <math>p</math>, כאשר כמות העצמים במערכת שמצביהם המיקרוסקופיים תואמים את המצב המקרוסקופי המתואר היא בשיעור של כ-<math>p</math> מכמות העצמים הכוללת במערכת.

הנחה נוספת בה משתמשים בפיזיקה סטטיסטית היא כי ערכים מקרוסקופיים של מערכות סטטיסטיות [[התפלגות|מתפלגים]] [[התפלגות נורמלית|נורמלית]] בקירוב סביב ערך [[תוחלת]] עם [[סטיית תקן]] נמוכה יחסית. הנחה זו נתמכת על ידי ידע אמפירי, ומבוססת מבחינה מתמטית על [[משפט הגבול המרכזי]], לפיו סכומם של [[משתנה מקרי|משתנים מקריים]] בלתי תלויים ושווי-התפלגות מתפלג נורמלית עם סטיית תקן הפרופורציונית ל[[שורש ריבועי]] של מספר המשתנים. ניסוח [[הנחת הארגודיות]] העומדת בבסיס גישת הצברים בפיזיקה הסטטיסטית הצריך פיתוח כלים מתמטיים חדשים, והוליד את [[התורה הארגודית]]. תיאורים מאוחרים יותר של התורה משתמשים בכלים מתמטיים מתחום [[תורת האינפורמציה]] (ראו בפרק הבא).

השפעה נוספת הייתה ב"[[שנת הפלאות (1905)|שנת הפלאות]]" של הפיזיקאי זוכה [[פרס נובל לפיזיקה|פרס נובל]] [[אלברט איינשטיין]]. באחד מארבעת מאמריו הנודעים שפורסמו בשנה זו, עשה איינשטיין שימוש ב[[תנועה בראונית]] במחקרו על [[מכניקה סטטיסטית]], במקביל לעבודתו של הפיזיקאי ה[[פולני]] [[מריאן סמולוכובסקי]] ({{פל|Marian Smoluchowski|Marian Smoluchowski}}). בהמשך לעבודות אלה, הפיזיקאי ה[[צרפתי]] [[ז'אן-בטיסט פרן]], גם הוא זוכה פרס נובל, עשה שימוש בתנועה בראונית כדי לחשב את [[מספר אבוגדרו]]. עבודות אלה חיזקו את העמדה המדעית בדבר הממשות של [[אטום|אטומים]], ובמקביל חיזקו את העניין המתמטי בתנועה בראונית, שבתקופה זו טרם הייתה מוגדרת במסגרת אקסיומטית מוצקה.

===תורת האינפורמציה===

{{ערך מורחב|תורת האינפורמציה}}

[[קובץ:Claude Elwood Shannon (1916-2001).jpg|110px|ממוזער|שמאל|[[קלוד שאנון]], מייסד תורת האינפורמציה]]

בשנת [[1948]] פרסם המתמטיקאי ה[[אמריקאי]] [[קלוד שאנון]] את מאמרו "תאוריה מתמטית של תקשורת",{{הערה|ב[[אנגלית]]: "A Mathematical Theory of Communication"}} בו הוא הציג [[מודל מתמטי]] של [[מערכת תקשורת]].{{הערה|C.E. Shannon, "[http://cm.bell-labs.com/cm/ms/what/shannonday/shannon1948.pdf A Mathematical Theory of Communication]", '''Bell System Technical Journal''' (1948), vol. 27, pages 379–423, 623-656.|כיוון=שמאל}} במאמר זה הגדיר שאנון את ה[[סיבית]] כיחידת מידע ואת ה[[אנטרופיה (סטטיסטיקה)|אנטרופיה]] של מקור מידע, אותה ניתן לתאר ככמות הביטים המינימלית הנדרשת כדי לקודד מסר שיוצר מקור המידע. כמו כן סיפק שאנון הגדרה מתמטית כללית של [[ערוץ תקשורת]] כקשר סטטיסטי, ותיאר את המעבר של מידע דרך ערוץ "רועש", כלומר שיש בו הפרעות אקראיות שאת התפלגותן ניתן לנתח ובכך לנסות לשחזר את המידע המקורי. מתוך עבודה זו צמחה [[תורת האינפורמציה]] שנחקרת עד ימינו בתחומים מדעיים שונים.

מאמרו של שאנון הוא אחד המאמרים המשפיעים ביותר על המדע במאה ה-[[המאה ה-20|20]], ונכון ל-2016 הוא מצוטט מעל 100 אלף פעמים.{{הערה|על פי [http://scholar.google.co.il/scholar?q=A+Mathematical+Theory+of+Communication Google Scholar]}} בעקבותיו פותחו שיטות לחישוב קיבול של ערוצי תקשורת תאורטיים ומעשיים שונים, ו[[חסם (מתמטיקה)|חסמים]] על קצבי שגיאות בשיטות קידוד ופענוח שונות. לעבודתו של שאנון יש גם השלכות תאורטיות, וכך למשל מושג ה[[אנטרופיה (סטטיסטיקה)|אנטרופיה הסטטיסטית]] שפיתח שאנון השפיע על תחומים מתמטיים אחרים, כדוגמת [[מערכת דינמית|מערכות דינמיות]] ו[[התורה הארגודית]].

===מודל בלק-שולס לתמחור אופציות===

{{ערך מורחב|מודל בלק ושולס}}

שיטות הסתברותיות שימשו גם ב[[מתמטיקה פיננסית]], שהדוגמה הבולטת ביותר היא [[מודל בלק-שולס]] לתמחור [[נגזרים]]. בעיה זו של תמחור טופלה כבר בשנת [[1900]] על ידי המתמטיקאי ה[[צרפתי]] [[לואי בשלייה]] במאמרו "תאוריית הספקולציה",{{הערה|ב[[צרפתית]]: "Théorie de la spéculation"}} בו הוא ניסה לנתח התנהגות של מחירי אופציות בבורסת [[פריז]] באמצעות [[תנועה בראונית]]. העבודה של בשליה לא השפיעה רבות, אולם היא הייתה רמז ראשון להשפעות של תורת ההסתברות על מתמטיקה פיננסית.

בראשית [[שנות ה-70]] החלו ה[[כלכלן|כלכלנים]] [[מיירון שולס]] ו[[פישר בלק]] מ[[אוניברסיטת שיקגו]] לעבוד על פיתוח מודל שייתן פתרון לבעיה של תמחור מניות, שהפכה רלוונטית יותר ככל שהתפתחו שוקי ההון. בשנת [[1973]] הם פרסמו את המאמר "תמחור אופציות והתחייבויות תאגידיות",{{הערה|ב[[אנגלית]]: "The Pricing of Options and Corporate Liabilities"}} כאשר עמיתם הכלכלן האמריקאי [[רוברט קרהרט מרטון]] פרסם בסמוך מאמר אחר, "התאוריה של תמחור רציונלי של אופציות",{{הערה|באנגלית: "Theory of Rational Option Pricing"}} ובו התייחס למאמרם של השניים ופיתח את המודל. מודל זה נשען בצורה מהותית על תורת ההסתברות, בכך שהוא מבוסס על ההנחה כי השינויים ב[[שער חליפין|שער]] הם [[תנועה בראונית גאומטרית]] המתוארת על ידי [[התפלגות לוג-נורמלית]]. מרטון הוא שנתן לנוסחה את שמה "בלק-שולס", על אף שגם הוא תרם למודל. עבודה זו היוותה פריצת דרך חשובה בתחום המתמטיקה הפיננסית, ושולס ומרטון זכו עבורה ב[[פרס נובל לכלכלה]] בשנת [[1997]] (בלק נפטר קודם לכן).

==לקריאה נוספת==

<div class="mw-content-ltr">
* Anders Hald, '''A History of Mathematical Statistics from 1750 to 1930''', New York: Wiley, 1998
* Anders Hald, '''A History of Probability and Statistics and Their Applications before 1750''', New York: Springer, 2003
* Ian Hacking, '''The Emergence of Probability''', New York: Cambridge University Press, 2006
* M. G. Kendall, '''Studies in the History of Probability and Statistics. XIII Isaac Todhunter's History of the Mathematical Theory of Probability''', in: ''Biometrika'', Vol. 50, No. 1/2 (Jun., 1963), pages 204-205
</div>

==קישורים חיצוניים==
* {{בריטניקה|probability|הסתברות וסטטיסטיקה}}

<div class="mw-content-ltr">
* John Aldrich, '''[http://www.economics.soton.ac.uk/staff/aldrich/Figures.htm Figures from the History of Probability and Statistics]''', University of Southampton
* Tom M. Apostol, '''[http://homepages.wmich.edu/~mackey/Teaching/145/probHist.html A Short History of Probability]''', in: Calculus, Volume II, 2nd edition (1969)
* Glenn Shafer, '''[http://www.glennshafer.com/assets/downloads/articles/article50.pdf The Early Development of Mathematical Probability]''', in: Companion Encyclopedia of the History and Philosophy of the Mathematical Sciences, Pages 1293-1302, edited by I. Grattan-Guinness (1993)
* Vladimir Vovk & Glenn Shafer, '''[http://www.probabilityandfinance.com/articles/06.pdf Kolmogorov’s contributions to the foundations of probability]''' (2003)
</div>

==הערות שוליים==
{{הערות שוליים}}

{{ערך מומלץ}}

[[קטגוריה:היסטוריה של המתמטיקה]]
[[קטגוריה:תורת ההסתברות]]