הסתברות פוסטריורית

הסתברות פוסטריורית היא מושג מרכזי בסטטיסטיקה בייסיאנית. המייצגת את ההסתברות, או ההתפלגות, שמתקבלת מעדכונים של ההסתברות הפריורית על סמך מידע המתקבל מתצפיות.

העדכון נעשה על ידי שימוש בכלל בייס. הההסתברות הפוסטריורית עשויה לשמש כהסתברות פריורית במהלך נוסף של עדכון בייסיאני.

הגדרה בהקשר של התפלגות

בסטטיסטיקה בייסיאנית, הפרמטרים של המודל, שיסומנו ב- $\theta$, הם בעצמם משתנים מקריים. ההתפלגות הפריורית שלהם, כלומר ההתפלגות שלהם בהיעדר כל מידע מוקדם, תסומן ב $p(\theta )$ .

ההסתברות הפוסטריורית היא ההסתברות של הפרמטרים $\theta$ בהינתן תצפיות $x$, ומסומנת $p(\theta |x)$ .

לעומת זאת, פונקציית הנראות היא ההסתברות של התצפיות בהינתן הפרמטרים של המודל, כלומר $p(x|\theta )$ .

בהינתן הסתברות פריורית $p(\theta )$ וכי ההסתברות לתצפיות $x$ היא $p(x|\theta )$, אז ההסתברות הפוסטריורית מוגדרת באמצעות כלל בייס

$p(\theta |x)=\frac{p(x|\theta )}{p(x)}p(\theta )$ .

כלומר, ההסתברות הפוסטריורית פרופורציונית לפונקציית הנראות המוכפלת בהסתברות הפריורית.$p(x)$ הוא קבוע הנירמול המחושב על ידי

$p(x)=\int p(x|\theta )p(\theta )d\theta$

אם $\theta$ היא פרמטר רציף, או על ידי סיכום של $p(x|\theta )p(\theta )$ על כל הערכים האפשריים של $\theta$, אם $\theta$ הוא פרמטר בדיד.

דוגמה 1 - התפלגות פוסטריורית של פרמטר במודל בינומי

נניח שרוצים למצוא מהו הסיכוי $\theta$ שבהטלת מטבע מסוים, לא בהכרח מטבע הוגן, הוא ייפול על עץ. כדי לאמוד את הערך של $\theta$ מבצעים סדרה של הטלות, ונניח ש-m פעמים הוא נפל על עץ, ו-n פעמים על פלי. נסמן ב X את סדרת התוצאות הללו. בהנחה שההטלות בלתי תלויות זו בזה, אז בהינתן מודל שבו ההסתברות לנפילה על עץ בהטלה בודדת היא $\theta$, ההסתברות לסדרת התוצאות X היא $$P(X|\theta )={\theta }^m(1-\theta {)}^n$$את האמונה הראשונית שלנו, שמטבעות הם בדרך כלל הוגנים, ניתן לנסח באמצעות פונקציית צפיפות הסתברות פריורית על הפרמטר $\theta$. למען ההמחשה אפשר לבחור כהתפלגות הפריורית בפונקציה $$P(\theta )=\frac{1}{6}\theta (1-\theta ).$$להתפלגות פריורית זו מקסימום ב $\theta =\frac{1}{2}$ והיא סימטרית סביב נקודה זו. כעת ההתפלגות הפוסטריורית של $\theta$ היא$$\begin{array}{cc}p(\theta |X)=& \frac{p(X|\theta )p(\theta )}{p(X)}\\ =& \frac{{\theta }^m(1-\theta {)}^n\theta (1-\theta )}{\underset{0}{\overset{1}{\int }}{\theta }^m(1-\theta {)}^n\theta (1-\theta )d\theta }\\ =& \frac{{\theta }^{m+1}(1-\theta {)}^{n+1}}{B(m+1,n+1)}\end{array}$$כאשר $B$ היא פונקציית בטא.

דוגמה 2 - התפלגות פוסטריורית של פרמטר בהתפלגות נורמלית

ניח $X_1,...\dots ,X_n$ הם משתנים מקריים בלתי תלויים שווי התפלגות בעלי התפלגות נורמלית $N(\theta ,{\sigma }^2)$, כאשר התוחלת $\theta$ אינה ידועה והשונות ${\sigma }^2$ נתונה. נניח גם כי צפיפות ההתפלגות הפריורית של $\theta$ היא $N({\mu }_0,{\sigma }_0^2)$ כאשר ${\mu }_0$ ו-${\sigma }_0^2$ נתונים. נסמן ב-$X$ את וקטור המשתנים המקריים $(X_1,...\dots ,X_n)$ ונסמן ב-$x=(x_1,\dots ,x_n)$ את ערכי התצפית שלהם. אם נתעלם מכל הגורמים שאינם תלויים ב-$\theta$, ההסתברות הפריורית המוכפלת בנראות היא מהצורה: $$p(\theta )p(x|\theta )\propto \exp [-\frac{(\theta -{\mu }_0{)}^2}{2{\sigma }_0^2}-\sum _{i=0}^n\frac{(x_i-\theta {)}^2}{2{\sigma }^2}]$$ באמצעות השלמה לריבוע נקבל: $$\begin{array}{cc}\frac{(\theta -{\mu }_0{)}^2}{2{\sigma }_0^2}-\sum _{i=0}^n\frac{(x_i-\theta {)}^2}{2{\sigma }^2}=& {\theta }^2(\frac{1}{{\sigma }_0^2}+\frac{n}{{\sigma }^2})-2\theta (\frac{{\mu }_0}{2{\sigma }_0^2}+\frac{n\overline{x}}{2{\sigma }^2})+C_1\\ =& \frac{1}{{\sigma }_1^2}(\theta -{\mu }_1{)}^2+C_2\end{array}$$ כאשר $\overline{x}=\sum x_i/n$ וכאשר $C_1$ ו-$C_2$ הם קבועים שאינם תלויים ב-$\theta$ (אך תלויים ב-$x_1,\dots ,x_n$), ו-${\mu }_1$ ו-${\sigma }_1^2$ הם: $$\frac{1}{{\sigma }_1^2}=\frac{1}{{\sigma }_0^2}+\frac{n}{{\sigma }^2},{\mu }_1={\sigma }_1^2(\frac{{\mu }_0}{{\sigma }_0^2}+\frac{n\overline{x}}{{\sigma }^2})$$ ולסיכום ההתפלגות הפוסטריורית היא התפלגות נורמלית עם תוחלת ${\mu }_1$ ועם שונות ${\sigma }_1^2$$$p(\theta |x)\propto \exp [-\frac{(\theta -{\mu }_1{)}^2}{2{\sigma }_1^2}]$$

ניתן לראות כי בגבול $n\to \mathrm{\infty }$ מתקבלות התוצאות המצופות ממדגם גדול, ${\mu }_1\approx \overline{x}$ ו ${\sigma }_1^2\approx {\sigma }^2/n$ .

חישוב

ניתן לחשב את התפלגות ההסתברות הפוסטריורית של משתנה מקרי אחד בהינתן ערכו של אחר באמצעות משפט בייס על ידי הכפלת התפלגות ההסתברות הפריורית בפונקציית הנראות, ולאחר מכן חלוקה בקבוע הנירמול, באופן הבא:

$f_{X\mid Y=y}(x)=\frac{f_X(x){ℒ}_{X\mid Y=y}(x)}{\underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}{f}_X(u){ℒ}_{X\mid Y=y}(u)du}$

נותן את פונקציית צפיפות ההסתברות הפוסטריורית עבור משתנה מקרי $X$, בהינתן שהמשתנה המקרי $Y$ מקבל ערך ספציפי $Y=y$, כאשר

• $f_X(x)$ היא הצפיפות הפריורית של $X$ ,
• ${ℒ}_{X\mid Y=y}(x)=f_{Y\mid X=x}(y)$ היא פונקציית הנראות של $Y$ כפונקציה של $x$ ,
• $\underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}{f}_X(u){ℒ}_{X\mid Y=y}(u)du$ הוא קבוע הנירמול, ו
• $f_{X\mid Y=y}(x)$ היא הצפיפות הפוסטריורית של $X$ בהינתן $Y=y$.

סיווג (קלסיפיקציה)

בסיווג, הסתברות פוסטריורית משקפת את חוסר הוודאות של הערכת תצפית למחלקה מסוימת. בעוד שהפלט של שיטות סיווג סטטיסטיות הוא בהגדרה הסתברות פוסטריורית, שיטות של למידת מכונה לעיתים קרובות אינן מספקת הערכות הסתברותיות אמינות. אחת הדוגמאות הבולטות בהקשר זה הוא מסווג בייסיאני נאיבי, שנוטה להערכות הסתברות פוסטריורית מוטות בשל הנחת האי-תלות בין משתני הקלט.