שיטת המומנטים

בסטטיסטיקה, שיטת המומנטים היא שיטה שבאמצעותה אומדים פרמטרים המאפיינים התפלגות של אוכלוסייה מסוימת.תבנית:ש בשיטה זו, נאמוד את המומנט ה-$k$, באמצעות הממוצע של החזקה ה-$k$. באומדים אלו נשתמש כדי לחלץ אומדים לפרמטרים הלא ידועים.

השיטה

נניח שההתפלגות שמתארת את האוכלוסייה מורכבת מ-$k$ פרמטרים בלתי ידועים: ${\theta }_1,{\theta }_2,...,{\theta }_k$. פרמטרים אלו מרכיבים את פונקציית הצפיפות $f_W(w;\theta )$ של ההתפלגות של משתנה מקרי $W$. נניח שניתן לבטא את $k$ המומנטים של ההתפלגות האמיתית כפונקציות של ${\theta }_1,...,{\theta }_k$.

${\mu }_1\equiv E[W]=g_1({\theta }_1,{\theta }_2,\dots ,{\theta }_k),$

${\mu }_2\equiv E[W^2]=g_2({\theta }_1,{\theta }_2,\dots ,{\theta }_k),$

$⋮$

${\mu }_k\equiv E[W^k]=g_k({\theta }_1,{\theta }_2,\dots ,{\theta }_k).$

נבחר מדגם בגודל $n$ אשר את תוצאותיו נסמן $w_1,...,w_n$. עבור $j=1,...,k$ תבנית:ש

נסמן: ${\hat{\mu }}_j=\frac{1}{n}\sum _{i=1}^n{w}_i^j$ להיות המומנט המדגמי ה-$j$, אומד ל-${\mu }_j$.תבנית:ש

האומדים בשיטת המומנטים לפרמטרים ${\theta }_1,{\theta }_2,\dots ,{\theta }_k$, אשר מסומנים ${\hat{\theta }}_1,{\hat{\theta }}_2,\dots ,{\hat{\theta }}_k$, מוגדרים להיות הפתרון של מערכת המשוואות הבאה:תבנית:ש

${\hat{\mu }}_1=g_1({\hat{\theta }}_1,{\hat{\theta }}_2,\dots ,{\hat{\theta }}_k),$

${\hat{\mu }}_2=g_2({\hat{\theta }}_1,{\hat{\theta }}_2,\dots ,{\hat{\theta }}_k),$

$⋮$

${\hat{\mu }}_k=g_k({\hat{\theta }}_1,{\hat{\theta }}_2,\dots ,{\hat{\theta }}_k).$

דוגמאות

התפלגות מעריכית

יהיו $X_1,...,X_n\sim exp(\theta )$ משתנים מקריים המתפלגים מעריכית עם פרמטר $\theta$. תבנית:ש נסמן: ${\mu }_1=E[X]=\frac{1}{\theta }$, תבנית:ש אזי ${\hat{\mu }}_1=\frac{1}{\hat{\theta }}$, כאשר ${\hat{\mu }}_1=\overline{x}=\frac{1}{n}\sum _{i=1}^n{x}_i$. תבנית:ש לכן, האומד ל-$\theta$ בשיטת המומנטים מקיים $\hat{\theta }=\frac{1}{\overline{x}}$

התפלגות גמא

יהיו $y_1,...,y_n\sim \mathrm{\Gamma }(\alpha ,\beta )$ משתנים מקריים המתפלגים בהתפלגות גמא. תבנית:ש אזי, ידוע כי התוחלת והשונות של ההתפלגות מקיימות: $E[y]=\frac{\alpha }{\beta },Var[y]=\frac{\alpha }{{\beta }^2}$ תבנית:ש נסמן: $m_1=\overline{y}=\frac{1}{n}\sum _{i=1}^n{y}_i,m_2=\frac{1}{n}\sum _{i=1}^n{y}_i^2$תבנית:ש באמצעות התוחלת והשונות נחשב את המומנט הראשון והשני: ${\mu }_1=\frac{\alpha }{\beta },{\mu }_2=(\frac{\alpha }{\beta }{)}^2+\frac{\alpha }{{\beta }^2}=\frac{\alpha (\alpha +1)}{{\beta }^2}$, תבנית:ש (זאת מאחר ש- ${\mu }_2=E[y^2]=Var[y]+E^2[y]$) תבנית:ש. תבנית:ש אזי, לפי שיטת המומנטים $m_1,m_2$ הם אומדים למומנטים ${\mu }_1,{\mu }_2$. כעת נפתור את מערכת המשוואות: תבנית:ש

$\{\begin{array}{c}{m}_1=\frac{\alpha }{\beta }\\ m_2=\frac{\alpha (\alpha +1)}{{\beta }^2}\end{array}$

ומכאן נקבל: תבנית:ש $\hat{\alpha }=\frac{{\overline{y}}^2}{\frac{1}{n}\sum _{i=1}^n(y_i-\overline{y}{)}^2}$ ,$\hat{\beta }=\frac{\overline{y}}{\frac{1}{n}\sum _{i=1}^n(y_i-\overline{y}{)}^2}$ תבנית:ש תבנית:ש אלו האומדים לפרמטרים $(\alpha ,\beta )$ של ההתפלגות, בשיטת המומנטים.

יתרונות וחסרונות השיטה

שיטת המומנטים היא פשוטה באופן יחסי ומפיקה אומדים עקיבים (תחת הנחות חלשות), אם כי אומדים אלה הם לרוב בעלי הטיה.

במקרים רבים, בעת אמידת פרמטרים ממשפחה מוכרת של התפלגויות, קיימת עדיפות לשימוש באומד נראות מרבית. עם זאת, ישנם מקרים בהם לא ניתן לחשב אומד בשיטת הנראות המרבית ללא שימוש בכוח מחשוב. לעומת זאת ניתן לחשב אומד בשיטת המומנטים בקלות בצורה ידנית, ואף להשתמש בהם כנקודת התחילה לשיטות היוריסטיות למציאת אומד הנראות המרבית.