הצגת המקור של הדף "משפט גאוס-מרקוב"

{{סימון מתמטי}}

ב[[סטטיסטיקה]], '''משפט [[קרל פרידריך גאוס|גאוס]]-[[אנדריי מרקוב|מרקוב]]''' מספק את ההצדקה המתמטית לשימוש ב[[אומד הריבועים הפחותים]] במסגרת מודל של [[רגרסיה ליניארית]]. משפט זה קובע כי תחת הנחות המודל — [[שגיאה|שגיאות]] בעלות [[תוחלת]] אפס, [[שונות]] קבועה ו[[משתנים מקריים בלתי מתואמים|בלתי מתואמות]] — ה[[אומד חסר הטיה|אומד חסר ההטיה]] ה[[ליניארי]] הטוב ביותר הוא האומד של [[שיטת הריבועים הפחותים]], במובן זה שהשונות שלו היא הנמוכה ביותר מבין שאר האומדים הליניאריים חסרי ההטיה. למשל [[אומד ג'יימס-שטיין]] הוא אומד מוטה ששונותו נמוכה יותר.

ידוע כי המתמטיקאי ה[[גרמני]] [[קרל פרידריך גאוס]] עשה שימוש בשיטת הריבועים הפחותים כבר בשנת [[1795]], והיא פורסמה על ידו רק בשנת [[1809]]. הוכחה למשפט זה סיפק גאוס בשנת [[1823]].{{הערה|שם=נסיכת המדעים|{{נסיכת המדעים|476|הכוכב הנעלם והאמד הכחול: משפט גאוס מרקוב ושיטת הריבועים הפחותים}}}} המתמטיקאי ה[[רוסי]] [[אנדריי מרקוב]] פרסם בשנת [[1912]] ספר בו תיאר בפירוט ובדיוק רב יותר את השיטה ותיאר את ההוכחה שלה, ועל כן היא קרויה גם על שמו.{{הערה|שם=נסיכת המדעים}}

==נוסח פורמלי==

===תיאור המודל===

נניח מודל מהצורה <math>\mathbf{y} = X \mathbf{\beta} + \varepsilon</math> בכתיב וקטורי. כלומר, <math>\mathbf{y}, \varepsilon \in \mathbb{R}^n, \beta \in \mathbb{R}^K, X \in \mathbb{R}^{n \times K}</math>, ואז בכתיב מלא המודל הוא,
<math display="block">y_i = \sum_{j=1}^{K} \beta_j X_{ij} + \varepsilon_i</math>
עבור <math>i = 1, \dots, n</math>.

<math>\beta_j</math> הוא פרמטר קבוע לא ידוע שאותו מחפשים; <math>X_{ij}</math> הוא ערך קבוע ידוע; <math>\varepsilon_i</math> הוא [[משתנה מקרי]] המתאר את השגיאה או את ה"רעש", וכתוצאה מכך גם <math>y_i</math> הוא משתנה מקרי.

===אומד ליניארי===

אומד ליניארי לפרמטר <math>\beta_j</math> הוא ליניארי במשתנים <math>y_1, \dots, y_n</math>, כלומר הוא מהצורה,
<math display="block">\widehat\beta_j = c_{1j}y_1 + \cdots + c_{nj}y_n</math>
כאשר המקדמים <math>c_{1j}, \dots, c_{nj}</math> אינם יכולים להיות תלויים בפרמטר <math>\beta_j</math>, אלא רק בערכים הנצפים <math>X_{1j}, \dots, X_{nj}</math> (אך התלות של המקדמים בערכים הנצפים אינה בהכרח ליניארית).

===סכום ריבועי השגיאות===

אם <math>\widehat\beta</math> הוא אומד כלשהו, ונסמן בהתאמה <math>\widehat\mathbf{y}_i = \sum_{j=1}^{K} \widehat\beta_j X_{ij} + \varepsilon_i</math>

טבעי לרצות אומד שממזער את סכום ריבועי השגיאות. כלומר, אומד <math>\widehat\beta</math> כזה שממזער את הביטוי,
<math display="block">\sum_{i=1}^{n} \left( y_i - \widehat y_i \right)^2</math>

===המשפט===

'''משפט גאוס-מרקוב:''' אם מתקיימים שלושת התנאים הבאים:
# <math>\mathbf{E} \left[ \varepsilon_i \right] = 0</math> עבור <math>i = 1, \dots, n</math>.
# <math>\mathbf{Var} \left( \varepsilon_i \right) = \sigma^2 < \infty</math> עבור <math>i = 1, \dots, n</math>.
# <math>\mathbf{Cov} \left( \varepsilon_i, \varepsilon_j \right) = 0</math> עבור <math>i,j = 1, \dots, n; i \neq j</math>.
אז האומד שממזער את סכום ריבועי השגיאות הוא אומד הריבועים הפחותים הליניארי,
<math display="block">\widehat\beta = \left( X^TX \right)^{-1} X^T \mathbf{y}</math>
כאשר <math>X^T</math> היא ה[[מטריצה משוחלפת|מטריצה המשוחלפת]] של <math>X</math>.

==הוכחה==

יהי <math>\tilde\beta = C \mathbf{y}</math> אומד ליניארי וחסר הטיה כלשהו. היות שאנו עוסקים באומדים חסרי הטיה, מזעור של סכום ריבועי השגיאות שקול למזעור השונות. אם כך נרצה להראות כי המטריצה <math>\mathbf{Var} \left( \tilde\beta \right) - \mathbf{Var} \left( \widehat\beta \right)</math> היא [[מטריצה חיובית]].

נכתוב לצורך הפשטות <math>C = \left( X^TX \right)^{-1} X^T + D</math>, עבור מטריצה <math>D</math> מגודל <math>K \times n</math>, ונחשב,
:<math>
\begin{align}
\mathbf{E} \left[ \tilde\beta \right] &= \mathbf{E} \left[ C y \right] \\
&= \mathbf{E} \left[ \left( (X^TX)^{-1}X^T + D \right) \left( X \beta + \varepsilon \right) \right] \\
&= \left( (X^TX)^{-1} X^T + D \right) X \beta + \left( (X^TX)^{-1} X^T + D \right) \mathbf{E} \left[ \varepsilon \right] \\
&= \left( (X^TX)^{-1} X^T + D \right) X \beta \\
&= (X^TX)^{-1} X^TX \beta + DX \beta  \\
&= \left( I_K + DX \right) \beta \\
\end{align}
</math>

אם כך, כדי שהאומד <math>\tilde\beta</math> יהיה חסר הטיה, בהכרח מתקיים <math>DX = 0</math>. מכך נובע,

:<math>
\begin{align}
 \mathbf{Var} \left( \tilde\beta \right) &=  \mathbf{Var} \left( C \mathbf{y} \right) \\
&= C \mathbf{Var} (y) C^T \\
&= \sigma^2 CC^T \\
&= \sigma^2 \left( (X^TX)^{-1} X^T + D \right) \left( X (X^TX)^{-1} + D^T \right) \\
&= \sigma^2 \left( (X^TX)^{-1} X^TX (X^TX)^{-1} + (X^TX)^{-1} X^TD^T + DX (X^TX)^{-1} + DD^T \right) \\
&= \sigma^2 (X^TX)^{-1} + \sigma^2 (X^TX)^{-1} \left( DX \right)^T + \sigma^2 DX  (X^TX)^{-1} + \sigma^2 DD^T \\
&= \sigma^2 (X^TX)^{-1} + \sigma^2 DD^T \\
&=  \mathbf{Var} \left( \widehat\beta \right) + \sigma^2 DD^T
\end{align}
</math>

כאשר המעבר בשורה השביעית הוא כי <math>DX = 0</math>, והמעבר בשורה השמינית הוא כי <math>\sigma^2 \left( X^TX \right)^{-1} = \mathbf{Var} \left( \widehat\beta \right) </math>.

לפיכך, היות ש-<math>DD^T</math> היא [[מטריצה חיובית]], נובע כי אכן <math>\mathbf{Var} \left( \tilde\beta \right) - \mathbf{Var} \left( \widehat\beta \right)</math> היא [[מטריצה חיובית]], כנדרש.

==ראו גם==

* [[רגרסיה ליניארית]]
* [[שיטת הריבועים הפחותים]]

==הערות שוליים==
{{הערות שוליים}}

[[קטגוריה:משפטים בסטטיסטיקה]]