הצגת המקור של הדף "מודל לוג-ליניארי"

'''מודל לוג ליניארי '''משמש ב[[סטטיסטיקה]] לבחינת מבנה הקשר בין מספר [[משתנה איכותי|משתנים איכותיים]]. המודל הוצג לראשונה ב[[שנות ה-60 של המאה העשרים]] על ידי [[איבון בישופ]].

== מוטיבציה ומודל ללוח שכיחות דו־ממדי==
יהיו <math>X</math> ו-<math>Y</math> שני [[משתנה מקרי|משתנים מקריים]] איכותיים כאשר [[ללא הגבלת הכלליות]] המשתנה <math>X</math> יכול לקבל את הערכים <math>1,2,...,I</math> והמשתנה <math>Y</math> יכול לקבל את הערכים <math>1,2,...,J</math>.

נתבונן ב[[מדגם]] בגודל <math>n</math> מתוך אוכלוסייה כלשהי, ונסמן ב-<math>n_{ij}</math> את מספר הפרטים במדגם עבורם <math>X=i</math> ו-<math>Y=j</math>. נאמר כי <math>n_{ij}</math> היא השכיחות של התצפיות במדגם עבורן <math>X=i</math> ו-<math>Y=j</math>. הטבלה שבה יש <math>I</math> שורות ו-<math>J</math> עמודות, ובהצטלבות השורה ה-<math>i</math> והעמודה ה-<math>j</math> נמצא המספר <math>n_{ij}</math> נקראת [[לוח שכיחות|לוח השכיחות]] של המשתנים <math>X</math> ו-<math>Y</math>. מכיוון שלטבלה יש שני ממדים (אורך ורוחב) לוח השכיחות הוא דו-ממדי. לוח השכיחות הוא למעשה הנתונים שיש לנתח.

כן נסמן ב-<math>n_{i.}</math> את מספר הפרטים במדגם עבורם <math>X=i</math>, וב-<math>n_{.j}</math> נסמן את מספר הפרטים במדגם עבורם <math>Y=j</math>.

אם אין לנו שום ידיעה על ההתפלגות המשותפת של <math>X</math> ושל -<math>Y</math>, אז <math>m_{ij}</math>, [[תוחלת]] מספר הפרטים במדגם שעבורם <math>X=1</math> ו- <math>Y=2</math> היא <math>m_{ij}=n \cdot P(x=i, Y=j)</math>.

אם לעומת זאת נניח כי <math>X</math> ו-<math>Y</math> הם משתנים מקריים [[אי תלות (סטטיסטיקה)|בלתי תלויים]], אז <math>P(X=i,Y=j)=P(X=i) \cdot P(Y=j)</math> לכל <math>i</math> ולכל <math>j</math>, ולכן <math>m_{ij}=n \cdot P(X=i)\cdot P(Y=j)</math>.

אמדים להסתברויות אלה הם <math>\hat{P}(X=i)=\frac{n_{i.}}{n}</math> ו-<math>\hat{P}(Y=j)=\frac{n_{.j}}{n}</math>, ולכן, תחת הנחת אי התלות:
<math display="block">\hat{m}_{ij}=n \cdot \hat{P}(X=i) \cdot \hat{P}(Y=j)=n \cdot \frac {n_{i.}}{n} \cdot \frac {n_{.j}}{n} = \frac{n_{i.} \cdot n_{.j}}{n}</math>

על ידי הפעלת פונקציית [[לוגריתם|הלוגריתם]] נקבל כי <math>\log \hat{m}_{ij} = \log n_{i.} + \log n_{.j} - \log n</math>.

באגף ימין יש שלושה מחוברים, אחד מהם תלוי ב-<math>X</math> וב-<math>i</math>, השני תלוי ב-<math>Y</math> וב-<math>j</math>, והשלישי אינו תלוי במשתנים או בערכים אלא רק בגודל המדגם.

לכן, מודל מתקבל על הדעת עבור אי התלות בין <math>X</math> ו-<math>Y</math> (בהנחה כי היא מתקיימת) הוא:
<math>\log m_{ij}=\lambda+\lambda^X_i + \lambda^Y_j</math> לכל <math>i</math> ולכל <math>j</math>.

אם לעומת זאת המשתנים אינם בלתי תלויים אז השוויון האחרון אינו נכון, והמודל המתאים הוא
<math>\log m_{ij}=\lambda+\lambda^X_i + \lambda^Y_j + \lambda^{XY}_{ij}</math>כאשר <math>\lambda^{XY}_{ij} \ne 0</math> לפחות עבור זוג <math>ij</math> אחד. מודל זה מכונה "המודל הרווי", מכיוון שהוא תמיד מתאים לנתונים התאמה מלאה. הביטוי <math>\lambda^{XY}_{ij}</math>מבטא את האינטראקציה (יחסי הגומלין) בין <math>X</math> ו-<math>Y</math>.

מכאן ש-<math>X</math> ו-<math>Y</math> הם בלתי תלויים אם ורק אם <math>\lambda^{XY}_{ij}=0</math> לכל <math>i</math> ולכל <math>j</math>.

==אמידת הפרמטרים וטיב ההתאמה==
קל לראות כי כפי שהמודל הרווי הוגדר עבור לוח השכיחות הדו־ממדי, מספר הפרמטרים <math>\lambda</math> גדול באופן משמעותי ממספר הנתונים. יתרה מזו, הערכים הנאמדים של <math>\lambda</math> אינם יכולים לקבל כל ערך אפשרי מכיוון שניתן לבטא בעזרתם את ההסתברויות <math>P(X=i, Y=j)</math> והסתברויות אלה חייבות להסתכם ל-1. גם ההסתברויות <math>P(X=i)</math> חייבות להסתכם ל-1 וכן ההסתברויות <math>P(Y=j)</math>.

לכן יש להשית אילוצים מתאימים על הערכים של ה-<math>\lambda</math>-ות.

מערכת אילוצים אפשרית עבור מודל אי תלות ללוח שכיחות דו־ממדי היא: <math>\sum_i \lambda^X_i=0</math> ו- <math>\sum_j \lambda^Y_j=0</math>. אילוצים אלה הם אנלוגיים לאילוצים <math>\sum_i P(X=i)=1</math> ו-<math>\sum_j P(Y=j)=1</math>. בהינתן אילוצים אלו, למודל יש <math>(I-1)(J-1)</math> [[דרגות חופש (סטטיסטיקה)|דרגות חופש]].

כדי לאמוד את הפרמטרים של המודל הרווי יש צורף באילוצים נוספים: <math>\sum_i \lambda^{XY}_{ij}=0</math> לכל <math>j</math>
ו-<math>\sum_j \lambda^{XY}_{ij}=0</math> לכל <math>i</math>. בהינתן אילוצים אלה, למודל הרווי יש 0 דרגות חופש. מאילוצים אלה נובע כי השערת אי התלות בין המשתנים ניתנת לניסוח כ-<math>H_0 \! : \;\; \lambda^{XY}_{11}=0</math>.

אמידת הפרמטרים נעשית [[נראות מרבית|בשיטת הנראות המרבית]]{{הערה|{{צ-מאמר|מחבר=Stephen E. Fienberg and Alessandro Rinaldo|שם=Maximum likelihood estimation in log-linear models|כתב עת=Annals of Statistics|כרך=40|סדרה=2|עמ=996-1023|מו"ל=Institute of Mathematical Statistics|שנת הוצאה=2012|doi=10.1214/12-AOS986|קישור=https://projecteuclid.org/download/pdfview_1/euclid.aos/1342625459}}}}. לאחר מכן ניתן לבחון את טיב ההתאמה של המודל לנתונים בעזרת [[מבחן חי בריבוע]].

בתוכנת [[R (שפת תכנות)|R]] ניתן לאמוד את הפרמטרים של המודלים הלוג ליניאריים בעזרת הפונקציה loglin הזמינה בחבילת הבסיס של התוכנה.

==מודלים ללוח שכיחות תלת־ממדי==
באופן דומה להגדרת לוח השכיחות הדו־ממדי, נוכל להגדיר את לוח השכיחות התלת־ממדי על ידי האוסף <math>n_{ijk}</math>, כאשר זהו מספר התצפיות במדגם עבורן <math>Z=k</math> <math>Y=j</math>, <math>X=i</math>, וכאשר <math>X,Y,Z</math> הם משתנים מקריים המקבלים <math>I,J,K</math>ערכים בהתאמה.

המודל הרווי ללוח שכיחות תלת־ממדי הוא:
{{ltr|
<math>\begin{align}
\log m_{ijk}&= \lambda \; + \\
&\;\;\;\;\; \lambda^X_i + \lambda^Y_j + \lambda^Z_k + \\
&\;\;\;\;\; \lambda^{XY}_{ij} + \lambda^{XZ}_{ik} + \lambda^{YZ}_{jk} + \\
&\;\;\;\;\; \lambda^{XYZ}_{ijk}
\end{align}
</math>
}}

ניתן לגזור מודלים שונים עבור ההתפלגות המשותפת של <math>Y</math>, <math>X</math> ו-<math>Z</math> על ידי איפוס גורמי [[אינטראקציה]].

===מודל אי תלות===
מודל אי תלות מתקבל על ידי איפוס כל האינטראקציות:
{{ltr|
<math>\log m_{ijk}= \lambda+ \lambda^X_i + \lambda^Y_j + \lambda^Z_k </math>
}}

===מודל אי תלות בין Y ו-Z בהינתן X===
מודל זה מתקבל על ידי איפוס האינטראקציה מסדר 3 <math>\lambda^{XYZ}_{ijk}</math>, וכן על ידי איפוס <math>\lambda^{YZ}_{jk}</math>, האינטראקציה בין <math>Y</math> ו-<math>Z</math>.

המודל הוא
{{ltr|
<math>\begin{align}
\log m_{ijk}&= \lambda \; + \\
&\;\;\;\;\; \lambda^X_i + \lambda^Y_j + \lambda^Z_k + \\
&\;\;\;\;\; \lambda^{XY}_{ij} + \lambda^{XZ}_{ik}
\end{align}
</math>
}}

===מודל בו X בלתי תלוי ב-(Y,Z)===
מודל זה מתקבל על ידי איפוס האינטראקציה מסדר 3 <math>\lambda^{XYZ}_{ijk}</math>, וכן על ידי איפוס האינטראקציה בין <math>X</math> ל-<math>Y</math> - <math>\lambda^{XY}_{ij}</math> והאינטראקציה בין <math>X</math> ל-<math>Z</math> - <math>\lambda^{XZ}_{ik}</math>.

המודל הוא
{{ltr|
<math>\begin{align}
\log m_{ijk}&= \lambda \; + \\
&\;\;\;\;\; \lambda^X_i + \lambda^Y_j + \lambda^Z_k + \\
&\;\;\;\;\; \ \lambda^{YZ}_{jk}
\end{align}
</math>
}}

=== אי תלות בזוגות===
על פי מודל זה <math>X</math> ו-<math>Y</math> בלתי תלויים, <math>X</math> ו-<math>Z</math> בלתי תלויים, וגם <math>Y</math> ו-<math>Z</math> בלתי תלויים, אבל <math>Y</math>, <math>X</math> ו-<math>Z</math> יחדיו אינם בלתי תלויים.

מודל זה מתקבל על ידי איפוס האינטראקציות מסדר 2 אך מותיר את האינטראקציה מסדר 3.
המודל הוא
{{ltr|
<math>\begin{align}
\log m_{ijk}&= \lambda \; + \\
&\;\;\;\;\; \lambda^X_i + \lambda^Y_j + \lambda^Z_k + \\
&\; \\
&\;\;\;\;\; \lambda^{XYZ}_{ijk}
\end{align}
</math>
}}

===מודל עם כל האינטראקציות מסדר 2===
מודל זה מתקבל על ידי איפוס האינטראקציה מסדר 3. למודל אין אינטרפרטציה הסתברותית ברורה.
המודל הוא
{{ltr|
<math>\begin{align}
\log m_{ijk}&= \lambda \; + \\
&\;\;\;\;\; \lambda^X_i + \lambda^Y_j + \lambda^Z_k + \\
&\;\;\;\;\; \lambda^{XY}_{ij} + \lambda^{XZ}_{ik} + \lambda^{YZ}_{jk}
\end{align}
</math>
}}

==הקשר בין המודל הלוג ליניארי ומודל הרגרסיה הלוגיסטית==
קיימת חפיפה בין המודל הלוג ליניארי ומודל [[רגרסיה לוגיסטית|הרגרסיה הלוגיסטית]] במובן שבמקרים מסוימים שני המודלים שקולים. נדגים זאת בעזרת לוח שכיחות דו־ממדי מסדר <math>2 \times J</math>, כלומר המשתנה <math>X</math> מקבל שני ערכים והמשתנה <math>Y</math> מקבל <math>J</math> ערכים.

בהנחה כי <math>X</math> ו-<math>Y</math> בלתי תלויים, מתקיים כי <math>P(X=i|Y=j)=P(X=i)</math> לכל <math>i</math> ולכל <math>j</math>, ובפרט [[יחס הסיכויים]] של <math>X</math> בהינתן <math>Y</math> הוא קבוע, כלומר <math>\log \frac {P(X=2|Y=j)} {P(X=1|Y=j)} = \beta_0</math>.

על פי המודל הלוג ליניארי לאי תלות:
{{ltr|
<math>\begin{align}

\log \frac{P(X=2|Y=j)}{P(X=1|Y=j)}&= \log \frac{P(X=2, Y=j)}{P(X=1,Y=j)} \\

&= \log \frac{p_{2j}}{p_{1j}} \\

&= \log \frac{m_{2j}}{m_{1j}} \\

&= \log m_{2j} - \log m_{1j} \\

&= (\lambda + \lambda^X_2 + \lambda^Y_j) - (\lambda + \lambda^X_1 + \lambda^Y_j) \\

&= \lambda^X_2 - \lambda^X_1

\end{align}
</math>
}}

ואכן, קיבלנו כי לוג יחס הסיכויים אינו תלוי ב-<math>Y</math>. יתרה מזאת, מצאנו כי ניתן לבטא את [[פרמטר]] הרגרסיה הלוגיסטית <math>\beta_0</math> בעזרת הפרמטרים של המודל הלוג ליניארי: <math>\beta_0 = \lambda^X_2 - \lambda^X_1</math>.

כאשר <math>X</math> ו-<math>Y</math> אינם בלתי תלויים, מודל הרגרסיה הלוגיסטית הוא <math>log \frac{P(X=2|Y)}{P(X=1|Y)} = \beta_0 + \beta_1 Y</math> כלומר לוג יחס הסיכויים תלוי ב-<math>Y</math>.

באופן דומה לפיתוח שנעשה עבור מודל אי התלות, נוכל למצוא כי עבור המודל הרווי:
{{ltr|
<math>\log \frac{P(X=2|Y=j)}{P(X=1|Y=j)} = (\lambda^X_2 - \lambda^X_1) + (\lambda^{XY}_{2j} - \lambda^{XY}_{1j})
</math>
}}

כלומר לוג יחס הסיכויים הוא סכום של שני מחוברים, אחד מהם אינו תלוי ב-<math>Y</math> והשני תלוי ב-<math>Y</math>.

==לקריאה נוספת==
{{ltr|
* {{cite book |title=Discrete Multivariate Analysis: Theory and Practice |last=Bishop |first=Y. M. M.  |first2=S. E. |last2=Fienberg
 |first3=P. W. |last3=Holland |year=1975 |publisher=MIT Press |isbn=978-0-262-02113-5 |mr=381130}}

* {{cite book |title=An introduction to categorical data analysis, 2nd Edition |last=Agresti |first=Alan  |year=2007 |publisher=John Wiley & Sons |isbn=978-0-471-22618-5}}

* {{cite book |title=Categorical data analysis, 2nd Edition |last=Agresti |first=Alan  |year=2002 |publisher=John Wiley & Sons |isbn=0-471-36093-7}}

}}

==הערות שוליים==
{{ltr|
{{הערות שוליים}}
}}

{{בקרת זהויות}}

[[קטגוריה:מודלים סטטיסטיים]]
[[קטגוריה:ניתוח נתונים איכותיים]]