הצגת המקור של הדף "רגרסיה ליניארית פשוטה"

{{לשכתב|כל הערך=כן|נושא=מדע וטכנולוגיה|סיבה=[[ויקיפדיה:תרגמת|תרגמת]] חמורה}}

[[קובץ:Okuns_law_quarterly_differences.svg|ממוזער|300x300 פיקסלים| חוק אוקון ב[[מקרו-כלכלה]] הוא דוגמה לרגרסיה ליניארית פשוטה. בדוגמה זו ההנחה היא שהמשתנה התלוי (גדילת התמ"ג) נמצא בקשר ליניארי עם השינויים בשיעור האבטלה.]]
'''רגרסיה ליניארית פשוטה''' ב[[סטטיסטיקה]] היא מודל [[רגרסיה ליניארית]] עם [[משתנה מסביר]] יחיד. <ref>{{צ-ספר|מחבר=Howard J. Seltman|שם=Experimental Design and Analysis https://www.stat.cmu.edu/~hseltman/309/Book/Book.pdf|שנת הוצאה=2018}}</ref><ref>{{קישור כללי|כתובת=https://onlinestatbook.com/Online_Statistics_Education.pdf|הכותב=David M. Lane|כותרת=Introduction to Statistics|אתר=https://onlinestatbook.com}}</ref><ref>{{צ-מאמר|מחבר=Kelly H. Zou, Kemal Tuncali, Stuart G. Silverman|שם=Correlation and Simple Linear Regression
https://pubs.rsna.org/doi/10.1148/radiol.2273011499|כתב עת=Radiology Vol. 227, No. 3}}</ref><ref>{{צ-מאמר|מחבר=Altman, Naomi; Krzywinski, Martin|שם=Simple linear regression
https://www.nature.com/articles/nmeth.3627|כתב עת=Nature Methods}}</ref>

בפשטות, נניח שנדגמו פריטים מתוך אוכלוסייה, ונמדדו לכל אחד מהפריטים שתי תכונות מספריות (אותן שתי תכונות בכל פעם). ניתן לשרטט את הנתונים על [[מערכת צירים קרטזית]], כך שהגודל של אחת התכונות הוא שיעור ''x'' – המרחק מהציר האנכי – והגודל האחר הוא שיעור ''y'' – המרחק מהציר האופקי. עבור שרטוט כזה, רגרסיה ליניארית פשוטה מבקשת לתאר את אוסף הנקודות באמצעות קו מגמה ישר אחד, כך שהמרחק בין הנקודות לקו הוא הקטן ביותר האפשרי (במובן מסוים, שיוסבר בהמשך).

באופן יותר פורמלי, עבור מדגם דו-ממדי, <math>\{(x_i, y_i) \mid i = 1, ...,n\}</math> – כך ש-''x'' נקרא המשתנה המנבא, או המשתנה הבלתי תלוי, ו-''y'' נקרא משתנה התוצאה, או המשתנה התלוי – ביצוע הרגרסיה מסתכם במציאת פונקציה ליניארית (<math>y=a+bx</math>) שאמורה לנבא, בדיוק גבוה ככל הניתן, את ערכי המשתנה התלוי כפונקציה של המשתנה הבלתי תלוי. [[שם תואר|שם התואר]] "פשוטה" מתייחס לכך שמשתנה התוצאה מוסבר באמצעות משתנה מסביר יחיד.

=== שיטות רגרסיה שונות ===
מקובל להשתמש ב[[שיטת הריבועים הפחותים הרגילים]] {{אנ|Ordinary_least_squares}} (OLS) המגדירה את גודל השגיאה בין קו התחזית (קו הרגרסיה) לבין כל אחת מנקודות המדגם לפי ריבוע השארית שלה (דהיינו, המרחק האנכי בין הנקודה לבין הקו המותאם), והמטרה היא לצמצם ככל הניתן את סכום השאריות בריבוע.

בין שיטות הרגרסיה האחרות שניתן להשתמש בהן, במקום שיטת הריבועים הפחותים, ניתן למנות את שיטת הסטיות המוחלטות הפחותות {{אנ|Least_absolute_deviations}} (ממזערת את סכום הערכים המוחלטים של השאריות) ואת [[אומדן Theil-Sen]] {{אנ|Theil–Sen_estimator}} (הבוחר קו שה[[שיפוע]] שלו הוא ה[[חציון]] של השיפועים שנקבע על ידי זוגות של נקודות המדגם). גם [[רגרסיית דמינג]] {{אנ|Deming regression}} מוצאת קו שמתאים לקבוצה של מדגם דו-ממדי, אבל (בניגוד לשיטות הקודמות שהוצגו עד כה) היא איננה באמת רגרסיה ליניארית פשוטה, כי הוא לא מחלקת את המשתנים למשתנה תלוי ובלתי-תלויה, ויכול גם להתאים לנתונים קו אנכי.

שאר המאמר מתייחס לרגרסיה בשיטת הריבועים הפחותים הרגילים. בתרחיש זה, השיפוע של הקו המותאם שווה למכפלה של [[מתאם פירסון]] בין המשתנים עם היחס בין סטיות התקן שלהם. בנוסף, החותך של קו המגמה מתקבל כך שהקו יעבור דרך [[מרכז מסה|מרכז המסה]] של נקודות הנתונים.{{הערה|{{צ-ספר|מחבר=נחי אברהם (על בסיס הרצאות מפי פרופ' אור צוק)|שם=רגרסיה ומודלים ליניאריים|קישור=http://math.huji.ac.il/~nachi/Files/Regresia.pdf|שנת הוצאה=2015}}|כיוון=ימין}}

== התאמת קו הרגרסיה ==
באופן פשטני, ניתן להניח קשר בין המשתנה הבלתי תלוי <math>x</math> והמשתנה התלוי <math>y</math> אשר נתון בנוסחה:
: <math> y = \alpha + \beta x</math>
המתארת ישר עם שיפוע <math>\beta</math> ו-חותך <math>\alpha</math>. הבעיה במודל כזה היא שבאופן כללי, קשר כזה עשוי שלא להתקיים בדיוק עבור האוכלוסייה הכללית של המשתנים הבלתי תלויים והתלויים. הסטיות בין הערך שמתקבל מהנוסחה לבין הערך האמיתי נקראות "[[שגיאה סטטיסטית|שגיאות]]" {{אנ|Random error}}. נניח שנצפו <math>n</math> זוגות של נתונים, <math>\{(x_i, y_i) \mid i = 1, ...,n\}</math>. ניתן לתאר את הקשר הבסיסי בין <math>x_i</math> לבין <math>y_i</math> הכולל את איבר השגיאה הזה, <math>\varepsilon_i</math>, בנוסחה:
: <math> y_i = \alpha + \beta x_i + \varepsilon_i</math>
קשר זה בין הפרמטרים האמתיים (אך לא נצפים) <math>\alpha,\beta</math> לבין הנתונים נקרא מודל רגרסיה ליניארית.

המטרה היא למצוא שני אומדנים, <math>\widehat\alpha</math> ו-<math>\widehat\beta</math>, עבור הפרמטרים <math>\alpha</math> ו-<math>\beta</math> (בהתאמה), אשר יספקו התאמה לנקודות הנתונים, כך שההתאמה תהיה "מיטבית" במובן מסוים. כאמור לעיל, יש יותר מדרך אחת להגדיר את טיב ההתאמה, אבל לשם ההמשך תוגדר ההתאמה המיטבית בשיטת הריבועים הפחותים: על קו המגמה למזער את סכום השאריות בריבוע, <math>\widehat\varepsilon_i</math> (ההפרשים בין הערכים הנצפים והערכים החזויים של המשתנה התלוי ''y''), שכל אחד מהם נתון בנוסחה:
: <math>\widehat\varepsilon_i =y_i-\alpha - \beta x_i.</math>
עבור <math>\alpha</math> ו <math>\beta</math> כלשהם.

במילים אחרות, <math>\widehat\alpha</math> ו-<math>\widehat\beta</math> פותרים את בעיית האופטימיזציה הבאה:
::: {{ציטוטון|מצאו את <math>\min_{\alpha,\, \beta}f(\alpha,\beta)</math>, בהינתן{{ש}} <math>f(\alpha,\beta) = \sum_{i=1}^n\widehat\varepsilon_i^{\,2} = \sum_{i=1}^n (y_i -\alpha - \beta x_i)^2</math>}}

=== מציאת אומדנים <math>\hat{\alpha}, \hat{\beta}</math> ===
תחילה נגדיר את הסימון <math>\bar{x} </math> - הממוצע של המדגם <math>x </math>, כלומר <math>\bar{x} = \frac{\sum_{i=1}^n{x_i}}{n} </math>.

על מנת למצוא את <math>\hat{\alpha}</math>, נגזור את הפונקציה: <ref>Kenney, J. F. and Keeping, E. S. (1962) "Linear Regression and Correlation." Ch. 15 in ''Mathematics of Statistics'', Pt. 1, 3rd ed. Princeton, NJ: Van Nostrand, pp. 252–285</ref><ref>{{צ-ספר|מחבר=Thomas J. Quirk, Meghan H. Quirk & Howard F. Horton|שם=Correlation and Simple Linear Regression|מקום הוצאה=Excel 2019 for Environmental Sciences Statistics
https://link-springer-com.rproxy.tau.ac.il/chapter/10.1007/978-3-030-66277-6_6|מו"ל=pp 113-155|שנת הוצאה=10 April 2021}}</ref>

<math>\begin{align}
 \frac{\partial f}{\partial \alpha} = \sum_{i = 1}^n{-2(y_i - \alpha - \beta x_i)} = 0\\
 \sum_{i = 1}^n{(y_i - \alpha - \beta x_i)} = 0 \\
 \sum_{i = 1}^n{y_i} - \sum_{i = 1}^n{\alpha} - \sum_{i = 1}^n{\beta x_i} = 0\\
 \sum_{i = 1}^n{y_i} - na - \sum_{i = 1}^n{\beta x_i} = 0 \\
 \alpha = \frac{\sum_{i = 1}^n{y_i} - \beta\sum_{i = 1}^n{x_i}}{n} \\
 \hat{\alpha} = \bar{y} - \hat{\beta}\bar{x}
\end{align}</math>

נראה כי <math>\hat{\alpha}</math> תלוי ב <math>\hat{\beta}</math>. נמצא כעת את <math>\hat{\beta}</math>:

<math>\begin{align}
 \frac{\partial f}{\partial \beta} = \sum_{i = 1}^n{-2x_i(y_i - \alpha - \beta x_i)} = 0 \\
 \sum_{i = 1}^n{x_i(y_i - \alpha - \beta x_i)} = 0 \\
 \sum_{i = 1}^n{(x_iy_i - \alpha x_i - \beta x_i^2)} = 0 \\
 \sum_{i = 1}^n{(x_iy_i - (\bar{y} - \beta\bar{x})x_i - \beta x_i^2)} = 0 \\
 \sum_{i = 1}^n{(x_iy_i - \bar{y}x_i + \beta\bar{x}x_i - \beta x_i^2)} = 0 \\
 \sum_{i = 1}^n{(x_iy_i - \bar{y}x_i)} + \sum_{i = 1}^n{(\beta\bar{x}x_i - \beta x_i^2)} = 0 \\
 \sum_{i = 1}^n{(x_iy_i - \bar{y}x_i)} - \beta\sum_{i = 1}^n{(x_i^2 - \bar{x}x_i)} = 0 \\
 \beta = \frac{\sum_{i = 1}^n{(x_iy_i - \bar{y}x_i)}}{\sum_{i = 1}^n{(x_i^2 - \bar{x}x_i)}} \\
 . \\
 . \\
 . \\
 \hat{\beta} = \frac{ \sum_{i=1}^n (x_i - \bar{x})(y_i - \bar{y}) }{ \sum_{i=1}^n (x_i - \bar{x})^2 }
\end{align} </math>

כאשר בנקודות אנחנו עושים פישוט אלגברי לביטוי. לכן נקבל סה"כ:

: <math display="inline">\begin{align}
 \widehat\alpha & = \bar{y} - ( \widehat\beta\,\bar{x}), \\[5pt]
 \widehat\beta &= \frac{ \sum_{i=1}^n (x_i - \bar{x})(y_i - \bar{y}) }{ \sum_{i=1}^n (x_i - \bar{x})^2 } \\[6pt]
 &= \frac{ s_{x, y} }{ s^2_{x} } \\[5pt]
 &= r_{xy} \frac{s_y}{s_x}. \\[6pt]
\end{align}</math>

כאן הצגנו

על ידי החלפה של הביטויים לעיל עבור <math>\widehat{\alpha}</math> ו <math>\widehat{\beta}</math> ל

<math> f = \widehat{\alpha} + \widehat{\beta} x,</math>
נקבל

: <math>\frac{ f - \bar{y}}{s_y} = r_{xy} \frac{ x - \bar{x}}{s_x}.</math>

זה מראה ש-{{נוסחה|''r''<sub>''xy''</sub>}} הוא השיפוע של קו הרגרסיה של נקודות הנתונים [[ציון תקן|הסטנדרטיות]] (ושהקו הזה עובר דרך המקור).

נראה כי נקבל:

: <math>r_{xy} = \frac{ \overline{xy} - \bar{x}\bar{y} }{ \sqrt{ \left(\overline{x^2} - \bar{x}^2\right)\left(\overline{y^2} - \bar{y}^2\right)} }.</math>

מקדם המתאם ("R בריבוע") שווה ל <math>r_{xy}^2</math> כאשר המודל הוא ליניארי עם משתנה בלתי תלוי בודד. ראה [[מתאם|מקדם מתאם לדוגמה]] לפרטים נוספים.

=== רגרסיה ליניארית פשוטה ללא חותך (רגרסור בודד) ===
לפעמים ראוי להכריח את קו הרגרסיה לעבור דרך המוצא, כי מניחים ש - <math>x </math> ו-<math>y </math> הם פרופורציונליים. עבור המודל ללא החותך, <math> y = \beta x</math>, אומדן OLS עבור {{Mvar|β}} מפושט ל-

: <math>\widehat{\beta} = \frac{ \sum_{i=1}^n x_i y_i }{ \sum_{i=1}^n x_i^2 } = \frac{\overline{x y}}{\overline{x^2}} </math>

שימוש בהתמרה <math> (x, y) \rightarrowtail (x-h, y-k)</math> נותנת את הרגרסיה דרך <math> (h, k)</math>:

: <math>\begin{align}
 \widehat\beta &= \frac{ \sum_{i=1}^n (x_i - h) (y_i - k) }{ \sum_{i=1}^n (x_i - h)^2 } = \frac{\overline{(x - h) (y - k)}}{\overline{(x - h)^2}} \\[6pt]
 &= \frac{\overline{x y} - k \bar{x} - h \bar{y} + h k }{\overline{x^2} - 2 h \bar{x} + h^2} \\[6pt]
 &= \frac{\overline{x y} - \bar{x} \bar{y} + (\bar{x} - h)(\bar{y} - k)}{\overline{x^2} - \bar{x}^2 + (\bar{x} - h)^2} \\[6pt]
 &= \frac{\operatorname{Cov}(x,y) + (\bar{x} - h)(\bar{y}-k)}{\operatorname{Var}(x) + (\bar{x} - h)^2},
\end{align}</math>

כאשר <math> \operatorname{Cov}, \operatorname{Var}</math> הם השונות המשותפת והשונות (covariance and variance) של נתוני המדגם (ללא [[תיקון בסל]]).

הצורה האחרונה שלמעלה מדגימה כיצד הרחקת הקו ממרכז המסה של נקודות הנתונים משפיעה על השיפוע.

== מאפיינים מבוססי מודל ==
תיאור המאפיינים הסטטיסטיים של אומדנים מאומדני הרגרסיה הליניארית הפשוטים מחייב שימוש [[מודל (סטטיסטיקה)|במודל סטטיסטי]]. להלן מבוסס על הנחת תקפותו של מודל לפיו האומדנים אופטימליים. אפשר גם להעריך את המאפיינים תחת הנחות אחרות, כגון [[הומוסקדסטיות|חוסר הומוגניות]], אבל זה נדון במקום אחר.

=== היעדר הטיה ===
האומדים <math>\widehat{\alpha}</math> ו-<math>\widehat{\beta}</math> הם בלתי-מוטים (unbiased).

כדי לבסס קביעה זו יש להגדיר מסגרת שבה האומדנים הללו הם משתנים אקראיים. אנו מחשיבים את השאריות <math>\varepsilon_i</math> כמשתנים אקראיים הנדגמים באופן בלתי תלוי מהתפלגות כלשהי עם תוחלת 0. במילים אחרות, עבור כל ערך של <math>x</math>, הערך המתאים של <math>y</math> נוצר כתגובה ממוצעת <math>\alpha + \beta x</math> בתוספת משתנה אקראי נוסף <math>\varepsilon</math> הנקרא "איבר השגיאה", השווה לאפס בממוצע. לפי פרשנות כזו, האומדנים הקטנים ביותר בריבועים <math>\widehat\alpha</math> ו <math>\widehat\beta</math> יהיו עצמם משתנים אקראיים שהאמצעים שלהם ישתווה ל"ערכים האמתיים" <math>\alpha, \beta</math>. זוהי ההגדרה של אומדן חסר הטיה.

=== רווחי סמך ===
הנוסחאות שניתנו בסעיף הקודם מאפשרות לחשב את ה[[אמידה נקודתית|אומדים הנקודתיים]] של {{Mvar|α}} ו-{{Mvar|β}} - כלומר, המקדמים של קו הרגרסיה עבור קבוצת הנתונים הנתונה. עם זאת, הנוסחאות הללו אינן אומרות לנו עד כמה ההערכות מדויקות, כלומר, כמה האומדנים <math>\widehat{\alpha}</math> ו <math>\widehat{\beta}</math> להשתנות ממדגם למדגם עבור גודל המדגם שצוין. [[רווח בר-סמך|רווחי סמך]] נוצרו כדי לתת קבוצה סבירה של ערכים לאומדנים שיכולים להיות אם יחזור על הניסוי מספר רב מאוד של פעמים.

השיטה הסטנדרטית לבניית רווחי סמך עבור מקדמי רגרסיה ליניארית מסתמכת על הנחת הנורמליות, המוצדקת אם אחת מהן:

# השגיאות ברגרסיה [[התפלגות נורמלית|מתפלגות נורמלית]] (מה שנקרא "הנחת רגרסיה קלאסית"), או
# מספר התצפיות {{Mvar|n}} גדול מספיק, ובמקרה זה האומד (estimator) מתפלג נורמלית בערך.

המקרה האחרון מוצדק על ידי [[משפט הגבול המרכזי]].

==== הנחת נורמליות ====
על פי ההנחה הראשונה לעיל, זו של נורמליות איברי השגיאה, האומדן של מקדם השיפוע יתחלק באופן נורמלי עם ממוצע {{Mvar|β}} ושונות <math style="height:1.5em">\sigma^2\left/\sum(x_i - \bar{x})^2\right.,</math> כאשר {{נוסחה|''σ''<sup>2</sup>}} היא השונות של איברי השגיאה (ראה הוכחות הכוללות ריבועים קטנים רגילים ). באותו זמן סכום השיירים בריבוע {{Mvar|Q}} מתחלק באופן יחסי ל - {{נוסחה|[[chi-squared distribution|''χ''<sup>2</sup>]]}} עם {{נוסחה|''n'' − 2}} דרגות חופש, ובאופן בלתי תלוי מ <math>\widehat{\beta}</math>. זה מאפשר לנו לבנות ערך {{Mvar|t}}

: <math>t = \frac{\widehat\beta - \beta}{s_{\widehat\beta}}\ \sim\ t_{n - 2},</math>

כאשר

: <math> s_\widehat{\beta} = \sqrt{ \frac{\frac{1}{n - 2}\sum_{i=1}^n \widehat{\varepsilon}_i^{\,2}} {\sum_{i=1}^n (x_i - \bar{x})^2} }</math>

היא "שגיאת התקן" של האומד <math>\widehat{\beta}</math>.

לערך {{Mvar|t}} זה יש התפלגות t [[התפלגות t|''t'' של סטודנט]] עם {{נוסחה|''n'' − 2}} דרגות חופש. באמצעותו נוכל לבנות רווח סמך עבור {{Mvar|β}}:

: <math> \beta \in \left[\widehat\beta - s_{\widehat\beta} t^*_{n - 2},\ \widehat\beta + s_{\widehat\beta} t^*_{n - 2}\right],</math>

ברמת ביטחון {{נוסחה|(1 − ''γ'')}}, שבו <math>t^*_{n - 2}</math> הוא ה <math>\scriptstyle \left(1 \;-\; \frac{\gamma}{2}\right)\text{-th}</math> quantile של התפלגות {{נוסחה|''t''<sub>''n''−2</sub>}}. לדוגמה, אם {{נוסחה|''γ'' {{=}} 0.05}} אז רמת הביטחון היא 95%.

באופן דומה, רווח הסמך עבור מקדם החותך {{Mvar|α}} ניתן על ידי

: <math>\alpha \in \left[ \widehat\alpha - s_{\widehat\alpha} t^*_{n - 2},\ \widehat\alpha + s_\widehat{\alpha} t^*_{n - 2}\right],</math>

ברמת ביטחון (1 − ''γ'' ), שבו

: <math>s_{\widehat\alpha} = s_\widehat{\beta}\sqrt{\frac{1}{n} \sum_{i=1}^n x_i^2} = \sqrt{\frac{1}{n(n - 2)} \left(\sum_{i=1}^n \widehat{\varepsilon}_i^{\,2} \right) \frac{\sum_{i=1}^n x_i^2} {\sum_{i=1}^n (x_i - \bar{x})^2} }</math>

[[קובץ:Okuns_law_with_confidence_bands.svg|ממוזער|300x300 פיקסלים| רגרסיה של ארצות הברית בעקומה: "השינויים באבטלה - צמיחת התמ"ג" עם רווח סמך ברמת ביטחון של 95%.]]
רווחי הסמך עבור {{Mvar|α}} ו-{{Mvar|β}} נותנים לנו את הרעיון הכללי היכן יש סבירות גבוהה ביותר להיות מקדמי רגרסיה אלו. לדוגמה, ברגרסיית חוק האוקון המוצגת כאן, ההערכות הנקודתיות הן

: <math>\widehat{\alpha} = 0.859, \qquad \widehat{\beta} = -1.817.</math>

רווחי הסמך של 95% לאומדנים אלה הם

: <math>\alpha \in \left[\,0.76, 0.96\right], \qquad \beta \in \left[-2.06, -1.58 \,\right].</math>

על מנת לייצג מידע זה בצורה גרפית, בצורת פסי הביטחון סביב קו הרגרסיה, יש להתקדם בזהירות ולהתחשב בהתפלגות המשותפת של האומדנים. ניתן להראות <ref>Casella, G. and Berger, R. L. (2002), "Statistical Inference" (2nd Edition), Cengage, {{ISBN|978-0-534-24312-8}}, pp. 558–559.</ref> שברמת ביטחון (1-''γ'' ) לרצועת הביטחון יש צורה היפרבולית הניתנת על ידי המשוואה

: <math>(\alpha + \beta \xi) \in \left[ \,\widehat{\alpha} + \widehat{\beta} \xi \pm t^*_{n - 2} \sqrt{ \left(\frac{1}{n - 2} \sum\widehat{\varepsilon}_i^{\,2} \right) \cdot \left(\frac{1}{n} + \frac{(\xi - \bar{x})^2}{\sum(x_i - \bar{x})^2}\right)}\,\right].</math>

כאשר המודל הניח ש <math>\alpha = 0</math>, השגיאה הסטנדרטית של המדרון הופכת ל:

: <math> s_\widehat{\beta} = \sqrt{ \frac{1}{n - 1} \frac{\sum_{i=1}^n \widehat{\varepsilon}_i^{\,2}} {\sum_{i=1}^n x_i^2} }</math>

עם: <math> \hat{\varepsilon}_i = y_i - \hat y_i</math>

==== הנחה אסימפטוטית ====
ההנחה השנייה החלופית קובעת שכאשר מספר הנקודות במערך הנתונים "גדול מספיק", [[חוק המספרים הגדולים]] [[משפט הגבול המרכזי|ומשפט הגבול המרכזי]] הופכים לישימים, ואז ההתפלגות של האומדנים היא נורמלית בקירוב. בהנחה זו כל הנוסחאות שנגזרו מהסעיף הקודם נשארות תקפות, למעט החריג היחיד שהquantile ''t*'' <sub style="position:relative;left:-0.4em">''n'' −2</sub> של התפלגות [[התפלגות t|''t-student'']] מוחלף ב*quantile ''q'' של [[התפלגות נורמלית|ההתפלגות הנורמלית הסטנדרטית]].

== דוגמה מספרית ==
במערך הנתונים להלן מופיע משקלן הממוצע של נשים כפונקציה של גובהן, במדגם של נשים אמריקאיות בגילאי 30–39. על אף שהמאמר של OLS טוען שיהיה נכון יותר להפעיל רגרסיה ריבועית עבור נתונים אלה, מודל הרגרסיה הליניארי הפשוט מיושם כאן במקום זאת.
{| class="wikitable" style="text-align:right;"
! style="text-align:left;" |גובה (מ'), ''x<sub>i</sub>''
|1.47
|1.50
|1.52
|1.55
|1.57
|1.60
|1.63
|1.65
|1.68
|1.70
|1.73
|1.75
|1.78
|1.80
|1.83
|-
! style="text-align:left;" |מסה (ק"ג), ''y<sub>i</sub>''
|52.21
|53.12
|54.48
|55.84
|57.20
|58.57
|59.93
|61.29
|63.11
|64.47
|66.28
|68.10
|69.92
|72.19
|74.46
|}
{| class="wikitable" style="float:right;text-align:right;"
!<math>i</math>
! <math>x_i</math>
! <math>y_i</math>
! <math>x^2_i</math>
! <math>x_{i} y_{i}</math>
! <math>y_i^2</math>
|-
| 1
| 1.47
| 52.21
| 2.1609
| 76.7487
| 2725.8841
|-
| 2
| 1.50
| 53.12
| 2.2500
| 79.6800
| 2821.7344
|-
| 3
| 1.52
| 54.48
| 2.3104
| 82.8096
| 2968.0704
|-
| 4
| 1.55
| 55.84
| 2.4025
| 86.5520
| 3118.1056
|-
| 5
| 1.57
| 57.20
| 2.4649
| 89.8040
| 3271.8400
|-
| 6
| 1.60
| 58.57
| 2.5600
| 93.7120
| 3430.4449
|-
| 7
| 1.63
| 59.93
| 2.6569
| 97.6859
| 3591.6049
|-
| 8
| 1.65
| 61.29
| 2.7225
| 101.1285
| 3756.4641
|-
| 9
| 1.68
| 63.11
| 2.8224
| 106.0248
| 3982.8721
|-
| 10
| 1.70
| 64.47
| 2.8900
| 109.5990
| 4156.3809
|-
| 11
| 1.73
| 66.28
| 2.9929
| 114.6644
| 4393.0384
|-
| 12
| 1.75
| 68.10
| 3.0625
| 119.1750
| 4637.6100
|-
| 13
| 1.78
| 69.92
| 3.1684
| 124.4576
| 4888.8064
|-
| 14
| 1.80
| 72.19
| 3.2400
| 129.9420
| 5211.3961
|-
| 15
| 1.83
| 74.46
| 3.3489
| 136.2618
| 5544.2916
|- style="color:#000000; background:#eeeeee"
| <math>\Sigma</math>
| 24.76
| 931.17
| 41.0532
| 1548.2453
| 58498.5439
|}

ישנן ''n'' = 15 נקודות במערך הנתונים הזה. חישובי ידיים יתחילו על ידי מציאת חמשת הסכומים הבאים:

: <math>\begin{align}
S_{x} &= \sum x_i \, = 24.76, \qquad S_{y} = \sum y_i \, = 931.17, \\[5pt]
S_{xx} &= \sum x_i^2 = 41.0532, \;\;\, S_{yy} = \sum y_i^2 = 58498.5439, \\[5pt]
S_{xy} &= \sum x_iy_i = 1548.2453
\end{align}</math>

כמויות אלה ישמשו לחישוב האומדנים של מקדמי הרגרסיה, ושגיאות התקן שלהם.

: <math>\begin{align}
 \widehat\beta &= \frac{nS_{xy} - S_xS_y}{nS_{xx} - S_x^2} = 61.272 \\[8pt]
 \widehat\alpha &= \frac{1}{n}S_y - \widehat{\beta} \frac{1}{n}S_x = -39.062 \\[8pt]
 s_\varepsilon^2 &= \frac{1}{n(n - 2)} \left[ nS_{yy} - S_y^2 - \widehat\beta^2(nS_{xx} - S_x^2) \right] = 0.5762 \\[8pt]
 s_\widehat{\beta}^2 &= \frac{n s_\varepsilon^2}{nS_{xx} - S_x^2} = 3.1539 \\[8pt]
 s_\widehat{\alpha}^2 &= s_\widehat{\beta}^2 \frac{1}{n} S_{xx} = 8.63185
\end{align}</math>

[[קובץ:OLS_example_weight_vs_height_fitted_linear.svg|ממוזער|240x240 פיקסלים| גרף של נקודות וקווי ריבועים קטנים ליניאריים בדוגמה המספרית של רגרסיה ליניארית פשוטה]]

השברון 0.975 של התפלגות t-student עם 13 דרגות חופש הוא <math>t^*_13 = t_{13,0.975} =  2.1604</math>, ולפיכך רווחי הסמך של 95% עבור {{Mvar|α}} ו-{{Mvar|β}} הם

: <math>\begin{align}
 & \alpha \in [\,\widehat{\alpha} \mp t^*_{13} s_\alpha \,] = [\,{-45.4},\ {-32.7}\,] \\[5pt]
 & \beta \in [\,\widehat{\beta} \mp t^*_{13} s_\beta \,] = [\, 57.4,\ 65.1 \,]
\end{align}</math>

ניתן גם לחשב את [[מתאם פירסון|מקדם המתאם של מכפלת המומנטים]]:

: <math>\widehat{r} = \frac{nS_{xy} - S_xS_y}{\sqrt{(nS_{xx} - S_x^2)(nS_{yy} - S_y^2)}} = 0.9946</math>

דוגמה זו גם מדגימה שחישובים מתוחכמים לא יתגברו על השימוש בנתונים שהוכנו בצורה גרועה. הגבהים ניתנו במקור באינצ'ים, והוסבו לסנטימטר הקרוב ביותר. מכיוון שההמרה הציגה שגיאת עיגול, זו ''אינה'' המרה מדויקת. ניתן לשחזר את האינצ'ים המקוריים על ידי Round(x/0.0254) ולאחר מכן להמיר מחדש לשיטה מטרית ללא עיגול: אם זה נעשה, התוצאות הופכות

: <math>\widehat\beta = 61.6746, \qquad \widehat\alpha = - 39.7468.</math>

לפיכך לשונות קטנה לכאורה בנתונים יש השפעה ממשית.

== ראו גם ==
* [[רגרסיה ליניארית]]
* [[רגרסיה מקומית]]
* [[שיטת הריבועים הפחותים]]
* [[רגרסיה (אנליזה)|רגרסיה]]
* [[משפט גאוס-מרקוב]]

== לקריאה נוספת ==
<div class="mw-content-ltr">
* Bangdiwala, S. I. (2018). Regression: simple linear. ''International journal of injury control and safety promotion'', ''25''(1), 113-115.
* Daniya, T., Geetha, M., Kumar, B. S., & Cristin, R. (2020). Least square estimation of parameters for linear regression. ''International Journal of Control and Automation'', ''13''(2), 447-452.
* Hanley, J. A. (2016). Simple and multiple linear regression: sample size considerations. ''Journal of clinical epidemiology'', ''79'', 112-119.
</div>
== קישורים חיצוניים ==
{{ויקישיתוף בשורה}}
* [https://www.youtube.com/watch?v=LjPgd7uR-p4 סטטיסטיקה א', רגרסיה ליניארית פשוטה - סרטון הסברה ביוטיוב.]
* [https://www.youtube.com/watch?v=FDBBdx9YwC4 סטטיסטיקה א, מקדם המתאם של פירסון - סרטון הסברה ביוטיוב]
* [http://math.huji.ac.il/~nachi/Files/Regresia.pdf רגרסיה ומודלים ליניאריים - ספר לימוד]
* [https://mathworld.wolfram.com/LeastSquaresFitting.html הסבר על הריבועים הפחותים וחישובם], באתר Wolfram MathWorld's {{אנגלית}}

== הערות שוליים ==
{{הערות שוליים|יישור=שמאל}}

[[קטגוריה:סטטיסטיקה]]
[[קטגוריה:רגרסיה]]