הצגת המקור של הדף "הלמה של ניימן-פירסון"

ב[[בדיקת השערות]] [[סטטיסטיקה|סטטיסטית]], '''הלמה של ניימן-פירסון''' היא [[למה (מתמטיקה)|למה]] שפותחה על ידי ה[[סטטיסטיקאי]]ם [[יז'י ניימן]] ו[[אגון פירסון]], והיא מצביעה על מבחן בין [[השערה סטטיסטית|השערות]] פשוטות, אשר לו ה[[עוצמה סטטיסטית|עוצמה]] הגדולה ביותר מבין כל המבחנים בעלי אותה [[רמת מובהקות|רמת המובהקות]] <math>\alpha</math> (או נמוכה יותר). במילים אחרות, היא מבטיחה את קיומו של מבחן שהוא טוב יותר מכל ה"מתחרים" שלו, ומציעה דרך לבנות אותו.

== ניסוח ==
נתונים [[מדגם]] <math>\mathbf{X}=(X_1,\dots,X_n)</math>, [[פונקציית נראות]] <math>L(\mathbf{X};\theta)</math> התלויה ב[[פרמטר (סטטיסטיקה)|פרמטר]] <math>\theta</math>, ושתי [[השערה (סטטיסטיקה)|השערות]] פשוטות: [[השערת האפס]], <math>H_0\,: \theta =\theta_0</math> וההשערה החלופית, <math>H_1\,: \theta =\theta_1</math>. תחת תנאים אלה, [[מבחן יחס הנראות]], ש[[אזור דחייה|אזור הדחייה]] שלו הוא:<math display="block">\mathcal{R}_k=\left\{\mathbf{X}: \frac{L(\mathbf{X};\theta_1)}{L(\mathbf{X};\theta_0)} > k_\alpha\right\}</math>
הוא ה[[מבחן סטטיסטי|מבחן]] בעל ה[[עוצמה סטטיסטית|עוצמה]] הגדולה ביותר (Uniformly Most Powerful; UMP) מבין כל המבחנים ב[[רמת מובהקות]] <math>\alpha</math> (כלומר, מתקיים <math>\operatorname{Pr}(\mathbf{X} \in \mathcal{R}_k)=\alpha</math>, אם <math>H_0</math> נכונה).

למעשה, פעמים רבות ניתן למצוא מבחן שקול (כלומר, בעל אותו אזור דחייה), ש[[סטטיסטי]] המבחן שלו פשוט יותר – ראו דוגמה להלן.

== דוגמה ==
נניח [[מודל סטטיסטי]] שבו הנתונים [[התפלגות נורמלית|מתפלגים נורמלית]] עם [[שונות]] ידועה <math>\sigma^2</math> ותוחלת לא ידועה  <math>\mu</math>. נניח גם כי קיימות שתי השערות חלופיות פשוטות באשר לתוחלת:<math display="block">\begin{array}{lcl} H_0 : & \mu=0 \\ H_1: & \mu=1 \end{array}</math>ה[[פונקציית נראות|נראות]] לפי השערת האפס היא <math display="block">L(\mathbf{X};\theta_0) = \frac{1}{\sqrt{2\pi\sigma^2}}\exp\left(-\frac{1}{2\sigma^2}\sum_{i=1}^n {X_i}^2\right)</math>ובאופן דומה, הנראות לפי ההשערה החלופית היא <math display="block">L(\mathbf{X};\theta_1) = \frac{1}{\sqrt{2\pi\sigma^2}}\exp\left(-\frac{1}{2\sigma^2}\sum_{i=1}^n \left(X_i-1\right)^2\right)</math>ויחס הנראות הוא<math display="block"> 
 
 \begin{alignat}{2}
 \frac{L(\mathbf{X};\theta_1)}{L(\mathbf{X};\theta_0)}  & = \frac{\cancel{\frac{1}{\sqrt{2\pi\sigma^2}}}\exp\left(-\frac{1}{2\sigma^2}\sum_{i=1}^n \left(X_i-1\right)^2\right)}{\cancel{\frac{1}{\sqrt{2\pi\sigma^2}}}\exp\left(-\frac{1}{2\sigma^2}\sum_{i=1}^n {X_i}^2\right)} \\
 & = \frac{\exp\left(-\frac{1}{2\sigma^2}\sum_{i=1}^n \left({X_i}^2-2X_i+1\right)\right)}{\exp\left(-\frac{1}{2\sigma^2}\sum_{i=1}^n {X_i}^2\right)} \\
 & = \exp\left[-\frac{1}{2\sigma^2}\sum_{i=1}^n \left( \cancel{{X_i}^2} -2X_i + 1 -\cancel{{X_i}^2}\right)\right] \\
 & = \exp\left(\frac{\sum_{i=1}^n X_i - n/2}{\sigma^2}\right) \\
 \end{alignat}</math>נרצה להשוות את יחס הנראות הזה לערך קריטי התלוי במובהקות, ולדחות את השערת האפס אם <math display="block"> 
 
 \exp\left(\frac{\sum_{i=1}^n X_i - n/2}{\sigma^2}\right) > k^*_\alpha</math>עם זאת, ניתן לשים לב כי תנאי הזה שקול לדחייה של השערת האפס אם<math display="block">\bar{X}_n \overset{\mathrm{def}}{=} \frac{1}{n}\sum_{i=1}^n X_i > k_\alpha</math>

עבור ערך קריטי <math>k_\alpha</math> מתאים.

במילים אחרות, מבחן יחס הנראות שקול למבחן שבודק האם ממוצע המדגם <math>\bar{X}_n</math> גדול מערך קריטי, ולמבחן כזה יש עוצמה מקסימלית. היתרון בהצגה זו היא שממוצע המדגם הוא סטטיסטי מבחן פשוט יותר לניתוח מאשר יחס הנראות עצמו. בפרט, ניתן לחשב ממנו (בעזרת מעט טרנספורציות פשוטות) [[מבחן Z]].

== הוכחה ==
[[קובץ:Neyman-Pearson.svg|ממוזער|350px|[[דיאגרמת ון]] הממחישה את ההוכחה ללמה של ניימן ופירסון: אזורי הדחייה אם מתקיימת השערת האפס]]
[[קובץ:Neyman-Pearson2.svg|ממוזער|350px|אזורי הדחייה אם מתקיימת ההשערה האלטרנטיבית]]

יהי <math>\mathcal{R}_{NP}</math> אזור הדחייה אשר מוגדר על פי הלמה, כלומר:
:<math>\mathcal{R}_{NP}=\left\{\mathbf{X}: \frac{L(\mathbf{X};\theta_1)}{L(\mathbf{X};\theta_0)} > k_\alpha\right\}</math>
ויהי מבחן אחר בעל אותה רמת מובהקות, שאזור הדחייה שלו, <math>\mathcal{R}_A</math>, שונה מ-<math>\mathcal{R}_{NP}</math>,
ומתקיים <math>\operatorname{Pr}\left(\mathbf{X} \in \mathcal{R}_{NP}\right) = \operatorname{Pr}\left(\mathbf{X} \in \mathcal{R}_{A}\right) = \alpha</math>, אם ההשערה <math>H_0</math> נכונה.

[[נוסחת ההסתברות השלמה]] קובע כי לכל <math>\theta</math>,
<math display="block">\operatorname{Pr}_\theta\left(\mathcal{R}_{NP}\right)=\operatorname{Pr}_\theta\left(\mathcal{R}_{NP}\backslash \mathcal{R}_{A}\right)+\operatorname{Pr}_\theta\left(\mathcal{R}_{NP}\cap \mathcal{R}_{A}\right)</math>
<math display="block">\ \ \operatorname{Pr}_\theta\left(\mathcal{R}_{A}\right)=\operatorname{Pr}_\theta\left(\mathcal{R}_{A}\backslash \mathcal{R}_{NP}\right)+\operatorname{Pr}_\theta\left(\mathcal{R}_{NP}\cap \mathcal{R}_{A}\right)</math>

ולכן,

{{מספור צדי|1=:|2=<math>\begin{align}
\operatorname{Pr}_{\theta}\left(\mathcal{R}_{NP}\backslash \mathcal{R}_{A}\right) - \operatorname{Pr}_{\theta}\left(\mathcal{R}_{A}\backslash \mathcal{R}_{NP}\right) & =
\left[\operatorname{Pr}_{\theta}\left(\mathcal{R}_{NP}\right) - \color{magenta}{\operatorname{Pr}_{\theta}\left(\mathcal{R}_{NP} \cap \mathcal{R}_{A}\right)} \right] - \left[\operatorname{Pr}_{\theta}\left(\mathcal{R}_{A}\right) - \color{magenta}{\operatorname{Pr}_{\theta}\left(\mathcal{R}_{NP} \cap \mathcal{R}_{A}\right)} \right] \\
& = \operatorname{Pr}_{\theta}\left(\mathcal{R}_{NP}\right) - \operatorname{Pr}_{\theta}\left(\mathcal{R}_{A}\right)
\end{align}</math>|3=1}}

ובפרט, אם <math>\theta = \theta_0</math>, למבחנים רמת מובהקות זהה, ולכן,

<math display="block">\begin{align}
\operatorname{Pr}_{\theta_0}\left(\mathcal{R}_{NP}\backslash \mathcal{R}_{A}\right) - \operatorname{Pr}_{\theta_0}\left(\mathcal{R}_{A}\backslash \mathcal{R}_{NP}\right) & 
= \operatorname{Pr}_{\theta_0}\left(\mathcal{R}_{NP}\right) - \operatorname{Pr}_{\theta_0}\left(\mathcal{R}_{A}\right) \\
& = \ \alpha - \alpha \\
& = 0
\end{align}</math>

כלומר:
{{מספור צדי|1=::::|2=<math display="block">\operatorname{Pr}_{\theta_0}\left(\mathcal{R}_{NP}\backslash \mathcal{R}_{A}\right) = \operatorname{Pr}_{\theta_0}\left(\mathcal{R}_{A}\backslash \mathcal{R}_{NP}\right)</math>|3=2}}

המשפט מבקש להוכיח כי <math>\operatorname{Pr}_{\theta_1}\left(\mathcal{R}_{NP}\right) > \operatorname{Pr}_{\theta_1}\left(\mathcal{R}_{A}\right)</math>, אך מטענה '''(1)''' נובע כי לשם כך מספיק להוכיח כי
<math display="block">\operatorname{Pr}_{\theta_1}\left(\mathcal{R}_{NP}\backslash \mathcal{R}_{A}\right) > \operatorname{Pr}_{\theta_1}\left(\mathcal{R}_{A}\backslash \mathcal{R}_{NP}\right)</math>


לשם הוכחת הטענה האחרונה, ניתן לשים לב כי מההנחה, בתוך <math>\mathcal{R}_{NP} \backslash \mathcal{R}_A</math> מתקיים <math>L(\mathbf{X};\theta_1) > k_\alpha\ L(\mathbf{X};\theta_0)</math>, ובפרט,
{{מספור צדי|::::|2=<math>\operatorname{Pr}_{\theta_1}\left(\mathcal{R}_{NP}\backslash \mathcal{R}_{A}\right) > \operatorname{Pr}_{\theta_0}\left(\mathcal{R}_{NP}\backslash \mathcal{R}_{A}\right)</math>|3=3}}
באופן דומה, בתוך <math>\mathcal{R}_{A} \backslash \mathcal{R}_{NP}</math>,
{{מספור צדי|::::|<math>\operatorname{Pr}_{\theta_1}\left(\mathcal{R}_{A}\backslash \mathcal{R}_{NP}\right) < \operatorname{Pr}_{\theta_0}\left(\mathcal{R}_{A}\backslash \mathcal{R}_{NP}\right)</math>|3=4}}

ועל כן,
<math display="block">\begin{align}
\operatorname{Pr}_{\theta_1}\left(\mathcal{R}_{NP}\backslash \mathcal{R}_{A}\right) & \overset{(3)}{>} \operatorname{Pr}_{\theta_0}\left(\mathcal{R}_{NP}\backslash \mathcal{R}_{A}\right) \\
& \overset{(2)}{=} \operatorname{Pr}_{\theta_0}\left(\mathcal{R}_{A}\backslash \mathcal{R}_{NP}\right) \\
& \overset{(4)}{>} \operatorname{Pr}_{\theta_1}\left(\mathcal{R}_{A}\backslash \mathcal{R}_{NP}\right)
\end{align}</math>
כנדרש.

== ראו גם ==
* [[מבחן יחס הנראות]]
* [[מבחן יחס הנראות המוכלל]] (GLRT)

==לקריאה נוספת==
<div class="mw-content-ltr">
* {{Cite journal|title= On the Problem of the Most Efficient Tests of Statistical Hypotheses |last=Neyman |first=Jerzy |last2=Pearson |first2=Egon S. |date=1933 |journal=Philosophical Transactions of the Royal Society of London |issue=694–706 |doi=10.1098/rsta.1933.0009 |volume=231 |pages=289–337 |bibcode= 1933RSPTA.231..289N |jstor= 91247 |author-link=יז'י ניימן|author-link2=אגון פירסון}}</div>

==קישורים חיצוניים==
* {{נסיכת המדעים|130|בין שתי טעויות}}
* {{MathWorld}}

[[קטגוריה:בדיקת השערות]]
[[קטגוריה:משפטים בסטטיסטיקה|ניימן-פירסון]]