הצגת המקור של הדף "חסם קרמר-ראו"

ב[[תורת האמידה]] וב[[סטטיסטיקה]], '''חסם קרמר-ראו''' (Cramér–Rao lower bound, CRLB) הוא [[חסם]] תחתון על ה[[שונות]] של [[אומד]]ים של פרמטרים דטרמיניסטיים. לעיתים הוא ידוע בשמות "אי-שוויון קרמר-ראו" או "אי-שוויון האינפורמציה". הוא נקרא על שם [[הראלד קרמר]] ו[[קליאמפודי ראדאקרישנה ראו|ק. ר. ראו]], שהיו בין הראשונים לקבל אותו.

לפי צורתו הפשוטה ביותר של החסם, השונות המינימלית של כל [[אומד חסר הטיה]] היא ההופכי של [[האינפורמציה של פישר]]. אומד חסר הטיה שמשיג את החסם הזה נקרא [[יעילות (סטטיסטיקה)|אומד יעיל]]. אומד כזה משיג את ה[[שגיאה ריבועית ממוצעת|שגיאה הריבועית הממוצעת]] הנמוכה ביותר מבין כל האומדים חסרי ההטיה, ולכן הוא נקרא גם UMVUE (אומד חסר הטיה בעל שונות מינימלית במידה שווה). עם זאת, לעיתים לא קיים אומד חסר-הטיה שמשיג את החסם, גם כאשר קיים אומד UMVUE.

וריאציה של חסם קרמר-ראו חוסמת את השונות של אומדים בעלי-הטיה ידועה. במקרים מסוימים, אומד מוטה עשוי להניב שגיאה ריבועית ממוצעת ושונות נמוכות יותר מאלו שמשיג חסם קרמר-ראו חסר ההטייה.

== תנאים רגולריים ==
החסם תקף תחת שני תנאים רגולריים חלשים יחסית על פונקציית [[צפיפות הסתברות|צפיפות ההסתברות]] <math>\ f(x; \theta)</math>:
* האינפורמציה של פישר [[מוגדר היטב|מוגדרת היטב]], כלומר לכל <math>\ x</math> שבו <math>\ f(x; \theta)>0</math>, הנגזרת <math> \frac{\partial}{\partial\theta} \ln f(x;\theta)</math> קיימת והיא סופית.
* ניתן להחליף את הסדר של [[נגזרת|גזירה]] לפי <math>\ \theta</math> ו[[אינטגרל|אינטגרציה]] לפי <math>\ x</math>. התנאי הזה מתקיים כאשר אחד מהבאים מתקיים:
** הפונקציה <math>\ f(x; \theta)</math> היא בעלת [[תומך (אנליזה)|תומך]] סופי ב-<math>\ x</math>, שגבולותיו אינם תלויים ב-<math>\ \theta</math>.
** הפונקציה <math>\ f(x; \theta)</math> היא בעלת תומך אינסופי, גזירה ברציפות, והאינטגרל [[התכנסות במידה שווה|מתכנס במידה שווה]] לכל <math>\ \theta</math>.

== החסם ==
=== אומד סקלרי חסר-הטיה ===
יהי <math>\theta</math> [[פרמטר]] דטרמיניסטי לא-ידוע המשוערך בעזרת וקטור מדידות <math>x</math>. הפילוג של המדידות, שתלוי בפרמטר, הוא <math>f(x; \theta)</math>. ה[[שונות]] של כל אומד חסר-הטיה <math>\hat{\theta}</math> של הפרמטר <math>\ \theta</math> חסום על ידי ההופכי של [[האינפורמציה של פישר]]:

:<math>\mathrm{Var}(\hat{\theta})
\geq
\frac{1}{I(\theta)}
</math>

האינפורמציה של פישר במקרה הסקלרי <math>I(\theta)</math>, מוגדרת לפי:
:<math>
I(\theta) = \mathrm{E}
 \left[
 \left(
 \frac{\partial \ln f(x;\theta)}{\partial\theta}
 \right)^2
 \right] = -\mathrm{E}\left[ \frac{\partial^2 \ln f(x;\theta)}{\partial\theta^2} \right]
</math>

=== אומד סקלרי כללי ===
צורה כללית יותר של החסם מתקבלת עבור מקרה של אומד חסר הטיה, <math>\ T(X)</math>, שנועד לאמוד את <math>\ \psi(\theta)</math>, פונקציה ידועה של פרמטר סקלרי דטרמיניסטי לא-ידוע <math>\ \theta</math>. כאן, חוסר ההטיה פירושו <math>\ E\left[T(X)\right]=\psi(\theta)</math>. במקרה זה, החסם נתון על ידי:
:<math>
\mathrm{Var}(T)
\geq
\frac{[\psi'(\theta)]^2}{I(\theta)}
</math>

גישה זו שימושית גם לצורך מציאת החסם עבור אומד בעל הטיה ידועה, אותה נסמן <math>\ b(\theta)</math>. במצב זה, נבחן את הפונקציה <math>\ \psi(\theta)=\theta+b(\theta)</math>. כל אומד חסר הטיה שהתוחלת שלו היא <math>\ \psi(\theta)</math>, שונותו חסומה על ידי הביטוי שלעיל; במילים אחרות, השונות של כל אומד <math>\hat{\theta}</math> שהטייתו ידועה ושווה ל-<math>\ b(\theta)</math>, חסומה על ידי:
:<math>
\mathrm{Var} \left(\hat{\theta}\right)
\geq
\frac{[1+b'(\theta)]^2}{I(\theta)}
</math>.
ואכן, ניתן לראות כי תוצאה זו מתכנסת לתוצאה במקרה חסר-ההטיה עבור המקרה <math>\ b(\theta)=0</math>. אם כן, השגיאה הריבועית הממוצעת של כל אומד מוטה חסומה על ידי:
:<math>\mathrm{E}\left((\hat{\theta}-\theta)^2\right)\geq\frac{[1+b'(\theta)]^2}{I(\theta)}+b(\theta)^2</math>.

=== אומד וקטורי כללי ===
במקרה של וקטור פרמטרים לא-ידועים, החסם דומה מאוד, אלא שכעת צורתו וקטורית: האינפורמציה של פישר היא מטריצה, ולא סקלר, ואת שונות האומד מחליפה מטריצת ה[[שונות משותפת|שונויות המשותפות]] (Covariance Matrix). בנוסף, מדובר בווקטור של אומדים <math>\boldsymbol{T}(X)</math> המקיים <math>\mathrm{E}[\boldsymbol{T}(X)]=\boldsymbol{\psi}\left(\boldsymbol{\theta}\right)</math>. האינפורמציה של פישר תוגדר לפי:

:<math>
I
= \mathrm{E} \left[
 \frac{\partial^T}{\partial\boldsymbol{\theta}} \log f\left(x; \boldsymbol{\theta}\right)
 \frac{\partial}{\partial\boldsymbol{\theta}} \log f\left(x; \boldsymbol{\theta}\right)
\right]
</math>.

החסם (זהו אי-שוויון מטריצי):
: <math>
\mathrm{Cov}_{\boldsymbol{\theta}}\left(\boldsymbol{T}(X)\right)
\geq
\frac
 {\partial \boldsymbol{\psi} \left(\boldsymbol{\theta}\right)}
 {\partial \boldsymbol{\theta}}
[I\left(\boldsymbol{\theta}\right)]^{-1}
\left(
 \frac
 {\partial \boldsymbol{\psi}\left(\boldsymbol{\theta}\right)}
 {\partial \boldsymbol{\theta}}
\right)^T
</math>

במקרה הפשוט שבו אנו אומדים ישירות את <math>\boldsymbol{\theta}</math>, החסם יקבל את הצורה:
: <math>
\mathrm{Cov}_{\boldsymbol{\theta}}\left(\boldsymbol{T}(X)\right)
\geq
I\left(\boldsymbol{\theta}\right)^{-1}
</math>
שמזכירה מאוד את המקרה הסקלרי. זהו אי-שוויון מטריצי: ההפרש בין אגף שמאל לאגף ימין הוא [[מטריצה חיובית]].

== הוכחת החסם ==
ההוכחה הבאה היא זו של המקרה הסקלרי הכללי שהוצג לעיל.

נניח ש-<math>\ X</math> הוא [[משתנה מקרי]] עם פונקציית צפיפות הסתברות <math>\ f(x; \theta)</math>, וש-<math>\ T=t(X)</math> הוא אומד של <math>\ \psi(\theta)</math>. נגדיר את V להיות הציון של הפילוג:
:<math>V = \frac{\partial}{\partial\theta} \ln f(X;\theta)</math>
התוחלת של הציון:
:<math> \begin{align}
\mathrm{E} \left[V\right] & =\mathrm{E} \left[\frac{\partial}{\partial\theta} \ln f(X;\theta)\right] \\
& =\int\frac{\partial}{\partial\theta} \ln f(x;\theta) \cdot f(x;\theta) \, dx \\
& =\int\frac{\partial}{\partial\theta} f(x;\theta) \, dx \\
& =\frac{\partial}{\partial\theta} \int f(x;\theta) \, dx \\
& =\frac{\partial}{\partial\theta} (1) \\
& = 0
\end{align}</math>
כאשר החלפת סדר הגזירה והאינטגרציה אפשרית בהנחה שהתנאים הרגולריים מתקיימים.

ה[[שונות משותפת|שונות המשותפת]] של V ושל T:
:<math>\begin{align}
\mathrm{Cov}(V,T) & =\mathrm{E} \left[T\cdot V\right]-\mathrm{E} \left[T\right]\cdot \mathrm{E} \left[V\right] \\
& =\mathrm{E} \left[T\cdot \frac{\partial}{\partial\theta} \ln f(X;\theta)\right] \\
& =\int t(x) \frac{\partial}{\partial\theta} f(x;\theta) \, dx \\
& =\frac{\partial}{\partial\theta} \int t(x) f(x;\theta) \, dx \\
& =\frac{\partial}{\partial\theta} \mathrm{E} \left[T(X) \right]
\end{align}</math>
מאחר ש-<math>\ T(X)</math> הוא אומד חסר הטיה, מתקבל:
:<math>\mathrm{Cov}(V,T)=\frac{\partial}{\partial\theta} \psi(\theta)=\psi'(\theta)</math>

לפי [[אי-שוויון קושי-שוורץ]], מתקיים:
:<math>\ \left[\mathrm{Cov}(T,V)\right]^2 \le \mathrm{Var}(T) \cdot \mathrm{Var}(V)</math>
השונות של V היא גם האינפורמציה של פישר (לפי הגדרה), ולכן נקבל בהצבה לאי-שוויון:
:<math>\ \mathrm{Var}(T) \ge \frac{\left[\psi'(\theta)\right]^2}{\mathrm{Var}(V)}=\frac{\left[\psi'(\theta)\right]^2}{I(\theta)}</math>
שהוא החסם המבוקש.

== דוגמה: חסם קרמר-ראו עבור משתני אינדיקטור ==
נחפש את חסם קרמר-ראו עבור [[מודל (סטטיסטיקה)|מודל]] שבו <math>Y_1,...Y_n \sim Bin(1,p)</math>. מכאן שפונקציית הנראות היא 
<math display="block">L(p,Y_1,...Y_n)= p^{\sum(Y_i)}\cdot(1-p)^{n-\sum(Y_i)}.</math>

כדי לקבל את האינפורמציה של פישר, צריך לחשב את [[לוגריתם]] הנראות <math diaplay="block">l(p,Y_1,..Y_n)=\log{L}=\sum y_i \cdot\log p + (n-\sum Y_i)\log (1-p)</math>

מגזירה מתקבל: <math>l^{\prime} =(\sum Y_i - np)/(p\cdot(1-p))</math>, ולכן האינפורמציה של פישר היא

<math display="block">E((l^\prime)^2)=\frac{E(\sum Y_i - np)^2}{p^2 (1-p)^2} = \frac{n}{p(1-p)} </math>

ולפי חסם קרמר-ראו עבור כל אומד חסר הטיה, <math>\hat{p}</math>,
<math display="block">\mathrm{Var}(\hat{p}) \ge \frac{p(1-p)}{n}</math>

== ראו גם ==
* [[האינפורמציה של פישר]]
* [[חסם צ'פמן-רובינס]]
* [[אי-שוויון קולבק]]

== לקריאה נוספת ==
{{ltr|
* Kay, Steven M. (1993). Fundamentals of Statistical Signal Processing, Volume I: Estimation Theory. Prentice Hall.
* Shao, Jun (1998). Mathematical Statistics. New York: Springer.
}}

[[קטגוריה:אי-שוויונות בתורת ההסתברות|קרמר-ראו]]