הצגת המקור של הדף "האינפורמציה של פישר"

ב[[סטטיסטיקה]] וב[[תורת האינפורמציה]], '''האינפורמציה של פישר''' (באנגלית: Fisher Information) היא [[פונקציה]] של פרמטר הקובע התפלגות, השווה ל[[שונות]] של [[פונקציית ניקוד|פונקציית הניקוד]], על־פי אותו פרמטר. האינפורמציה של פישר מכמתת את ה"רגישות" של פונקציית ההתפלגות לשינויים ב־<math>\theta</math>: שינויים גדולים יותר מעידים על רגישות גבוהה יותר, ולכן נושאים, כביכול, אינפורמציה רבה יותר.

ב[[סטטיסטיקה בייסיאנית]], ההתפלגות האסימפטוטית של ה[[שכיח]] ה[[התפלגות אפוסטריורית|אפוסטריורי]] תלויה ב[[התפלגות אפריורית|התפלגות האפריורית]] רק דרך האינפורמציה של פישר. תפקידה של האינפורמציה של פישר בתאוריה האסימפטוטית של [[אומד]]י [[אומד נראות מקסימלית|נראות מקסימלית]] הודגש על ידי הסטטיסטיקאי [[רונלד פישר]]. האינפורמציה של פישר משמשת גם בחישובו של Jeffreys prior, שמשמש בענף הסטטיסטיקה הבייסיאנית.

האינפורמציה של פישר משמשת בחישוב מטריצת ה[[שונות משותפת|שונות המשותפת]] (Covariance Matrix) של אומדי נראות מקסימלית. כחלק מזה, היא שימושית גם ב[[מבחן השערות|מבחני השערות]] כמו [[מבחן ואלד]] (Wald). [[חסם קרמר-ראו|חסם קרמר–ראו]] קובע שהשונות של כל [[אומד חסר הטיה]] לפרמטר חסומה מלמטה על ידי ההפכי של מדד האינפורמציה של פישר.

== הגדרה ==
מדד האינפורמציה של פישר הוא דרך לכמת את ה[[אינפורמציה]] שנושא בחובו [[משתנה מקרי]] <math>X</math> בנוגע ל[[פרמטר]] <math>\theta</math> בו תלויה ה[[התפלגות]] של <math>X</math>. פונקציית ההתפלגות של <math>X</math>, שהיא גם [[פונקציית נראות|פונקציית הנראות]] של <math>\theta</math>, מסומנת <math>f(x;\theta)</math>. הציון של הפילוג מוגדר להיות:
:<math>V=\frac{\partial}{\partial \theta} \ln f(X;\theta)</math>
בתנאים רחבים למדי, התוחלת של הציון מתאפסת לפי נוסחת הנגזרת של [[לוגריתם]]:
:<math>\mathrm{E}\left[V\right]=\int \frac{\partial}{\partial \theta} \ln f(x;\theta) \cdot f(x;\theta) \, dx=\int \frac{\partial}{\partial \theta} f(x;\theta) \, dx=\frac{\partial}{\partial \theta} \int f(x;\theta) \, dx=\frac{\partial}{\partial \theta} (1)=0</math>
האינפורמציה של פישר מוגדרת להיות ה[[מומנט (הסתברות)|מומנט]] השני של הציון (שהוא גם המומנט המרכזי השני):
:<math>\mathcal{I}(\theta)=\operatorname{E} \left[\left. \left(\frac{\partial}{\partial\theta} \ln f(X;\theta)\right)^2\right|\theta \right]</math>
מתוך ההגדרה, האינפורמציה של פישר לעולם [[מספר אי-שלילי|אי־שלילית]].

אם פונקציית הצפיפות <math>f(x;\theta)</math> גזירה פעמיים, אז מתקיים גם <math>\mathcal{I}(\theta) = - \operatorname{E} \left[\left. \frac{\partial^2}{\partial\theta^2} \ln f(X;\theta)\right|\theta \right]</math>

לדוגמה, עבור [[ניסוי ברנולי]] עם סיכוי הצלחה <math>p</math>, פונקציית הנראות היא <math>f(x;p)=p^x \cdot (1-p)^{(1-x)}</math>, ולכן <math>\ln f(x;p)=x\cdot \ln(p) + (1-x) \cdot \ln(1-p)</math> והנגזרת היא <math>\frac{\partial}{\partial p} \ln f(x;p)=\frac{x}{p} - \frac{1-x}{1-p}=\frac{x+p}{p(1-p)}</math>. השונות של ערך זה היא <math>\mathcal{I}(p)=Var(\frac{\partial}{\partial p} \ln f(x;p))=\frac{Var(X)}{p^2 (1-p)^2}=\frac{1}{p (1-p)}</math>.

=== צורה מטריציונית ===
במקרה בו מדובר בווקטור של פרמטרים ולא בפרמטר סקלרי, האינפורמציה של פישר היא [[מטריצה ריבועית]] שהגדרתה:
:<math>\mathcal{I} = \mathrm{E} \left[\frac{\partial^T}{\partial\boldsymbol{\theta}} \log f\left(x; \boldsymbol{\theta}\right)
 \frac{\partial}{\partial\boldsymbol{\theta}} \log f\left(x; \boldsymbol{\theta}\right) \right] </math>.

אם האיבר ה־i,j של מטריצת האינפורמציה של פישר מתאפס, הפרמטרים <math>\theta_i,\theta_j</math> מכונים [[אורתוגונליות|אורתוגונליים]].

== תכונות ושימושים ==
האינפורמציה של פישר היא [[מטריצה סימטרית]] [[מטריצה אי-שלילית|אי־שלילית]] המגדירה [[מטריקה רימנית]] במרחב הפרמטרים.

האינפורמציה של פישר אדיטיבית: האינפורמציה של שתי מדידות בלתי־תלויות סטטיסטית שווה לסכום האינפורמציות של כל מדידה. מכך נובע כי האינפורמציה של סדרת מדידות בלתי־תלויות ושוות פילוג באורך n, היא n פעמים האינפורמציה של מדידה אחת.

האינפורמציה של פישר של [[סטטיסטי מספיק]] שווה לזו של המשתנה X. זוהי תוצאה ישירה של [[סטטיסטי מספיק#משפט הפירוק של Fisher-Neyman|משפט הפירוק של פישר וניימן]]. ההפך נכון גם כן: אם האינפורמציה של סטטיסטי שווה לאינפורמציה לזו של המשתנה בו הוא תלוי, אזי הוא סטטיסטי מספיק. במקרה של סטטיסטי לא־מספיק, האינפורמציה שלו קטנה מזו של X.

לפי [[חסם קרמר-ראו|חסם קרמר–ראו]], ההופכי של האינפורמציה של פישר חוסמת מלמטה את ה[[שונות]] של כל אומד חסר־הטיה. בפרט, אומדים יעילים משיגים בדיוק את החסם הזה. אם מדובר בווקטור פרמטרים, המטריצה ההופכית למטריצת האינפורמציה חוסמת מלמטה (ההפרש הוא [[מטריצה חיובית]]) את מטריצת ה[[שונות משותפת|שונות המשותפת]] של כל וקטור אומדים חסר־הטיה. אם קיימים פרמטרים אורתוגונליים, כהגדרתם לעיל, מתקבל כי החסם על שונות אחד מהם לא תלוי בידיעת הפרמטר האחר, ולהפך. פירושו של דבר, שידיעת הפרמטר האחר במדויק לא הייתה משנה את החסם על שונות המשערך, (ובפרט, לא מקטינה אותו).

מטבע הגדרתה, האינפורמציה של פישר תלויה בפרמטריזציה של הבעיה. אם <math>\boldsymbol{\theta},\boldsymbol{\eta}</math> הן שתי פרמטריזציות של בעיית אמידה, ו־<math>\boldsymbol{\theta}</math> היא [[פונקציה גזירה]] ברציפות של <math>\boldsymbol{\eta}</math>, אז מתקיים:
:<math>{\mathcal I}_{\boldsymbol \eta}({\boldsymbol \eta}) = {\boldsymbol J}^{\mathrm T} {\mathcal I}_{\boldsymbol \theta} ({\boldsymbol \theta}({\boldsymbol \eta})) {\boldsymbol J}</math>
כאשר [[יעקוביאן]] הטרנספורמציה <math>\boldsymbol J</math> מוגדר לפי <math>\boldsymbol J = \frac{\partial \boldsymbol \theta}{\partial \boldsymbol \eta}</math>.

== ראו גם ==
* [[חסם קרמר-ראו|חסם קרמר–ראו]]

==קישורים חיצוניים==
* {{MathWorld}}

{{בקרת זהויות}}

[[קטגוריה:סטטיסטיקה|אינפורמציה של פישר]]
[[קטגוריה:תורת האינפורמציה|אינפורמציה של פישר]]