הצגת המקור של הדף "אינפורמציה הדדית"

{{סימון מתמטי}}
[[Image:Entropy-mutual-information-relative-entropy-relation-diagram.svg|ממוזער|256px|שמאל|אנטרופיות של שני משתנים בעלי אינפורמציה משותפת]]

ב[[תורת ההסתברות]] ב[[תורת האינפורמציה]], ה'''אינפורמציה ההדדית''' (או ה'''מידע ההדדי'''{{הערה|{{מילון אקדמיה|212|83261_1|מֵידָע הֲדָדִי}}}}) (Mutual information) של שני משתנים אקראיים הוא מדד לתלות ההדדית בין שני המשתנים. ליתר דיוק, היא מכמתת את "כמות המידע" המתקבלת לגבי [[משתנה מקרי|משתנה אקראי]] אחד על ידי צפייה במשתנה האקראי השני.
==הגדרה ==

האינפורמציה ההדדית בין שני משתנים דיסקרטיים <math>X</math> ו-<math>Y</math> מוגדרת כ:
:<math> I(X;Y) = \sum_{y \in Y} \sum_{x \in X} 
                 p(x,y) \log{ \left(\frac{p(x,y)}{p(x)\,p(y)}
                              \right) }, \,\!
</math>

כאשר 
<math>p(x, y)</math>
היא ההתפלגות המשותפת שלהם, ו-
<math>p(x), p(y)</math>
היא ההתפלגות של כל אחד מהמשתנים בנפרד, בהתאמה.

במקרה של משתנים רציפים, הסכום מוחלף ב[[אינטגרל כפול]]:
:<math> I(X;Y) = \int_Y \int_X 
                 p(x,y) \log{ \left(\frac{p(x,y)}{p(x)\,p(y)}
                              \right) } \; dx \,dy,

 </math>
כאשר במקרה זה
<math>p(x, y)</math>
היא הצפיפות המשותפת שלהם, ו-
<math>p(x), p(y)</math>
היא הצפיפות של כל אחד מהמשתנים בנפרד, בהתאמה.

למען הדיוק יש להגדיר גם את בסיסי ה[[לוגריתם|לוגריתמים]] בביטויים שלעיל. לרוב משתמשים בבסיס 2 או בבסיס <math>e</math>, ומציינים את הבסיס מראש.

==הסבר אינטואיטיבי==

אינטואיטיבית, האינפורמציה ההדדית מראה עד כמה ידע על תוצאת <math>X</math> מלמדת על תוצאת <math>Y</math>: 
# אם האינפורמציה ההדדית היא 0, המשתנים בלתי תלויים. המשתנה המקרי <math>X</math> אין מספק כל אינפורמציה על המשתנה המקרי <math>Y</math> ולהפך.
#בקיצוניות השנייה, אם המשתנה המקרי <math>X</math> הוא [[פונקציה חד-חד-ערכית|פונקציה חד-חד ערכית]] של המשתנה המקרי <math>Y</math> (לדוגמה, אם <math>Y = 2 X + 1</math>), אז האינפורמציה ההדדית היא האנטרופיה של כ"א מהמשתנים, כלומר <math>I(X; Y) = H(X) = H(Y)</math>.  מקרה פרטי הוא אשר שני המשתנים המקריים <math>X</math> ו <math>Y</math> זהים.

==הקשר לגדלים אחרים בתורת האינפורמציה==

אפשר לקשר בין האינפורמציה ההדדית לאנטרופיה ול[[אנטרופיה מותנית]] בצורה הבאה:

:<math>
\begin{align}
I(X;Y) & {} = H(X) - H(X|Y) \\ 
& {} = H(Y) - H(Y|X) \\ 
& {} = H(X) + H(Y) - H(X,Y) \\
& {} = H(X,Y) - H(X|Y) - H(Y|X)
\end{align}
</math>

==תכונות==
# '''אי שליליות''': מידע הדדי הוא תמיד לא שלילי.
# '''סימטריות''': מידע הדדי הוא [[סימטריה|סימטרי]], כלומר המידע ההדדי בין המשתנים X ו-Y זהה למידע ההדדי בין המשתנים Y ו-X.
# '''יחידות''': מידע הדדי הוא אוניטרי, כלומר המידע ההדדי בין משתנה לעצמו שווה לערך המקסימלי האפשרי של המידע ההדדי.
# '''מונוטוניות''': המידע ההדדי עולה באופן מונוטוני, כלומר אם משתנה אחד הופך להיות תלוי יותר במשתנה אחר, המידע ההדדי בין שני המשתנים גדל.
# '''בלתי משתנה תחת טרנספורמציות היפוכות''': מידע הדדי הוא בלתי משתנה תחת טרנספורמציות היפוכות, כלומר הוא נשאר ללא שינוי כאשר המשתנים עוברים טרנספורמציה על ידי [[פונקציה]] הניתנת להפיכה.
# '''תת-תוסף''': מידע הדדי הוא תת-תוסף, כלומר המידע ההדדי בין שני משתנים קטן או שווה לסכום המידע ההדדי בין כל אחד מהמשתנים למשתנה שלישי.
# '''סכום אפס למשתנים בלתי תלויים''': אם שני משתנים בלתי תלויים, המידע ההדדי ביניהם שווה לאפס.

== ראו גם == 
* [[אנטרופיה (סטטיסטיקה)]]
* [[אנטרופיה מותנית]]

==קישורים חיצוניים==
* {{MathWorld}}

==הערות שוליים==
{{הערות שוליים}}

{{בקרת זהויות}}

[[קטגוריה:סטטיסטיקה]]
[[קטגוריה:תורת האינפורמציה]]