אנטרופיה מותנית

אנטרופיות של שני משתנים בעלי אינפורמציה משותפת

בתורת האינפורמציה, האנטרופיה המותנית היא תוחלת האנטרופיה של משתנה אקראי $Y$ בהנחה שאנו יודעים את תוצאתו של משתנה אקראי אחר $X$ (התוחלת היא על שני המשתנים האקראיים).

הגדרה

אם נגדיר את האנטרופיה של $Y$ בהינתן זאת שתוצאתו של משתנה אקראי $X$ היא $x$ כ-$H(Y|X=x)$, אז נקבל את ההגדרה הבאה לאנטרופיה מותנית של משתנים בדידים:

$\begin{array}{cc}H(Y|X)& \equiv \sum _{x\in 𝒳}p(x)H(Y|X=x)\\ & =\sum _{x\in 𝒳}p(x)\sum _{y\in 𝒴}p(y|x)\log \frac{1}{p(y|x)}\\ & =-\sum _{x\in 𝒳}\sum _{y\in 𝒴}p(x,y)\log p(y|x)\\ & =-\sum _{x\in 𝒳,y\in 𝒴}p(x,y)\log p(y|x)\\ & =\sum _{x\in 𝒳,y\in 𝒴}p(x,y)\log \frac{p(x)}{p(x,y)}.\\ \end{array}$

במקרה של משתנים רציפים, מחליפים את הסכומים באינטגרלים.

תכונות

לכל שני משתנים אקראיים $X$ ו-$Y$:

• $H(Y|X)=H(X,Y)-H(X)$
• $H(X,Y)=H(X|Y)+H(Y|X)+I(X;Y)$ (כאשר $I(X;Y)$ היא האינפורמציה ההדדית)
• $H(X|Y)\le H(X)$, ושוויון מתקבל רק כאשר המשתנים בלתי תלויים. בדומה, $H(Y|X)\le H(Y)$, עם שוויון באותם תנאים.
• $I(X;Y)\le H(X)$, ושוויון מתקבל רק כאשר $Y=f(X)$ ו-$f$ הפיכה על תחום הערכים ש-X מקבל.

ראו גם

• אנטרופיה (סטטיסטיקה)
• אינפורמציה הדדית