הצגת המקור של הדף "אנטרופיה דיפרנציאלית"

'''אנטרופיה דיפרנציאלית''' (המכונה גם '''אנטרופיה רציפה''') היא מושג ב[[תורת האינפורמציה]] שהגה [[קלוד שאנון]] בניסיון להרחיב את מושג [[אנטרופיה (סטטיסטיקה)|האנטרופיה]] של [[משתנה מקרי]] בדיד להתפלגויות הסתברות רציפות. שאנון הניח, בטעות, כי האנטרופיה הדיפרנציאלית כפי שהגדיר אותה מהווה הרחבה טבעית רציפה של אנטרופיה בדידה להתפלגויות רציפות.<ref name=":0" /> האנטרופיה הדיפרנציאלית מופיעה לעיתים קרובות בספרות, למרות שהיא אינה מקיימת חלק מהתכונות של ה[[אנטרופיה (סטטיסטיקה)|אנטרופיה]] המקורית של שאנון.<ref name=":0">{{Cite journal|last=Jaynes, E.T.|year=1963|title=Information Theory And Statistical Mechanics|url=http://bayes.wustl.edu/etj/articles/brandeis.pdf|journal=Brandeis University Summer Institute Lectures in Theoretical Physics|volume=3|issue=sect. 4b}}</ref>

== הגדרה ==
יהי <math>X</math> משתנה מקרי עם [[פונקציית צפיפות|פונקציית צפיפות הסתברות]] <math>f</math> [[תומך (מתמטיקה)|שהתומך]] שלה היא קבוצה <math>\mathcal X</math> . ''האנטרופיה הדיפרנציאלית'' <math>h(X)</math> אוֹ <math>h(f)</math> מוגדרת כ:<ref name="cover_thomas">{{Cite book|last=Cover|first=Thomas M.|url=https://archive.org/details/elementsofinform0000cove|title=Elements of Information Theory|last2=Thomas|first2=Joy A.|publisher=Wiley|year=1991|isbn=0-471-06259-6|location=New York|url-access=registration}}</ref>

<math display="block">h(X) = \operatorname{E}[-\log (f(X))] = -\int_\mathcal{X} f(x)\log f(x)\,dx</math>

עבור התפלגויות הסתברות שלא ניתן לבטא באופן מפורש את פונקציית הצפיפות שלהן, אך ניתן לבטאן באמצעות [[שברון (סטטיסטיקה)|פונקציית שברונים]], <math>Q(p)</math>, ניתן להגדיר את <math>h(Q)</math> במונחים של הנגזרת של <math>Q(p)</math>, כלומר <math>Q'(p)</math>, על ידי<ref>{{Citation|last=Vasicek|first=Oldrich|year=1976|title=A Test for Normality Based on Sample Entropy|journal=Journal of the Royal Statistical Society, Series B|volume=38|number=1|pages=54–59|doi=10.1111/j.2517-6161.1976.tb01566.x|jstor=2984828|postscript=.}}</ref>

: <math>h(Q) = \int_0^1 \log Q'(p)\,dp</math> .

כמו במקרה הבדיד, היחידות של האנטרופיה הדיפרנציאלית תלויות בבסיס ה[[לוגריתם]], שהוא בדרך כלל 2 (כלומר, היחידה היא [[סיבית|ביט]]). מושגים כגון אנטרופיה משותפת, אנטרופיה [[אנטרופיה מותנית|מותנית]] ואנטרופיה [[דיברגנץ קולבק-לייבלר|יחסית]] מוגדרים למשתנים מקרי רציף בדומה להגדרתם למשתנה מקרי בדיד.

שלא כמו במקרה הבדיד, לאנטרופיה הדיפרנציאלית יש [[היסט]], שתלוי ביחידה המשמשת למדידת המשתנה המקרי <math>X</math>.<ref name="gibbs">{{Cite book|last=Gibbs|first=Josiah Willard|title=Elementary Principles in Statistical Mechanics|publisher=Charles Scribner's Sons|year=1902|location=New York}}</ref>  לדוגמה, האנטרופיה הדיפרנציאלית של משתנה מקרי שנמדדת במילימטרים תהיה גדולה פי {{ללא החלפה|log(1000)}} מאשר אם ערך המשתנה נמדד במטרים.

יש להיזהר בניסיון ליישם תכונות של אנטרופיה בדידה לאנטרופיה דיפרנציאלית, שכן פונקציות צפיפות הסתברות יכולות להיות גדולות מ-1. למשל, [[התפלגות אחידה רציפה|להתפלגות האחידה הרציפה]] <math>\mathcal{U}(0,1/2)</math> יש אנטרופיה דיפרנציאלית ''שלילית:''

: <math>\int_0^\frac{1}{2} -2\log(2)\,dx=-\log(2)\,</math>

כלומר, פחות מהאנטרופיה הדיפרנציאלית של <math>\mathcal{U}(0,1)</math> שהיא אפס.

קיימים ניסוחים אחרים של האנטרופיה למשתנים רציפים שמקיימים את התכונות הבסיסיות של האנטרופיה של שאנון.<ref name=":0" />

== תכונות של אנטרופיה דיפרנציאלית ==
* לצפיפות הסתברות <math>f</math> ו <math>g</math>, [[דיברגנץ קולבק-לייבלר]] <math>D_{KL}(f \parallel g)</math> גדול או שווה ל-0 עם שוויון רק אם <math>f=g</math> כמעט בכל מקום. באותו אופן, עבור שני משתנים אקראיים <math>X</math> ו <math>Y</math>, <math>h(X\mid Y) \le h(X)</math> עם שוויון [[אם ורק אם]] <math>X</math> ו <math>Y</math> הם [[אי-תלות (הסתברות)|בלתי תלויים]].
* כלל השרשרת לאנטרופיה דיפרנציאלית מתקיים כמו במקרה הבדיד<ref name="cover_thomas"/>
:: <math>h(X_1, \ldots, X_n) = \sum_{i=1}^n h(X_i\mid X_1, \ldots, X_{i-1}) \leq \sum_{i=1}^{n} h(X_i)</math> .
* אנטרופיה דיפרנציאלית אינווריאנטית להוספה של ערך קבוע למשתנה המקרי, כלומר לכל קבוע ממשי <math>c</math>:<ref name="cover_thomas"/>

:: <math>h(X+c) = h(X)</math>
* אנטרופיה דיפרנציאלית אינה אינווריאנטית לכפל של המשתנה המקרי בקבוע. בפרט, עבור קבוע ממשי <math>a</math>
::: <math>h(aX) = h(X)+ \log |a|</math>
:בפרט עבור משתנה אקראי ווקטורי <math>\mathbf{X}</math> ו[[מטריצה]] הפיכה <math>\mathbf{A}</math><ref name="cover_thomas"/>
::: <math>h(\mathbf{A}\mathbf{X})=h(\mathbf{X})+\log \left( |\det \mathbf{A}| \right)</math>
* באופן כללי, עבור טרנספורמציה מווקטור מקרי לווקטור מקרי אחר בעלי אותו ממד <math>\mathbf{Y}=m \left(\mathbf{X}\right)</math>, האנטרופיות של <math>\mathbf{X}</math> ושל <math>\mathbf{Y}</math> קשורות זו לזו על ידי

:: <math>h(\mathbf{Y}) \leq h(\mathbf{X}) + \int f(x) \log \left\vert \frac{\partial m}{\partial x} \right\vert \, dx</math>
: כאשר <math>\left\vert \frac{\partial m}{\partial x} \right\vert</math> הוא ה[[יעקוביאן]] של הטרנספורמציה <math>m</math>.<ref>{{Cite web|date=April 16, 2016|title=proof of upper bound on differential entropy of ''f''(''X'')|url=https://math.stackexchange.com/q/1745670|website=Stack Exchange}}</ref> אי-השוויון הנ"ל הופך לשוויון אם הטרנספורמציה היא חד-חד ערכית ועל. יתר על כן, כאשר <math>m</math> היא טרנספורמציה של סיבוב קשיח, העתקה או הרכבה של השניים, ה[[דטרמיננטה]] של היעקוביאן היא תמיד 1, ואז <math>h(Y)=h(X)</math> .
* אם לווקטור מקרי <math>X \in \mathbb{R}^n</math> יש תוחלת אפס ומטריצת [[שונות משותפת]] <math>K</math> אזי
::<math>h(\mathbf{X}) \leq \frac{1}{2} \log(\det{2 \pi e K}) = \frac{1}{2} \log[(2\pi e)^n \det{K}]</math>
:כאשר השוויון מתקיים אם ורק אם <math>X</math> הוא משתנה מקרי [[התפלגות רב-נורמלית|גאוסיאני רב ממדי]].<ref name="cover_thomas"/> 

עם זאת, לאנטרופיה דיפרנציאלית חסרות כמה תכונות רצויות:
* האנטרופיה הדיפרנציאלית אינה אינווריאנטית ל[[החלפת משתנה|החלפת משתנים]], ולכן היא שימושית בעיקר עם משתנים חסרי ממדים.
* האנטרופיה הדיפרנציאלית עשויה להיות שלילית.

'''[[דיברגנץ קולבק-לייבלר]]''', הידוע גם '''כאנטרופיה יחסית''', הוא אלטרנטיבה לאנטרופיה דיפרנציאלית, שנותנת מענה לחסרונות אלו, כאשר כוללים בו רכיב של מידה אינווריאנטית.

== מקסימום בהתפלגות הנורמלית ==
=== משפט ===
עבור שונות נתונה, האנטרופיה הדיפרנציאלית של ה[[התפלגות נורמלית]] היא מקסימלית. כלומר, למשתנה מקרי המתפלג נורמלית יש את האנטרופיה הגדולה ביותר מבין כל המשתנים האקראיים בעלי אותה שונות.<ref name="cover_thomas"/>

=== הוכחה ===
תהי <math>g(x)</math> פונקציית צפיפות של [[התפלגות נורמלית]] עם ממוצע ''μ'' ושונות <math>\sigma^2</math>, ותהי <math>f(x)</math>פונקציית צפיפות כלשהי עם אותה שונות. מכיוון שהאנטרופיה הדיפרנציאלית אינווריאנטית להוספה של קבוע למשתנה המקרי, ניתן להניח כי ל- <math>f(x)</math> ול- <math>g(x)</math> אותה תוחלת <math>\mu</math>.

[[דיברגנץ]] קולבק-לייבלר בין שתי התפלגויות מקיים

: <math> 0 \leq D_{KL}(f \parallel g) = \int_{-\infty}^\infty f(x) \log \left( \frac{f(x)}{g(x)} \right) \, dx = -h(f) - \int_{-\infty}^\infty f(x)\log(g(x)) \, dx</math> .

נשתמש בביטוי המפורש של <math>g(x)</math>

: <math>\begin{align}
 \int_{-\infty}^\infty f(x)\log(g(x)) \, dx &= \int_{-\infty}^\infty f(x)\log\left( \frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}\right) \, dx \\
 &= \int_{-\infty}^\infty f(x) \log\frac{1}{\sqrt{2\pi\sigma^2}} dx \,+\, \log(e)\int_{-\infty}^\infty f(x)\left( -\frac{(x-\mu)^2}{2\sigma^2}\right) \, dx \\
 &= -\tfrac{1}{2}\log(2\pi\sigma^2) - \log(e)\frac{\sigma^2}{2\sigma^2} \\
 &= -\tfrac{1}{2}\left(\log(2\pi\sigma^2) + \log(e)\right) \\
 &= -\tfrac{1}{2}\log(2\pi e \sigma^2) \\
 &= -h(g)
\end{align}</math>

מכיוון שהתוצאה תלויה אך ורק בשונות של <math>f(x)</math>. שילוב של שתי התוצאות מביא ל

: <math> h(g) - h(f) \geq 0 \!</math>

ועל סמך התכונות של דיברגנץ קולבק-לייבלר שיויון יתקיים רק כאשר <math>f(x)=g(x)</math>.

== דוגמה: התפלגות מעריכית ==
יהי <math>X</math> משתנה מקרי המתפלג [[התפלגות מעריכית|מעריכית]] עם פרמטר <math>\lambda</math>, כלומר, עם פונקציית צפיפות הסתברות

<math display = "block"> f(x) = \left\{\begin{matrix} \lambda e^{-\lambda x} &\; x \ge 0 \\ 0 &\; x < 0 \end{matrix}\right.</math>

היות שהתומך של ההתפלגות כולל ערכים אי שליליים בלבד, האנטרופיה הדיפרנציאלית היא

<math>\begin{align}
h_e(X)
& = -\int_0^\infty \lambda e^{-\lambda x} \log (\lambda e^{-\lambda x})\,dx \\
& = -\left(\int_0^\infty (\log \lambda)\lambda e^{-\lambda x}\,dx + \int_0^\infty (-\lambda x) \lambda e^{-\lambda x}\,dx\right)\\
& = -\log \lambda \int_0^\infty f(x)\,dx + \lambda E[X] \\
& = -\log\lambda + 1 \\
\end{align}</math>

כדי לפשט את החישוב נעשה שימוש בלוגריתם טבעי (בסיס <math>e</math>), ובהתאמה סומנה האנטרופיה הדיפרנציאלית כ-<math>h_e(X)</math> .
==קישורים חיצוניים==
* {{MathWorld}}

==הערות שוליים ==
{{הערות שוליים| יישור = שמאל}}
[[קטגוריה:תורת האינפורמציה]]