הצגת המקור של הדף "אנטרופיה (סטטיסטיקה)"

ב[[סטטיסטיקה]] ובתחומים נוספים, ובעיקר ב[[תורת האינפורמציה]], '''אנטרופיה''' (ב[[אנגלית]]: '''Entropy''') היא מדד לגודלו האפקטיבי של [[מרחב הסתברות]]. האנטרופיה של [[התפלגות אחידה בדידה]] על n מצבים היא <math>\ \log_2n</math>. את מושג האנטרופיה המתמטית פיתח אבי תורת האינפורמציה [[קלוד שאנון]] ב־[[1948]]{{הערה|C.E. Shannon, "[http://cm.bell-labs.com/cm/ms/what/shannonday/shannon1948.pdf A Mathematical Theory of Communication]", '''Bell System Technical Journal''', vol. 27, pp. 379–423, 623–656, July, October, 1948}}.

לדוגמה, [[הטלת מטבע]] מחזירה אחת מבין שתי אפשרויות, ו[[הטלת קובייה]] מחזירה אחת מבין שש אפשרויות. ברור שאת התוצאה של הטלת הקוביה קשה יותר לחזות מאשר את זו של המטבע. חיבור התוצאות של שתי קוביות מחזיר אחת מבין 11 אפשרויות, שבהן 7 היא השכיחה ביותר, ואילו 2 או 12 נדירות ביחס. כאן לא די לומר שגודל מרחב ההסתברות הוא 11 – ההסתברויות אינן אחידות, ולכן לא ניתן במבט ראשון לקבוע האם תוצאת החיבור קשה יותר לחיזוי מאשר, נאמר, בחירה של ספרה אקראית בין 1 ל־9 (ב[[התפלגות אחידה בדידה]]). הצורך להשוות באופן מדויק בין מרחבי התפלגות שונים קיים בכל תחומי המדע, ומדידת האנטרופיה באופן שיוצג להלן שכיחה ב[[פיזיקה]], ב[[תורת האינפורמציה]] ב[[ביולוגיה]] (שם היא נקראת [[מדד שאנון-ויבר]]) ובתחומים נוספים.

== הגדרה ואקסיומטיקה ==
אם X הוא [[מרחב הסתברות]] סופי, עם [[הסתברות|ההסתברויות]] הבאות <math>p_1,\dots,p_n</math> המייצגות את המאורעות השונים במרחב, אזי האנטרופיה שלו מוגדרת לפי הנוסחה
<math display="block">H(X) = -\mathbb{E}[ \log X] = - \sum_{i=1}^n p_i \log_2(p_i)</math>
זהו ערך אי-שלילי, המקיים <math>H(X) \leq \log_2(n)</math>, עם שוויון רק כאשר ההסתברויות שוות כולן זו לזו. במובן זה, האנטרופיה מייצגת את ה[[לוגריתם]] של גודל המרחב, ולא את הגודל עצמו. על־פי אותה נוסחה בדיוק אפשר לחשב את האנטרופיה של [[משתנה מקרי]] (המקבל מספר סופי של ערכים). בשני המקרים, האנטרופיה אינה מתחשבת בטיבם של המאורעות השונים במרחב, אלא בהסתברות שהם יתרחשו.

בנוסחת האנטרופיה לעיל, אם אחת או יותר מההסתברויות היא אפס, כלומר <math>p_i = 0</math> אז הערך של האיבר המתאים בסכום הוא מהצורה <math>0\, log_2(0)</math> שמחושב בסכום כאפס, בהתאמה לגבול<math display="block">\lim_{p\to0^+}p\log (p) = 0.</math>

את "מספר האפשרויות" שמייצג X אפשר למדוד בדרכים נוספות, כגון ספירת מצבים נאיבית (n, במקרה שלנו), [[ממוצע הרמוני]] של ההסתברויות (<math>(\sum p_i^{-1}/n)^{-1}</math>), ועוד.

ניתן להסתכל על מזווית קצת שונה. אם אנו מסתכלים על מספר מאורעות בלתי תלויים וזרים מתקיים השוויון

<math>p(A_1 \cup A_2 \cup \dots \cup A_n) = \sum_1^n p(n)</math>

וכאשר ממשקלים את ההסתברות בערך המאורעות עצמם מתקבלת התוחלת של המשתנה המקרי

<math>\operatorname E(X) = \sum_i x_i P(X=x_i)</math>

מנקודת מבט זו ניתן לראות את התוחלת על משתנה מקרי i.i.d כמדד כללי שמייחס להסתברות שאחד מהמאורעות יקרה. <math>A_1 \cup A_2 \cup \dots \cup A_n</math>

לעומת זאת אנטרופיה היא מדד להסתברות שכל המאורעות יקרו ביחד <math>A_1 \cap A_2 \cap \dots \cap A_n </math> וזאת בשל העובדה שפונקציית הלוגריתם הופכת כפל לסכום.

<math>H(X) = E(x) = \sum(-p\cdot \ln(p)) =\ln(\prod \sqrt[-p_i]{p_i})</math>

שזהו למעשה ממוצע הנדסי משוקלל על ההסתברות.

הסיבה לכך שמדד האנטרופיה נחשב למדד המתאים בהקשרים רבים כל־כך קשורה לכמה תכונות יסודיות שהוא מקיים.

כדי שניתן יהיה להסביר תכונות אלה, עלינו להזכיר מושג יסודי אחר בסטטיסטיקה: התפלגות מותנית. אם X ו־Y שני משתנים מקריים, אז עבור כל ערך אפשרי y של Y, אפשר לבנות משתנה מקרי חדש <math>X \mid Y=y</math>, "[[התפלגות מותנית|המשתנה המותנה]]", המייצג את הערכים שיכול לקבל X אם ידוע ש־Y קיבל את הערך y. כאשר הערך של Y אינו ידוע, מסמנים את המשתנה המותנה בסימון <math>X \mid Y</math>; זהו, אם כך, משתנה מקרי, שהתפלגותו המדויקת תלויה בערך שיקבל Y.

פונקציית האנטרופיה H מקיימת את ארבע התכונות הבאות:
# '''אדיטיביות''': אם X ו־Y שני משתנים מקריים [[תלות (סטטיסטיקה)|בלתי תלויים]], אז <math>H(X,Y)=H(X)+H(Y)</math>. במילים אחרות, האנטרופיה של [[מכפלה ישרה]] של מרחבי התפלגות שווה לסכום האנטרופיות של שני המרחבים.
# '''פיצול''': אם X משתנה מקרי ו־Y פונקציה של X, אז <math>H(X, Y)=H(X \mid Y)+H(Y)</math>, כאשר <math>H(X \mid Y)</math> מייצג את ה[[תוחלת]] של <math>H(X \mid Y=y)</math> במעבר על כל הערכים האפשריים של Y.
# '''רציפות''': האנטרופיה של [[התפלגות ברנולי]] <math>b(p)</math> היא [[פונקציה רציפה]] של p.
# '''נורמליות''': האנטרופיה של ההתפלגות האחידה על שני מצבים, היא 1.

'''משפט''': פונקציית האנטרופיה H היא הפונקציה היחידה המקיימת את ארבע התכונות לעיל.

'''הוכחה''': נניח ש-H היא פונקציה המוגדרת על משתנים מקריים, ומקיימת את תכונות האדיטיביות, הפיצול, הרציפות והנורמליות. ראשית נחשב את <math>H(p)</math>, שהוא הערך של H במשתנה ברנולי <math>b(p)</math>. יהיו <math>X,Y \sim b(p)</math> משתני ברנולי בלתי תלויים. נסמן ב-Z את המשתנה המוגדר להיות 0 אם X=Y ו-1 אחרת. Z הוא פונקציה של הזוג הסדור (X,Y), ולפי [[אקסיומה|אקסיומות]] הפיצול והאדיטיביות, <math>2H(p) = H(X)+H(Y)= H(X,Y) = H(X,Y|Z) + H(Z)</math>. אבל Z עצמו מתפלג ברנולי, עם הסתברות 2pq להיות 1 (כאשר q=1-p). בהינתן Z=1, הזוג (X,Y) מקבל את הערכים (0,1) ו-(1,0) בהסתברויות שוות; ובהינתן Z=0 (מאורע שהסתברותו א-פריורי היא p^2+q^2), ההסתברות ל-(1,1) היא q^2/(p^2+q^2). אם כך, לפי ההגדרה, <math>\ H(X,Y|Z) = (p^2+q^2)H\left(\frac{p^2}{p^2+q^2}\right) + 2pqH\left(\frac{1}{2}\right)</math>. לכן <math>2 H(p) = (p^2+q^2)H\left(\frac{p^2}{p^2+q^2}\right) + 2pqH\left(\frac{1}{2}\right)+ H\left(2pq\right)</math>. זוהי [[משוואה פונקציונלית]], שהפתרון היחיד שלה הוא <math>\ H(p) = -p \log p-q\log q</math>, עד כדי קבוע; הנורמליות קובעת שהלוגריתם הוא בבסיס 2. עבור משתנה המקבל n ערכים, אפשר לחשב את H באינדוקציה, על ידי התניה בקבלת הערך האחרון: <math>\ H(p_1,\dots,p_n) = (1-p_n)H(\frac{p_1}{1-p_n},\dots,\frac{p_{n-1}}{1-p_n}) + H(p_n)</math>.

== דוגמה ==
נפתור את הדוגמה שבפתיח (מה יותר קשה לחיזוי – סכום הטלת שתי קוביות או התפלגות אחידה בין 9 תוצאות):
ל[[מרחב אחיד]] בגודל 9 יש 9 תוצאות שלכל אחת מהן הסתברות <math>{1 \over 9}</math>, ולכן האנטרופיה היא
<math>9 \cdot (- {1 \over 9} \log_2\left({1 \over 9}\right)) = \log_2(9) \approx 3.17</math>, ואילו האנטרופיה של מרחב התוצאות האפשריות של סכום שתי קוביות היא
<div class="mw-content-ltr"><math>
\begin{align}
\ -\sum p_i \log_2(p_i) = - \left[ 2 \cdot \left({1 \over 36} \log_2\left({1 \over 36}\right)\right) + 2 \cdot \left({1 \over 18} \log_2\left({1 \over 18}\right)\right) + 2 \cdot \left({1 \over 12} \log_2\left({1 \over 12}\right)\right) + 2 \cdot \left({1 \over 9} \log_2\left({1 \over 9}\right)\right) \right. +\\ \left. 2 \cdot \left({5 \over 36} \log_2\left({5 \over 36}\right)\right) + \left({1 \over 6} \log_2\left({1 \over 6}\right)\right)\right] \approx 3.27.
\end{align}
</math>
</div>

כלומר, מעט קשה יותר לחזות את התוצאה של סכום שתי קוביות מאשר את התוצאה של בחירה אקראית מתוך 9 אפשרויות.

== שימושים ==

לאנטרופיה של שאנון קשר הדוק ליכולת [[דחיסת נתונים|לדחוס אינפורמציה]] וליכולת ללמוד מהאינפורמציה באמצעות [[אלגוריתם|אלגוריתמים]] של [[למידת מכונה]]. מושגים נוספים הקשורים לאנטרופיה קשר הדוק הם [[אינפורמציה הדדית]] ו[[אנטרופיה מותנית]]. לאנטרופיה יש גם קשר עמוק למושג [[סיבוכיות קולמוגורוב]].

== אנטרופיה של משתנה מקרי רציף ==
{{הפניה לערך מורחב|אנטרופיה דיפרנציאלית}}
האנטרופיה של שאנון מוגבלת למשתנים מקריים בדידים. עבור משתנה מקרי רציף X, בעל [[פונקציית צפיפות]] הסתברות <math>f(x)</math> ו[[תומך]] <math>\mathbb X</math>, חסום או לא חסום על [[הישר הממשי]], מגדירים את האנטרופיה הדיפרנציאלית באופן דומה
:<math>\Eta(X) = \mathbb{E}[-\log f(X)] = -\int_\mathbb X f(x) \log f(x)\, \mathrm{d}x.</math>
האנטרופיה הדיפרנציאלית חסרה מספר מאפיינים חשובים שיש לאנטרופיה של שאנון, ובפרט היא עשויה להיות שלילית. ולכן לעיתים משתמשים להתפלגויות רציפות בהכללות אחרות של האנטרופיה.

== ראו גם ==
* [[אנטרופיה]]
* [[מרחק לוינשטיין]]
{{נושאים במכניקה סטטיסטית}}

==קישורים חיצוניים==
{{ויקישיתוף בשורה}}
* {{אנציקלופדיה למתמטיקה|Entropy}}
* {{MathWorld}}
* {{דף שער בספרייה הלאומית|987007550784405171|אנטרופיה (תורת האינפורמציה)}}

==הערות שוליים==
{{הערות שוליים|יישור=שמאל}}

{{בקרת זהויות}}

[[קטגוריה:ערכים שבהם תבנית בריטניקה אינה מתאימה]]
[[קטגוריה:סטטיסטיקה]]
[[קטגוריה:תורת ההסתברות]]
[[קטגוריה:תורת האינפורמציה]]