הצגת המקור של הדף "יתירות (תורת האינפורמציה)"

'''יתירות''' הוא מונח ב[[תורת האינפורמציה|תורת המידע]] המתואר על ידי היחס בין האנטרופיה <math>H(X)</math> של <math>X</math>, והערך המרבי האפשרי <math>\log(|\mathcal{A}_X|)</math>.{{הערה|Here it is assumed <math>{\mathcal A}_X</math> are the sets on which the probability distributions are defined.}}{{הערה|{{cite book|url=http://www.inference.phy.cam.ac.uk/mackay/itila/book.html|title=Information Theory, Inference, and Learning Algorithms|last=MacKay|first=David J.C.|publisher=[[Cambridge University Press]]|year=2003|isbn=0-521-64298-1|page=33|chapter=2.4 Definition of entropy and related functions|quote=The ''redundancy'' measures the fractional difference between {{mvar|H(X)}} and its maximum possible value, <math>|\log(|{\mathcal A}_X|)</math>|authorlink=David J.C. MacKay}}}}

באופן לא רשמי, הוא כמות "השטח המבוזבז" שאנו משתמשים בו להעברת מידע בתקשורת נתונים. [[דחיסת נתונים]] היא דרך להפחית או למנוע יתירות לא רצויה, לעומת זאת [[סיכום ביקורת|סיכומי ביקורת]] הם דרך של הוספת יתירות רצויה לצורך [[קוד תיקון שגיאות|איתור ותיקון שגיאות]] בעת תקשורת מעל [[ערוץ תקשורת|ערוץ]] [[רעש|רועש]] מוגבל קיבולת.

== הגדרה כמותית ==
לתאר את יתירות של נתונים גולמיים, ה[[קצב אנטרופיה|קצב]] של מקור מידע הוא ממוצע ה[[אנטרופיה (סטטיסטיקה)|אנטרופיה]] לסימבול. עבור מקור נטול זיכרון, זה פשוט האנטרופיה של כל סמל, בעוד שבאופן הכללי ביותר של [[תהליך סטוכסטי|תהליך הסטוכסטי]], מוגדר ע"י:
:<math>r = \lim_{n \to \infty} \frac{1}{n} H(M_1, M_2, \dots M_n),</math>
הגבול, כאשר ''n'' [[אינסוף|שואף לאינסוף]], האנטרופיה המשוקללת של ''n'' הסימבולים הראשונים מחולק על ידי ''n''. בתורת המידע נפוץ לדבר על "קצב" או "[[אנטרופיה (סטטיסטיקה)|אנטרופיה]]" של שפה. זה מתאים, לדוגמה, כאשר מקור המידע הוא "[[פרוזה]] בשפה ה[[אנגלית]]". הקצב של המקור (חסר הזיכרון) הוא פשוט <math>H(M)</math> משום שבהגדרה אין [[תלות הדדית]] בין הודעות רצופות של מקור נטול זיכרון.

את '''הקצב המוחלט''' של שפה או מקור הוא פשוט
:<math>R = \log |\mathbb M| ,\,</math>
שהוא ה[[לוגריתם]] של גודל מרחב ההודעות, או ה"אלפבית". (נוסחה זו נקראת לעיתים [[פונקציית הארטלי]].)

זהו הקצב המקסימלי האפשרי של מידע שניתן להעביר מעל אלפבית נתון. (הלוגריתם צריך להיות עם בסיס המתאים עבור יחידת המדידה שבשימוש. הקצב המוחלט שווה לקצב בפועל אם המקור נטול זיכרון ובעל [[התפלגות אחידה בדידה|התפלגות אחידה]].

'''יתירות מוחלטת''' ניתנת להגדרה על ידי:
: <math> D = R - r ,\,</math>
כלומר ההבדל בין הקצב המוחלט לקצב.

היחס <math>\frac D R</math> נקרא''' יתירות יחסית''' ונותן את יחס הדחיסה המקסימלי כאשר מבוטא על ידי האחוז בו ניתן להפחית את גודל הקובץ.

באופן משלים ליתירות יחסית, ה'''יעילות''' מוגדרת על ידי <math>\frac r R ,</math>, כך ש <math>\frac r R + \frac D R = 1</math>.

מקור נתונים ללא זיכרון ועם התפלגות אחידה הוא בעל יתירות אפס (או יעילות של 100%) ואינו ניתן לדחיסה.

==קישורים חיצוניים==
* {{MathWorld}}

== הערות שוליים ==
{{הערות שוליים}}

[[קטגוריה:ערכים שבהם תבנית בריטניקה אינה מתאימה]]
[[קטגוריה:תורת האינפורמציה]]