התפלגות תת-מעריכית

השוואה בין זנבות של התפלגות תת-מעריכית ללא תת-מעריכית

בתורת ההסתברות, התפלגות תת-מעריכית (או תת-אקספוננציאלית) היא התפלגות שזנבותיה דועכים בקצב החסום על ידי פונקציה מעריכית. פורמלית, התפלגות של משתנה מקרי $X$ תיקרא תת-מעריכית אם קיים $K_1>0$ כך שלכל $t\ge 0$ מתקיים: $Pr(|X|\ge t)\le 2\exp (-t/K_1)$.תבנית:הערה

במילים: הסיכוי ש $|X|$ גדול מ-$t$ חסום בפונקציה מעריכית דועכת ביחס ל-$t$.

התפלגות תת-מעריכית היא גם התפלגות זנב דק כיוון שהיא עונה על ההגדרה שקיים $t\ge 0$ כך ש-:תבנית:הערה

$\underset{x\to \mathrm{\infty }}{lim}{e}^{tx}\bar{F}(x)=0$, כאשר $\bar{F}(x)$ היא פונקציית התפלגות של $X$ ,$\bar{F}(x)\equiv Pr(X>x)$

הגדרות

ההתפלגות התת-מעריכית ניתנת להגדרה במספר דרכים שקולות, עבור קבועים $K_2,\mathrm{..},K_5$ ממשייםתבנית:הערה:

1. תוחלת האקספוננט של הערך המוחלט של המשתנה המקרי כפול פרמטר חסום בשתיים: $\mathrm{E}[e^{|X|/K_2}]\le 2$.
2. עבור כל $\lambda$ כך ש-$0\le \lambda \le \frac{1}{K_3}$, התוחלת של האקספוננט של המשתנה המקרי כפול למדה דועכת מעריכית עם קצב $K_3$: $\mathrm{E}[e^{\lambda |X|}]\le e^{K_3\lambda }$.
3. לכל $p\ge 1$, מתקיים: $\mathrm{E}[|X{|}^p]\le K_{4}p$.
4. במידה ש-$E[X]=0$, עבור כל $\lambda$ כאשר $|\lambda |<\frac{1}{K_5}$, מתקיים: $E[e^{\lambda X}]\le e^{K_5^2{\lambda }^2}$.
5. אם $\sqrt{X}$ תת-גאוסי.

תכונות

• סכום משתנים תת-מעריכיים: אם $X$ ו-$Y$ הם משתנים מקריים תת-מעריכיים בלתי תלויים, אז גם הסכום שלהם $X+Y$ הוא תת-מעריכי.
• יציבות תחת מקסימום: התפלגויות תת-מעריכיות הן יציבות תחת מקסימום. כלומר, אם $X_1,X_2,\dots ,X_n$ הם משתנים מקריים תת-מעריכיים בלתי תלויים, אז גם $max(X_1,X_2,\dots ,X_n)$ הוא תת-מעריכי.
  • הוכחה: ניתן להוכיח זאת באמצעות חסם האיחוד וההגדרה הראשונה של התפלגות תת-מעריכית:

$\mathbb{P}(max(X_1,\dots ,X_n)>t)\le \sum _{i=1}^n\mathbb{P}(X_i>t)\le 2n{e}^{-\frac{t}{max(K_1,\dots ,K_n)}}$, כאשר $K_i$ הם פרמטרי התת-מעריכיות של המשתנים.

נורמות

נורמת אורליץ

פונקציה $\mathrm{\Psi }$ המוגדרת על המספרים האי-שליליים נקראת פונקציית אורליץ אם:תבנית:הערה

• $\mathrm{\Psi }$ פונקציה קמורה
• $\mathrm{\Psi }$ פונקציה מונוטונית לא יורדת
• $\mathrm{\Psi }(0)=0$, $li{m}_{x\to \mathrm{\infty }}\mathrm{\Psi }(x)=\mathrm{\infty }$

כל פונקציית אורליץ מגדירה נורמת אורליץ תבנית:אנ של משתנים מקריים, לפי הנוסחה:

$\Vert X{\Vert }_{\mathrm{\Psi }}\triangleq inf\{K>0\mid 𝔼[\mathrm{\Psi }(|X|/K)]\le 1\}$.

עבור הפונקציה ${\mathrm{\Psi }}_1(x)=\exp (x)-1$, אפשר לראות שלמשתנה מקרי יש נורמת אורליץ ${\mathrm{\Psi }}_1$ סופית אם ורק אם הוא תת-מעריכי. באופן כללי, עבור הפונקציות ${\mathrm{\Psi }}_q(x)=\exp (x^q)-1$ (לכל $q\ge 1$), נקבל משפחה מעריכית של פונקציות אורליץ. גם המקרה $q=2$ הוא מיוחד מפני שלמשתנה מקרי יש נורמת ${\mathrm{\Psi }}_2$ סופית אם ורק אם הוא משתנה תת-גאוסי.

קבוצה נוספת של נורמות אורליץ מתקבלת עבור $\mathrm{\Psi }(x)=x^p$, כאשר הנורמה התקבלת היא נורמת $L_p$ של המשתנה המקרי.

נורמה תת-מעריכית

הנורמה התת-מעריכית היא דוגמה לנורמת אורליץ כאשר ${\mathrm{\Psi }}_1(x)=\exp (x)-1$, מסומנת כ-$\Vert \cdot {\Vert }_{{\psi }_1}$, של משתנה מקרי מוגדרת על ידי:$\Vert X{\Vert }_{{\psi }_1}:=inf\{K>0\mid 𝔼(e^{|X|/K})\le 2\}$,

על סמך ההגדרה השקולה הראשונה, אם הנורמה סופית המשתנה הוא תת-מעריכי.

נורמה תת-גאוסית

הנורמה התת-גאוסית היא דוגמה לנורמת אורליץ כאשר ${\mathrm{\Psi }}_2(x)=\exp (x^2)-1$, מסומנת כ-$\Vert \cdot {\Vert }_{{\psi }_2}$, של משתנה מקרי מוגדרת על ידי:$\Vert X{\Vert }_{{\psi }_2}:=inf\{K>0\mid 𝔼(e^{X^2/K^2})\le 2\}$.

הקשר בין משתנה מקרי תת-גאוסי למשתנה מקרי תת-מעריכי

• כל משתנה $X$ שהוא תת-גאוסי הוא גם משתנה מקרי תת-מעריכי.תבנית:הערה
• אם $X$ הוא משתנה מקרי תת-מעריכי, אז המשתנה $X^2$ הוא משתנה מקרי תת-גאוסי, ומתקיים $\Vert X^2{\Vert }_{{\psi }_1}=\Vert X{\Vert }_{{\psi }_2}^2$.
  • טענה זאת נובעת ישירות מהגדרת הנורמות.
• אם $X$ ו-$Y$ הם משתנים מקריים תת-גאוסיים, אז המכפלה שלהם, $XY$, היא משתנה מקרי תת-מעריכי, ומתקיים $\Vert XY{\Vert }_{{\psi }_1}\le \Vert X{\Vert }_{{\psi }_2}\cdot \Vert Y{\Vert }_{{\psi }_2}$.

משפטים

אי שוויון ברנשטיין

אי שוויון ברנשטיין מספק חסם על הזנב של סכום של משתנים מקריים תת-מעריכיים בלתי תלויים עם תוחלת אפס.

נניח ש-$X_1,X_2,\mathrm{...},X_N$ הם משתנים מקריים תת-מעריכיים בלתי תלויים עם תוחלת אפס. אזי, לכל $t\ge 0$, מתקייםתבנית:הערה:

$Pr(\sum _{i=1}^N{X}_i\ge t)\le 2\exp (-cmin(\frac{t^2}{\sum _{i=1}^N\Vert X_i{\Vert }_{{\psi }_1}^2},\frac{t}{\underset{i}{max}\Vert X_i{\Vert }_{{\psi }_1}}))$,

כאשר $c>0$.

אי-שוויון ברנשטיין עבור התפלגויות חסומות

נניח ש-$X_1,X_2,\mathrm{...},X_N$ הם משתנים מקריים תת-מעריכיים בלתי תלויים עם תוחלת אפס. נניח גם כי המשתנים חסומים, כלומר $|X_i|\le K$ לכל $i$, עבור קבוע $K>0$. אז עבור כל $t\ge 0$, אי-שוויון ברנשטיין קובע כי:

$\mathbb{P}(\sum _{i=1}^N{X}_i\ge t)\le 2\exp (-\frac{t^2}{2{\sigma }^2+\frac{2Kt}{3}}),$

כאשר ${\sigma }^2=\sum _{i=1}^N𝔼[X_i^2]$ היא סכום השונויות.

התפלגויות מוכרות

• ההתפלגות מעריכית היא התפלגות תת-מעריכית.
• התפלגות וייבול כאשר $k\ge 1$:
  • פונקציית ההסתברות המצטברת שלה היא:$F(x;k,\lambda )=\{\begin{array}{cc}1-\exp (-{\left(\frac{x}{\lambda }\right)}^k)& x\ge 0,\\ 0& x<0.\end{array}$
  • זנב ההתפלגות מקיים: $\mathbb{P}(|X|>x)=\mathbb{P}(X>x)=1-F(x)=\exp (-{\left(\frac{x}{\lambda }\right)}^k)$
  • עבור $k=1$: $\mathbb{P}(|X|>x)=\exp (-\frac{x}{\lambda })$ כלומר, מדובר בקצב דעיכה מעריכי בדיוק, כאשר הקבוע הוא הפרמטר $\lambda$. לכן, כאשר $k=1$, התפלגות וייבול היא תת-מעריכית (זהה להתפלגות מעריכית).
  • עבור $k>1$, מתקיים:$\mathbb{P}(|X|>x)=\exp (-{\left(\frac{x}{\lambda }\right)}^k)$ ביטוי זה דועך מהר יותר מאקספוננט שלילי פשוט, כלומר גם במקרה זה ההתפלגות היא תת-מעריכית.
  • עבור $k<1$, תנאי זה לא מתקיים, ולכן התפלגות וייבול אינה תת-מעריכית במקרים אלו.
• כל התפלגות תת-גאוסית

ראו גם

• התפלגות תת-גאוסית
• התפלגות מעריכית
• נורמת אורליץ תבנית:אנ
• אי-שוויונות ברנשטיין

קישורים חיצוניים

• Roman Vershynin, High-Dimensional Probability: An Introduction with Applications in Data Science, University of California, Irvine, June 9, 2020