התפלגות טרייסי-וידום

תבנית:חומר רקע התפלגות טרייסי-וידום היא פונקציית התפלגות בתחום המטריצות אקראיות. ההתפלגות מתארת את גודלו של הערך עצמי הגדול ביותר אצל סוגים מסוימים של מטריצות אקראיות כשהגודל שלהן שואף לאינסוף. ההתפלגות הוצגה לראשונה על ידי תבנית:קישור שפה ותבנית:קישור שפה בשנת 1993.

אחת התכונות יוצאות הדופן של התפלגות טרייסי-וידום היא האוניברסליות שלה. כלומר ההתפלגות מצליחה לתאר את גודלו של הערך העצמי הגדול ביותר עבור מגוון רחב של קבוצות מטריצות אקראיות (בתנאי שהמטריצות מקיימות תנאי סימטריה מסוימים). אוניברסליות זו הפכה את התפלגות טרייסי-וידום לאובייקט יסוד בתורת המטריצות האקראיות, ומצאה גם יישומים בתחומים שונים כגון פיזיקה סטטיסטית, תורת המספרים וקומבינטוריקה.

הגדרות

התפלגות טרייסי-וידום מסומנת ב $F_{\beta }$ כאשר $\beta$ מייצגת את סוג המטריצה עבורה תחושב התפלגותו של ${\lambda }_{max}$ (נקראת גם "אינדקס דייסון").

קיימות שלוש צורות רווחות $\beta \in \{1,2,4\}$: מטריצה אורתוגונאלית ($\beta =1$), מטריצה אוניטארית ($\beta =2$), וסימפלקטיתתבנית:אנ ($\beta =4$).

בפועל, $\beta$ יכולה להיות כל ערך טבעי.

הגדרה כגבול (חוק מספרים גדולים / משפט הגבול המרכזי)

ניתן להגדיר את $F_{\beta }$, פונקציית התפלגות מצטברת של התפלגות טרייסי-וידום עבור $\beta$ נתונה, כגבול של התפלגויות, בדומה למשפט הגבול המרכזי.

עבור מטריצה אקראית בגודל $N\times N$, שמוגרלת מההתפלגות המתאימה (כתלות ב-$\beta$ שנבחרה), כאשר השונות של הערכים מחוץ לאלכסון היא ${\sigma }^2$. נגדיר את $F_{N,\beta }(s)$ להיות פונקציית ההתפלגות המצטברת של הערך העצמי המקסימלי. במילים אחרות $F_{N,\beta }(s)=P({\lambda }_{max}\le s)$. נגדיר את $F_{\beta }$ באמצעות הגבול:

$F_{\beta }(x)=\underset{N\to \mathrm{\infty }}{\lim }{F}_{N,\beta }(\frac{{\lambda }_{max}-2\sigma \sqrt{N}}{\sigma }\cdot N^{1/6}+x)=\underset{N\to \mathrm{\infty }}{\lim }Pr[N^{1/6}\left(\frac{{\lambda }_{max}-2\sigma \sqrt{N}}{\sigma }\right)\le x]$

כלומר $$\frac{{\lambda }_{max}-2\sqrt{N}}{N^{1/6}}\stackrel{d}{\to }{F}_{\beta }$$ או במילים: ההפרש בין ${\lambda }_{max}$ לבין מרכז ההתפלגות ($2\sigma \sqrt{N}$) שואף לקבוע בקצב של $N^{1/6}$.

ההצגה הגבולית נותנת פירוש נוסף להתפלגות טרייס וידום: תיאור ה"תנודות" של ${\lambda }_{max}$ על קטע צר בגודל פרופורציוני ל $N^{1/6}$ סביב ${\lambda }_{max}\approx \sqrt{2N}$.

• הסטיה $2\sigma \sqrt{N}$ נובעת מהתפלגות חצי המעגל של ויגנר. הקובעת כי בגבול צפיפות הערכים העצמיים מתכנסת לחצי העיגול ברדיוס $2\sigma \sqrt{N}$.
• הכפלה בגורם $N^{1/6}$ משמשת לתיקון, כי סטיית התקן של ההתפלגות גדלה כמו $N^{1/6}$ (פותח לראשונה ב).

כאמור, ההתפלגות יכולה מהגדרתה להתרחב לכל

$\beta >0$

.

התפלגות טרייסי וידום עבור β=1,2,4 (בצבע) ליד הגיאוסיאן הסטנדרטי (בשחור)

פונקציית הדטרמיננטה של Fredholm

$F_2$ יכולה להיות מיוצגת על ידי הדטרמיננטה של פרדהולם תבנית:אנ:$$F_2(s)=\det (I-A_s)=1+\sum _{n=1}^{\mathrm{\infty }}\frac{(-1{)}^n}{n!}\underset{(s,\mathrm{\infty }{)}^n}{\int }\underset{i,j=1,...,n}{\det }[A_s(x_i,x_j)]d{x}_1\cdots d{x}_n$$כאשר האינטגרל מחושב על חצי המעגל $(s,\mathrm{\infty })$ וכן $A_s$ היא פונקציית גרעין המוגדרת:$$A_s(x,y)=\{\begin{array}{c}\frac{\mathrm{A}\mathrm{i}(x){\mathrm{A}\mathrm{i}}^{\prime }(y)-{\mathrm{A}\mathrm{i}}^{\prime }(x)\mathrm{A}\mathrm{i}(y)}{x-y}\text{if }x\ne y\\ A{i}^{\prime }(x{)}^2-x(Ai(x){)}^2\text{if }x=y\end{array}$$ $A_i$ נקראת פונקציית איירי.

פיתוח דרך משוואות דיפרנציאליות

נניח כי $q(s)$ מייצגת פתרון של הטרנסצנדנטים של פנלבה תבנית:אנ מסדר שני:$$q^{\prime \prime }(s)=sq(s)+2q(s{)}^3$$עם חסם גבולי של $q(s)\sim \text{Ai}(s),s\to \mathrm{\infty }$. כעת נגדיר $I(t),J(t)$ כך ש$$\begin{array}{ccc}I(t)& =& -\underset{t}{\overset{\mathrm{\infty }}{\int }}(x-t)q^2(x)dx\\ J(t)& =& \underset{t}{\overset{\mathrm{\infty }}{\int }}q(x)dx\end{array}$$אז התפלגות $F_2$ (ההתפלגות המצטברת של טרייסי-וידום) תוגדר להיות$$F_2(t)=e^{I(t)}=\exp (-\underset{s}{\overset{\mathrm{\infty }}{\int }}(x-s)q^2(x)dx)$$בעזרת אותה $q(s)$ ניתן לתאר גם $\beta$ נוספות:$$\begin{array}{cc}{F}_1(s)=\sqrt{F_2(t)e^{-J(t)}}& =\exp (-\frac{1}{2}\underset{s}{\overset{\mathrm{\infty }}{\int }}q(x)dx){(F_2(s))}^{1/2}\\ F_4(s/\sqrt{2})& =\cosh (\frac{1}{2}\underset{s}{\overset{\mathrm{\infty }}{\int }}q(x)dx){(F_2(s))}^{1/2}.\end{array}$$

תכונות גבוליות של ההתפלגות

כאמור, האוניברסליות של התפלגות טרייסי-וידום הביאה חוקרים לחקור את זנבותיה. חקר הזנבות מתבסס על הייצוג של ההתפלגות לפי משוואת פנילבה שהוזכרו לעיל.

פונקציית הצפיפות

תהי $f_{\beta }(x)={F_{\beta }}^{\prime }(x)$ פונקציית הצפיפות אז$$f_{\beta }(x)\sim \{\begin{array}{c}{e}^{-\frac{\beta }{24}|x{|}^3},x\to -\mathrm{\infty }\\ e^{-\frac{2\beta }{3}|x{|}^{3/2}},x\to +\mathrm{\infty }\end{array}$$ניתן לראות כי ההתפלגות אכן בעלת זנב ימני. כלומר יותר סביר כי ${\lambda }_{max}$ יהיה גדול מ $\sqrt{2N}$. נזכור כי ההתפלגות הגבולית היא התפלגות חצי העיגול, ולכן ה"זנביות" נובעת מה"דחיה" ממרכז ההתפלגות, ולכן הסיכוי של ${\lambda }_{max}$ להיות קטן $\sqrt{2N}$ יקטן.

עבור הזנב השמאלי $x\to -\mathrm{\infty }$ קיים פיתוח סגור יותר: $$f_{\beta }(x)\sim {\tau }_{\beta }|x{|}^{({\beta }^2+4-6\beta )/16\beta }\exp [-\beta \frac{|x{|}^3}{24}+\sqrt{2}\frac{\beta -2}{6}|x{|}^{3/2}]$$עבור ${\tau }_{\beta }$ קבוע כלשהו התלוי ב $\beta$.

דוגמה לקצב דעיכת הזנבות של $f_1$

מהגדרה, הצפיפות של $F_1$ מוגדרת להיות $$f_1(s)=\frac{1}{2}{F}_1(s)(q(s)+\underset{s}{\overset{\mathrm{\infty }}{\int }}{q}^{2}dx)$$אם כן, עבור $s$ חיובי גדול מספיק, נקבל (מהגדרות שהוזכרו לעיל) כי $$\begin{array}{c}q(s)\sim Ai(s)\sim 2^{-1}{\pi }^{-1}{s}^{-1/4}{e}^{-\frac{2}{3}{s}^{3/2}}\\ \underset{s}{\overset{\mathrm{\infty }}{\int }}{q}^{2}dx\sim (8\pi s{)}^{-1}{e}^{-\frac{4}{3}{s}^{3/2}}=O(q(s))\end{array}$$ ולכן סך הכל $f_1(s)\approx q(s)\approx e^{-\frac{2}{3}{s}^{3/2}}$. בעבור הזנב השמאלי, הוכח כבר כי עבור $s$ שלילי מתקבל $$\begin{array}{c}q(s)\sim \sqrt{-s/2}⟶\underset{s}{\overset{\mathrm{\infty }}{\int }}qdx\sim \frac{\sqrt{2}}{3}|s{|}^{\frac{3}{2}}\\ \underset{s}{\overset{\mathrm{\infty }}{\int }}(x-s)q^2(x)dx\sim |s{|}^3/12\end{array}$$ואכן נקבל את המקרה הפרטי עבור $\beta =1$ כי הזנב השמאלי של $f_1$ מתנהג כמו $f_1(s)\approx e^{-\frac{|s{|}^3}{12}}$.

פונקציית ההסתברות המצטברת

פונקציית ההסתברות המצטברת תחת $x\to +\mathrm{\infty }$: $$\begin{array}{cc}F(x)& =1-\frac{e^{-\frac{4}{3}{x}^{3/2}}}{32\pi x^{3/2}}(1-\frac{35}{24x^{3/2}}+𝒪(x^{-3})),\\ E(x)& =1-\frac{e^{-\frac{2}{3}{x}^{3/2}}}{4\sqrt{\pi }{x}^{3/2}}(1-\frac{41}{48x^{3/2}}+𝒪(x^{-3}))\end{array}$$עבור הזנב השמאלי $x\to -\mathrm{\infty }$ $$\begin{array}{cc}F(x)& =2^{1/48}{e}^{\frac{1}{2}{\zeta }^{\prime }(-1)}\frac{e^{-\frac{1}{24}|x{|}^3}}{|x{|}^{1/16}}(1+\frac{3}{2^7|x{|}^3}+O(|x{|}^{-6}))\\ E(x)& =\frac{1}{2^{1/4}}{e}^{-\frac{1}{3\sqrt{2}}|x{|}^{3/2}}(1-\frac{1}{24\sqrt{2}|x{|}^{3/2}}+𝒪(|x{|}^{-3})).\end{array}$$ כאשר $\zeta$ פונקציית זטא של רימן כך ש ${\zeta }^{\prime }(-1)=-0.1654211437$.

בצורה כזו פונקציית ההתפלגות המצטברת ניתנת לניתוח לכל זנב בנפרד. למשל עבור $F_2$:$$\begin{array}{cc}1-F_2(x)& =\frac{1}{32\pi x^{3/2}}{e}^{-4x^{3/2}/3}(1+O(x^{-3/2})),\\ F_2(-x)& =\frac{2^{1/24}{e}^{{\zeta }^{\prime }(-1)}}{x^{1/8}}{e}^{-x^3/12}(1+\frac{3}{2^6{x}^3}+O(x^{-6})).\end{array}$$

רקע והיסטוריה

רקע

התפלגות של ערכים עצמיים

תהא מטריצה $H_{\beta }$ המוגדרת β-הרמיטית בגודל $N\times N$, נניח כי $\beta =1$ כלומר אוניטארית. כניסות המטריצה $H_{ij}$ נדגמו מהתפלגות גיאוסיאנית קרי $$P(H_{ij})=\{\begin{array}{cc}\frac{1}{\sqrt{2\pi }}exp[-H_{ij}^2],& \text{if }i=j\\ \frac{1}{\sqrt{\pi }}exp[-H_{ij}^2],& \text{if }i>j\end{array}$$ לכן פונקציית הצפיפות המשותפת של כל $N$ הערכים העצמיים (הבלתי תלויים, ללא סדר מסוים):$$f({\lambda }_1,\dots ,{\lambda }_N)=\frac{1}{Z_{N,\beta }}{e}^{(-\frac{1}{2}\sum _{i=1}^N{\lambda }_i^2)}\prod _{j<k}|{\lambda }_j-{\lambda }_k{|}^{\beta }$$כאשר $Z_{N,\beta }$ הוא קבוע נרמול $Z_{N,\beta }={\left(2\pi \right)}^{N/2}\prod _{k=1}^N\frac{\mathrm{\Gamma }(1+k\frac{\beta }{2})}{\mathrm{\Gamma }(1+\frac{\beta }{2})}$.

• הרכיב $e^{(-\frac{1}{2}\sum _{i=1}^N{\lambda }_i^2)}$ הוא בעצם $e^{-Tr(H^2)/2}$
• הרכיב $\prod _{j<k}|{\lambda }_j-{\lambda }_k{|}^{\beta }$ הוא אופרטור הגזירה $dH=\prod _{i}d{H}_{ii}\prod _{i<j}d{H}_{ij}$.

המחשה לצפיפות המשותפת של הערכים העצמיים עבור מטריצה בגודל $H_{2\times 2}$ כאשר $\beta =1$

מוטיבציה – התפלגות הערך העצמי המקסימלי ונקודות שיווי משקל

תהי מערכת המכילה בתוכה $N$ אובייקטים הנעים במרחב בצורה רנדומלית ובלתי תלויה לחלוטין. נרצה לחקור את התנועה במערכת (כוחות דוחפים\מושכים) – ובפרט לפתח את היכולת למצוא בה נקודות שיווי משקל. אם נדמיין את התנועה במרחב הרב-ממדי בתור וקטור $V=(y_1,...,y_N)$ הרי שנקודות שיווי המשקל \יציבות $y^{\star }$ יתאפיינו על ידי $\mathrm{\nabla }V(y^{\star })=0$ (נק' סטציונאריות). לכן נתעניין בהסיאן $H_{N\times N}$ של $V$:$$H_{ij}=\frac{{\partial }^2}{\partial y_i\partial y_j}V$$כעת – הערכים העצמיים של המטריצה $H_{ij}$ יקבעו את טבע התנועה במערכת (מינימום\מקסימום לוקאלי\גלובאלי ואוכף). למשל עבור $N=2$ יהיו שני ערכים עצמיים ${\lambda }_1,{\lambda }_2$:$$\begin{array}{cc}& if{\lambda }_1>0and{\lambda }_2>0\to LocalMinimum\\ & if{\lambda }_1<0and{\lambda }_2<0\to LocalMaximum\\ & if\mathrm{sgn}({\lambda }_1)\ne \mathrm{sgn}({\lambda }_2)\to SaddlePoint\end{array}$$אם כן, עבור נקודת מינימום נרצה שכל הערכים העצמיים יהיו שליליים $\mathrm{\forall }i:{\lambda }_i<0$.

נסמן ב ${\lambda }_{max}$ את הערך העצמי המקסימלי ונקבל את השקילות $P[\mathrm{\forall }i:{\lambda }_i<0]=P[{\lambda }_{max}<0]$.

במילים אחרות, הסיכוי ליציבות של המערכת (מינימום לוקאלי) תלויה בהתפלגותו של הערך העצמי המקסימלי של ההסיאן.

ניתן גם לפתח התפלגות לערכים העצמיים השני והשלישי בגודלם.

היסטוריה

אמצע המאה ה-20 – תוצאות ספקטרליות של מטריצות אקראיות

המחשה לקשר בין התפלגות חצי המעל של ויגנר והתפלגות טרייס וידום. חצי המעגל "תופס" את התפלגות כלל הערכים העצמיים, ולכן התפלגות טרייסי וידום המתמקדת בערך העצמי המקסימלי היא סביב הקצה הימני של חצי המעגל. מתוך רשימות הרצאה של פרופ' מג'ומדר (באדיבותו).

התפתחות ענף המטריצות האקראיות מתחיל באמצע המאה ה-20. הפיזיקאי יוג'ין ויגנר הציג את המטריצות האקראיות בפיזיקה בשנות ה-50, במקור על מנת לדמות את רמות האנרגיה של גרעיני אטומים כבדים. בשנת 1951, ויגנר הציג את מה שנודע לאחר מכן כהתפלגות חצי המעגל של ויגנר, המתארת את ההתפלגות של ערכים עצמיים עבור מטריצות סימטריות אקראיות גדולות. עבודה זו היוותה את הבסיס לתורת המטריצות האקראיות, שמצאה יישומים בפיזיקה גרעינית, כאוס קוונטי ותחומים נוספים. ויגנר הראה כי עבור מטריצה אקראית $M_N$ פונקציית הצפיפות של הערכים העצמיים מתכנסת (בהתפלגות) לחצי העיגול סביב הטווח $[-2N,2N]$. ניתן להסיק מכך שפיזור של $N$ ערכים עצמיים על טווח זה יצור מרחק ממוצע בין ערכים עצמיים סמוכים פרופורציונלי ל $N^{-1/2}$. בנוסף, התפלגותו של הערך עצמי המקסימלי יהיה סביב $\sqrt{2N}$.

בהמשך לתובנותיו של ויגנר, מתמטיקאים ופיזיקאים חקרו במהלך העשורים הבאים היבטים שונים של מטריצות אקראיות. התפתחות חשובה הגיעה בשנות ה-70 כאשר תבנית:קישור שפה יישם את מושגי המטריצות האקראיות בתחום האקולוגיה, תוך שימוש בהן כדי לנתח את היציבות של מערכות אקולוגיות מורכבות. מיי גילה ב"תאוריית האינטראקציה" שלו נקודה קריטית, שמעבר לה המערכת האקולוגית הופכת לבלתי יציבה. נקודת מפנה זו, כפי שהתברר מאוחר יותר, הייתה קשורה באופן הדוק להתפלגות טרייסי-וידום.

שנות ה-90 ועד ל-2005 – ארבע בעיות שונות – אותה ההתפלגות

בשנים אלו התגלה כי בעיות שונות שנחקרו בהרחבה חולקות את אותה פונקציית התפלגות – התפלגות טרייסי-וידום.

הבעיה הראשונה היא תחום המטריצות האקראיות, שם מקומה של ההתפלגות בבעיה התגלה על ידי טרייס ווידום עצמם. מאוחר יותר, בשנת 1999, התגלה שהתפלגות טרייסי וידום מתארת גם את ההתפלגות של אורכו של תבנית:קישור שפה, בעיה ידועה בתחום הקומבינטוריקה. מיד לאחר מכן, התגלה בכמה מחקרים נפרדים שההתפלגות הזו מופיעה גם במודלי צמיחה אקראית שונים מתחום הפיזיקה הסטטיסטית, בפרט מודלים המנסים לתאר תהליכים הכוללים מעבר פאזה כמו מודל ה-PNG (Polynuclear Growth), ומודלים נוספים המבוססים על תבנית:קישור שפה. ב-2005, התגלה על ידי כי גם בעיית תבנית:קישור שפה מכילה גם היא בתוכה את התפלגות טרייסי וידום, בפרט כאשר מדובר בסט סופי של אותיות מהן נדגמים הרצפים (כמו רצפים גנטים בביואינפורמטיקה).

2005 עד 2015 – התפתחות חקר זנבות ההתפלגות

תבנית:הפניה לערך מורחב כאמור, 10 שנים מניסוח ההתפלגות, תחומי מחקר שונים לחלוטין מצאו בה שימוש יסודי בבעיות שלהם. אך לרוב (בדומה לגילוי הראשוני של רוברט מיי) השימוש היה בשיא ההתפלגות על מנת לתאר מעבר מיציבות של מערכת דינאמית לחוסר יציבות. גילויים אלה הניעו חוקרים לחקור דווקא את זנבות ההתפלגות.

בשנת 2006 פרופסור Satya Majumdar נחשף למחקרים שגרסו כי נקודות יציבות בתורת המיתרים מקבילות לתת-קבוצה של מטריצות אקראיות שהערכים העצמיים הגדולים ביותר שלהן הם שליליים – רחוק משמאל לערך הממוצע של $\sqrt{2N}$ בשיא עקומת טרייסי-וידום. הוא תהה עד כמה נדירות עשויות להיות נקודות יציבות אלו.

כדי לענות על השאלה, מג'ומדר ודייוויד דין, התחילו לחקור את הזנב הקיצוני השמאלי של התפלגות טרייסי-וידום, אזור בהתפלגות שטרם נחקר. בתוך שנה, הם פרסמו את מחקרם בכתב העת Physical Review Letters, שם טענו כי בצד השמאלי, קצב הדעיכה של ההתפלגות הוא כפונקציה של

$N^2$

. בצד הימני, מג'ומדר ודין הופתעו לגלות שההתפלגות ירדה בקצב איטי יותר, כפונקציה של

$N$

.

המחשה של מרכז וזנבות התפלגות $f_2(x),\sigma =1$ (קרי עבור משתנים בעלי קורלציה ביניהם). שיא ההתפלגות סביב $\sqrt{2N}$ מהווה "נקודת מעבר" ממנה המערכת כבר אינה "יציבה" ובפרט דועכת בקצבים שונים משני צידיה.

בשנת 2011, הצורה של הזנבות השמאלי והימני נתנה למג'ומדר וצוותו תובנה פתאומית: הם הבינו שהאוניברסליות של התפלגות טרייסי-וידום יכולה להיות קשורה לאוניברסליות של מעברי פאזה — אירועים כמו הקפאת מים לקרח, גרפיט שהופך ליהלום ומתכות רגילות שהופכות למוליכי-על.

בשולי ההתפלגות המיניאטוריים של טרייסי-וידום, מג'ומדר, וצוותו זיהו צורות מתמטיות מוכרות: עקומות נפרדות המתארות שני קצבים שונים של שינוי בתכונות של מערכת, היורדות משני הצדדים של שיא מעבר פאזה. אלו היו סימני מעבר פאזה.

אמידה נומרית ושימוש בקוד

הערכה נומרית של ההתפלגות

על מנת לתת הערכה נומרית להתפלגות טרייסי-וידום, נדרשו טכניקות נומריות להשגת פתרונות נומריים למשוואות פנלבה מסוגים II ו-V. פתרונות אלה הוצגו לראשונה על ידי תבנית באמצעות MATLAB על ידי אנדלמן ופרסון.

טכניקות קירוב אלו קיבלו הצדקה אנליטית נוספת ושימשו לצורך הערכה נומרית של התפלגויות $\beta \in \{1,2,4\}$ באמצעות S-PLUS, באותה העבודה ההתפלגויות קובעו בטבלה בדיוק של עד 4 ספרות בקפיצות של 0.01 ביחד עם טבלת מובהקות (p-value).

בשנת 2010 נוסח אלגוריתם מהיר לחישוב ערכי $F_{\beta }$ וערכי הצפיפות $f_{\beta }=d{F}_{\beta }/ds$ עבור $\beta \in \{1,2,4\}$. האלגוריתם מספק חישוב נומרי של הממוצע, השונות, צידוד והגבנוניות יתרה:

גבנוניות יתרה	צידוד	שונות	ממוצע	$\beta$
0.1652429384	0.29346452408	1.607781034581	−1.2065335745820	1
0.0934480876	0.224084203610	0.8131947928329	−1.771086807411	2
0.0491951565	0.16550949435	0.5177237207726	−2.306884893241	4

באמצעות אלו, פותח אלגוריתם להתפלגות של הערך העצמי ה $k$ של האופרטור $A_s$ היכול לשמש לחישוב התפלגות טרייסי-וידום.

חבילות קוד קיימות

ב-R קיימת החבילה בשם 'RMTstat'תבנית:הערה, ב-MATLAB קיימת החבילה בשם 'RMLab'תבנית:הערה, ובפייתון קיימות מספר חבילות ביניהן scikit-rmt.

שימוש בסטטיסטיקה רב ממדית

מטריצת השונות המשותפת נמצאת במרכז חקר הסטטיסטיקה ובפרט סטטיסטיקה הרב ממדית. כפי שהעיר תבנית:קישור שפה:

דגימה של שלושת הערכים העצמיים הגדולים ביותר עבור 1000 מטריצות $S$ המבוססות $X_{10\times 10}\sim N_{10}(0,I)$.

הנחות המודל והבעיה

בידינו מטריצת נתונים $X_{p\times n}$ המתארת $n$ דגימות מ $p$ משתנים (עמודה ב $X$ מתארת תצפית אחת מ $p$ משתנים). אנו מניחים כי $X_{p\times n}\sim N_p(\mu ,\mathrm{\Sigma })$ ולשם הפשטות $\mu =0$.

הבעיה שלפנינו היא להסיק את תכונות $\mathrm{\Sigma }={\left(Cov[X_k,X_{k^{\prime }}]\right)}_{1\le k,k^{\prime }\le p}$ מתוך מטריצת השונות הנצפית $S=\frac{1}{n}{X}^{T}X$, ממנה ניתנים לחילוץ $\widehat{{\ell }_j}$ – הערכים העצמיים הנצפים של $S$.

בדיקת השערות למטריצת השונות המשותפת

נרצה לבצע בדיקת השערות כאשר השערת האפס היא כי אין קורלציה בין $p$ המשתנים כלומר $H_0:\mathrm{\Sigma }=I,H_1:else$.

נרצה לפתח סטטיסטי תחת ההנחה כי $\mathrm{\Sigma }=I$. תחת הנחה זו מצופה כי $\widehat{{\ell }_j}\approx 1$. על מנת לאמוד כמה "קיצוניים" ערכי $\widehat{{\ell }_j}$ כך שיצדיקו דחיה של השערת האפס נחקור את ההתפלגות שלהם תחת הנחה זו. התפלגות זו נחקרה ונקראת תבנית:קישור שפה (התפלגות זו היא הרחבה של התפלגות חצי המעגל של ויגנר). כלומר נתעניין ב$$P(\widehat{{\ell }_1}>t|\mathrm{\Sigma }{\sim }_{H_0}{W}_p(n,I))$$כאשר הקשר בין התפלגות טרייסי וידום (הערך העצמי הגדול ביותר של $S$) להתפלגות וישארט היא $$\frac{{\lambda }_{\max }(W_n)-{\mu }_{np}}{{\sigma }_{np}}\stackrel{d}{\to }{F}_{\beta }$$תחת $n,p\to \mathrm{\infty }$ וכן $n/p\to \gamma \ge 1$ מתקבל החסם$$|P(n\widehat{{\ell }_1}\le {\mu }_{np}+{\sigma }_{np}t|H_0)-F_{\beta }(t)|\le C{e}^{-ct}{p}^{-2/3}$$כלומר תחת ההשערה $\mathrm{\Sigma }=I$ התפלגות הערך העצמי הגדול ביותר הנצפה קרובה בדיוק מסדר שני להתפלגות טרייסי-וידום.

ולכן התפלגות זו היא התפלגות הסטטיסטי המבוקש ובאמצעותה ניתן לבצע את בדיקת ההשערות.

ובפרט קבועי הנרמול הרלוונטיים הם: $${\mu }_{np}={(\sqrt{n-\frac{1}{2}}+\sqrt{p-\frac{1}{2}})}^2,{\sigma }_{np}=(\sqrt{n}+\sqrt{p}){(\frac{1}{\sqrt{n-\frac{1}{2}}}+\frac{1}{\sqrt{p-\frac{1}{2}}})}^{1/3}$$דוגמה

נניח כי נתון: $\mathrm{\Sigma }$ מקיימת $\beta =1$, $n=10,p=10$.

כעת, נניח כי הערך העצמי הגבוהה ביותר הנצפה הוא $\widehat{{\ell }_1}=2$. האם הוא קיצוני דיו עבורינו?

ראשית, נדרוש דיוק של 0.01 להתפלגות $F_1$ (התפלגות טרייסי וידום עם $\beta =1$), דיוק זה מתקבל בהסתברות לכל היותר $\text{0.213}$. בהנחה ואנו מסופקים מהסתברות זו (אחרת, ניאלץ לשנות את הקבועים שלנו) – ניתן נומרית לפתח את התפלגות $F_1$ לערכים נבחרים:

ערכי $x$ עבור ההסתברות $P({\psi }_1\ge x)$ כאשר ${\psi }_1\sim F_1$

$0.45014$	$0.53508$	$0.62792$	$0.73069$	$0.84633$	$0.97931$	$1.13706$	$1.33321$	$1.59776$	$2.02345$	$x$
$.10$	.09	$.08$	$.07$	$.06$	$.05$	$.04$	$.03$	$.02$	$.01$	$P({\psi }_1\ge x)$

אם כן, מובהקות התוצאה $\widehat{{\ell }_1}=2$ היא $P({\psi }_1\ge 2)\approx P({\psi }_1\ge 2.023)=0.01$.

ניתוח מדגמים רועשים (BBP Phase Transition)

דוגמה נוספת לשימוש בהתפלגות טרייסי וידום הוא שילוב בדיקת ההשערות בניתוח מדגמים רועשים. לעיתים רוצים לזהות האם יש "אות" בתוך הרעש. לדוגמה, במקרה בו יש לנו מטריצת מתאם או שונות משותפת שמתארת נתונים, השאלה היא אם קיימת סטייה משמעותית שיכולה להעיד על מידע משמעותי (אות) או שהמדגם כולו מבוסס על רעש אקראי בלבד. במילים אחרות, מטריצת השונות היא מהצורה $${\mathrm{\Sigma }}_{\ell }=diag({\ell }_1^2,{\ell }_2^2,...,{\ell }_k^2,{\sigma }_e^2,...,{\sigma }_e^2)$$והמטרה היא למצוא כי מדובר בערך העצמי ה $k$.

ה-BBP Transition (נקרא על שמם של החוקרים Baik, Ben Arous, ו-Péché שגילו אותו לראשונה בשנת 2005 ) מתאר את הנקודה שבה האות נהיה חזק דיו כדי לגרום לערך העצמי הגדול ביותר לחרוג ממשטר של רעש אקראי. נקודה זו נקראת "spike",זהו מעבר חד (כמו "מעבר פאזה" בפיזיקה, שבו המערכת עוברת ממשטר אחד לאחר).

נציין, כי במצב כזה המטריצה $S=X{X}^T\in W_p(n,\mathrm{\Sigma }),\mathrm{\Sigma }\ne I$ אינה מקיימת $\frac{{\lambda }_{\max }(W_n)-{\mu }_{np}}{{\sigma }_{np}}\stackrel{d}{\to }{F}_1$. מחקרים שונים פתרו את הבעיה למקרים פרטיים שונים. למשל, במקרה "הפשוט" בו ${\sigma }_e^2=1$ מתקיים $$n^{2/3}\frac{\widehat{{\ell }_1}-\mu }{\sigma }⟶F_2$$ עבור $1\le \widehat{{\ell }_1}<1+\sqrt{\gamma },p/n\to \gamma$. במצב כזה ניתן למשל לפתח את $𝔏({\ell }_k|n,p,{\mathrm{\Sigma }}_{\ell })$ – התפלגות של הערך העצמי ה-$k$ בגודלו המתאים ל $X{X}^T$ כאשר $X_{n\times p}\sim N_p(0,{\mathrm{\Sigma }}_{\ell })$.

נשים לב כי הערך העצמי ה $k+1$ במודל ה"ספייק" קטן סטוכסטית מהערך העצמי הגדול ביותר במודל עם $p-k$ משתנים. ולכן נותר לבצע מבחן השערות (לא אסימפטוטי) $$H_0:{\ell }_{k+1}=1,H_1:else$$ באמצעות $𝔏({\ell }_1|n,p-k,I_{p-k})$ – התפלגות הערך העצמי הגדול ביותר לאחר ש"ניקינו" את $k$ הערכים העצמיים הגודלים. אם כן, הערך העצמי ה $k+1$ במטריצה החדשה בעל התפלגות טרייסי וידום, כלומר $𝔏({\ell }_1|n,p-k,I_{p-k})$ שקולה נומרית ל $F_1$ על ידי$$\frac{{\ell }_{k+1}-{\mu }_{n,p-k}}{{\sigma }_{n,p-k}}\sim F_1$$ומכאן ניתן לבצע את בדיקת ההשערות כפי שהוצגה לעיל.

לקריאה נוספת

• מגבלות גבוליות: מסתבר כי הדיוק מסדר שני שהתקבל יחסית מדויק גם עבור $n,p$ יחסית קטנים ואף שלא מקיימים את ההנחה $n/p\to \gamma \ge 1$. ג'ונסטון במאמרו בחן את דיוקו של הקירוב לצורכי חישוב מובהקות בעזרת טבלאות נומריות של התפלגות $W(n,I)$.
• סימולציית קוד של התפלגות טרייסי-וידום ממשוואת פנלבה ב-Computational Random Matrix Theory.
• רשימות הרצאה של Satya N. Majumdar על הופעתה של התפלגות טרייסי-וידום בשלל בעיות.

ראו גם

• התפלגות חצי המעגל של ויגנר