הצגת המקור של הדף "משתנים מקריים בלתי-תלויים ושווי-התפלגות"

[[קובץ:Laglag_h=001.png|טקסט=A chart showing uniform distribution. Plot points are scattered randomly, with no pattern or clusters.|שמאל|ממוזער| תרשים המראה התפלגות אחידה]]
בתורת [[תורת ההסתברות|ההסתברות]] וב[[סטטיסטיקה]], [[משתנה מקרי|משתנים אקראיים]] הם '''בלתי-תלויים ושווי-התפלגות''' ('''independent and identically distributed'''; בראשי תיבות: '''IID''') אם לכל המשתנים המקריים אותה [[התפלגות|התפלגות הסתברות]] והם [[אי-תלות (הסתברות)|בלתי תלויים]] הדדית.{{הערה|{{Cite web|last=Clauset|first=Aaron|year=2011|title=A brief primer on probability distributions|url=http://tuvalu.santafe.edu/~aaronc/courses/7000/csci7000-001_2011_L0.pdf|url-status=dead|archive-url=https://web.archive.org/web/20120120154739/http://tuvalu.santafe.edu/~aaronc/courses/7000/csci7000-001_2011_L0.pdf|archive-date=2012-01-20|access-date=2011-11-29|publisher=Santa Fe Institute}}}} המושג הוגדר לראשונה בסטטיסטיקה ויש לו חשיבות רבה בתחומים שונים כגון [[כריית מידע]], [[למידת מכונה]] ו[[עיבוד אותות]].

== הגדרה ==
יהיו <math>X</math> ו־<math>Y</math> משתנים מקריים מהתפלגות שה[[תומך]] שלה, <math>I</math>, הוא תת-קבוצה של הממשיים, <math>
I \subseteq \mathbb {R}</math>. יהיו <math>F_X(x) = \operatorname{P}(X\leq x)</math> ו־<math>F_Y(y) = \operatorname{P}(Y\leq y)</math> [[פונקציית התפלגות|פונקציות ההתפלגות המצטברות]] של <math>X</math> ו־<math>Y</math>, בהתאמה.

נסמן ב־<math>F_{X,Y}(x,y) = \operatorname{P}(X\leq x \land Y\leq y)</math> את [[התפלגות משותפת|פונקציית ההתפלגות המצטברת המשותפת]] שלהם.

שני משתנים אקראיים <math>X</math> ו־<math>Y</math> הם '''שוויי התפלגות''' [[אם ורק אם]]{{הערה|{{Harvnb|Casella|Berger|2002|loc=Theorem 1.5.10}}}} <math>F_X(x)=F_Y(x) \quad \forall x \in I</math>.

שני משתנים אקראיים <math>X</math> ו־<math>Y</math>הם '''בלתי תלויים''' אם ורק אם <math>F_{X,Y}(x,y) = F_{X}(x) \cdot F_{Y}(y) \quad \forall x,y \in I</math> (ראו גם [[אי-תלות (הסתברות)#שני משתנים מקריים|אי-תלות (הסתברות) § שני משתנים מקריים]]).

שני משתנים אקראיים <math>X</math> ו־<math>Y</math> הם '''בלתי־תלויים ושווי־התפלגות''' אם הם '''בלתי תלויים''' וגם '''שוויי התפלגות''', כלומר אם ורק אם מתקיים:

{{משוואה
|הזחה = :
|משוואה = <math>
\begin{align}
& F_X(x)=F_Y(x) & \forall x \in I \\
& F_{X,Y}(x,y) = F_{X}(x) \cdot F_{Y}(y) & \forall x,y \in I \\
\end{align}
</math>
|ריווח תא = 6
|מסגרת = 2
}}

ניתן להרחיב את ההגדרה באופן טבעי ליותר משני משתנים מקריים. נאמר כי <math>n</math> משתנים אקראיים <math>X_1,\ldots,X_n</math> הם '''בלתי־תלויים ושווי־התפלגות''' אם הם '''בלתי־תלויים''' (וראה [[אי-תלות (הסתברות)#יותר משני משתנים מקריים|אי-תלות (הסתברות) § יותר משני משתנים מקריים]]) ו'''שווי-התפלגות''', כלומר אם ורק אם

{{משוואה
|הזחה = :
|משוואה = <math>
\begin{align}
& F_{X_1}(x)=F_{X_k}(x) \, & \forall k \in \{1,\ldots,n \} \text{ and } \forall x \in I \\
& F_{X_1,\ldots,X_n}(x_1,\ldots,x_n) = F_{X_1}(x_1) \cdot \ldots \cdot F_{X_n}(x_n) \, & \forall x_1,\ldots,x_n \in I
\end{align}
</math>
|ריווח תא = 6
|מסגרת = 2
}}

כאשר <math>F_{X_1,\ldots,X_n}(x_1,\ldots,x_n) = \operatorname{P}(X_1\leq x_1 \land \ldots \land X_n\leq x_n)</math> מציין את פונקציית ההתפלגות המצטברת המשותפת של <math>X_1,\ldots,X_n</math>.

== מבוא ==
סטטיסטיקה עוסקת בדרך כלל במדגמים אקראיים. ניתן להתייחס למדגם אקראי כאל קבוצה של אובייקטים שנבחרים באופן מקרי. באופן רשמי יותר, זוהי קבוצת דגימות מקריות '''בלתי תלויות, שוות התפלגות''' ('''IID''').
* '''שוות התפלגות''' – הדגימות נדגמו מאותה התפלגות [[הסתברות]].
* '''בלתי תלויות''' – דגימת הפריטים הם אירועים בלתי תלויים. במילים אחרות, הם אינם קשורים זה לזה;{{הערה|{{Cite web|last=Stephanie|date=2016-05-11|title=IID Statistics: Independent and Identically Distributed Definition and Examples|url=https://www.statisticshowto.com/iid-statistics/|access-date=2021-12-09|website=Statistics How To|language=en-US}}}} ערכו של משתנה אחד שנדגם אינה מספק מידע על ערכו של כל משתנה אחר.

== יישום ==
הנחה נפוצה ב[[מודל (סטטיסטיקה)|מודלים סטטיסטיים]] היא שמשתנים מקריים הם בלתי-תלויים ושווי-התפלגות. הנחה זו מקלה על ניתוח המתמטי, אך לעיתים אינה מציאותית.{{הערה|{{Citation|last=Hampel|first=Frank|title=Is statistics too difficult?|journal=Canadian Journal of Statistics|year=1998|volume=26|number=3|pages=497–513|doi=10.2307/3315772|jstor=3315772}} (§8).}} הנחה זו משמשת גם ב[[משפט הגבול המרכזי]], הקובע שהתפלגות ההסתברות של הסכום (או הממוצע) של משתנים מקריים בלתי-תלויים ושווי-התפלגות בעלי [[שונות]] סופית שואפת ל[[התפלגות נורמלית]].{{הערה|{{Cite journal|last=Blum|first=J. R.|last2=Chernoff|first2=H.|last3=Rosenblatt|first3=M.|last4=Teicher|first4=H.|year=1958|title=Central Limit Theorems for Interchangeable Processes|journal=Canadian Journal of Mathematics|volume=10|pages=222–229|doi=10.4153/CJM-1958-026-0|doi-access=free}}}}

ההנחה משמשת גם בהקשר של סדרות של משתנים מקריים. ואז, "בלתי-תלויים ושווי-התפלגות" מרמז על כך שמשתנה מקרי בסדרה אינו תלוי במשתנים המקריים שבאו לפניו. באופן זה, סדרה של משתנים בלתי-תלויים ושווי-התפלגות שונה מסדרה [[שרשרת מרקוב|מרקובית]], שבה התפלגות ההסתברות עבור המשתנה המקרי ה־<math>n</math> היא פונקציה של המשתנה המקרי הקודם ברצף (עבור שרשרת מרקוב מסדר ראשון).

רצף משתנים מקריים בלתי-תלויים ושווי-התפלגות אינו מרמז על כך שההסתברויות של כל האלמנטים במרחב המדגם חייבים להיות זהים.{{הערה|{{Cite book|last=Cover|first=T. M.|title=Elements Of Information Theory|last2=Thomas|first2=J. A.|publisher=Wiley-Interscience|year=2006|isbn=978-0-471-24195-9|pages=57–58}}}} לדוגמה, זריקות סדרת הטלות של קובייה מוטה תהווה סדרה של משתנים בלתי-תלויים ושווי-התפלגות אף על פי שהתוצאות מוטות.

== דוגמאות ==
=== דוגמה 1 ===
רצף של תוצאות סיבוב של גלגל [[רולטה]] הוגן (או לא הוגן) הן בלתי־תלויות ושוות־התפלגות. אחת ההשלכות של זה היא שאם כדור הרולטה נוחת על "אדום", למשל, 20 פעמים ברציפות, הסיכוי שהתוצאה הבאה תהיה "שחור" אינה גדולה או קטנה מאשר בכל סיבוב אחר (ראה [[כשל המהמר]]).

=== דוגמה 2 ===
מטילים מטבע 10 פעמים.

# '''בלתי-תלויות''' – תוצאה של כל הטלה לא תשפיע על תוצאה אחרת, כלומר 10 התוצאות אינן תלויות זו בזו.
# '''שוות-התפלגות''' – לא משנה אם המטבע הוא הוגן (הסתברות 1/2 ל"עץ" ו־1/2 ל"פלי") או לא הוגן, כל עוד נעשה שימוש באותו מטבע עבור כל הטלה, לכל הטלה תהיה אותה התפלגות.

סדרה כזה של שתי תוצאות בלתי־תלויות ושוות־התפלגות נקרא גם [[תהליך ברנולי]].

=== דוגמה 3 ===
שולפים קלף אקראי מחפיסת קלפים רגילה המכילה 52 קלפים, ולאחר מכן מחזירים את הקלף לחפיסה. חוזרים על פעולה זו 52 פעמים.

# '''בלתי תלויות''' – תוצאה של שליפת קלף לא תשפיע על השליפה הבאה, כלומר 52 התוצאות אינן תלויות זו בזו. (לעומת זאת, אם כל קלף שנשלף אינו מוחזר לחפיסה, השליפות הבאות יושפעו ממנו, והתוצאות לא יהיו שוות-התפלגות. למשל אם הקלף הראשון שנשלף הוא מלך, ההסתברות לשליפת מלך בשליפה הבאה קטנה.
# '''שוות-התפלגות''' – לאחר הוצאת קלף אחד ממנו, בכל פעם ההסתברות למלך היא 4/52, מה שאומר שההסתברות זהה בכל פעם.

== בלמידת מכונה ==
[[למידת מכונה]] משתמשת בכמויות גדולות של נתונים.{{הערה|{{Cite web|date=2020-05-05|title=What is Machine Learning? A Definition.|url=https://www.expert.ai/blog/machine-learning-definition/|access-date=2021-12-16|website=Expert.ai|language=en-US}}}} כדי לאמן מודלים של למידת מכונה בצורה יעילה, חיוני להשתמש בנתונים היסטוריים הניתנים להכללה. אם נתוני האימון אינם מייצגים את התפלגות הנתונים הכללית, ביצועי המודל על נתונים חדשים עלולים להיות לא מדויקים.

ההנחה כי הדוגמאות בלתי־תלויות ושוות־התפלגות מאפשרת הפחתה משמעותית במספר המקרים הנדרשים בקבוצת האימון

בבעיות אופטימיזציה, ההנחה של התפלגות בלתי־תלויות ושוות־התפלגות מפשטת את חישוב [[פונקציית נראות|פונקציית הנראות]]. בשל הנחת אי-התלות, ניתן לבטא את פונקציית הנראות כמכפלה של ההסתברויות של הדוגמאות בהינתן המודל:

: <math>l(\theta) = P(x_1, x_2, x_3,...,x_n|\theta) = P(x_1|\theta) P(x_2|\theta) P(x_3|\theta) ... P(x_n|\theta)</math>,

כאשר <math>\theta</math> מייצגת את הפרמטרים של המודל. אומדן ה[[נראות מקסימלית|נראות המקסימלית]] <math>\widehat{\theta}</math> מתקבל על ידי מקסום הלוגריתם של פונקציית הנראות ולא של פונקציית הנראות עצמה. שינוי זה נובע משיקולים נומריים, כגון הפיכת הכפל לחיבור והצורך להתמודד עם ערכים קטנים מאוד. כלומר:

: <math display="block">\widehat{\theta} = \mathop{\rm argmax}\limits_\theta \log(l(\theta))</math> כאשר

: <math>\log(l(\theta)) = \log(P(x_1|\theta)) + \log(P(x_2|\theta)) + \log(P(x_3|\theta)) + ... + \log(P(x_n|\theta))</math>.

== ראו גם==
* [[משתנים בלתי תלויים]]
* [[משפט הגבול המרכזי]]

==הערות שוליים ==
{{הערות שוליים|יישור = שמאל}}

[[קטגוריה:תורת ההסתברות]]
[[קטגוריה:סטטיסטיקה]]