הצגת המקור של הדף "למידה מונחית"

[[קובץ:Supervised machine learning in a nutshell-he.svg|ממוזער|300px|דוגמה למערכת למידה מונחית. בשלב הראשון נאספות התצפיות. בשלב השני הן מחולקות למדגם אימון ומדגם בדיקה. אחר כך הלומד (אלגוריתם הלמידה) משתמש בדוגמאות המתויגות ממדגם האימון כדי ללמוד מודל חיזוי. באמצעות מדגם הבדיקה ניתן לבדוק את טיב המודל.]]
'''למידה מונחית או למידה מפוקחת''' (ב[[אנגלית]]: '''Supervised learning''') היא טכניקה בענף [[למידת מכונה|למידת המכונה]], המאפשרת לפתח [[מכונה]] או מערכת (בדרך כלל [[תוכנית מחשב]]) שלומדת [[פתרון בעיות|לפתור בעיות]] על בסיס מאגר גדול של דוגמאות "פתורות". הלמידה עצמה נעשית באמצעות חיפוש [[השערה (מדע)|היפותזה]] – [[פונקציה]] מ[[מרחב וקטורי|מרחב]] הדוגמאות למרחב התיוגים – שמתארת את המידע בצורה המתאימה ביותר. [[אלגוריתם]] למידה [[אופטימיזציה (מתמטיקה)|אופטימלי]] הוא אלגוריתם שהפונקציה הנלמדת על ידיו תוכל לחזות נכונה את התשובה גם בעבור דוגמאות שטרם נראו על ידי המערכת.<ref name=":0">{{צ-ספר|מחבר=Shai Shalev-Shwartz, Shai Ben-David|שם=Understanding Machine Learning: From Theory to Algorithms|שנת הוצאה=2014|קישור=https://www.cs.huji.ac.il/~shais/UnderstandingMachineLearning/understanding-machine-learning-theory-algorithms.pdf}}</ref>

== סוגים ==
[[קובץ:MnistExamples.png|טקסט=דגימות מתוך מאגר הנתונים MNIST|ממוזער|בתמונה ניתן לראות דגימות מתוך מאגר הדוגמאות MNIST שמכיל עשרות אלפי ספרות הכתובות בכתב יד. מודל דיסקרימינטיבי יוכל לקבל תמונה של ספרה בכתב יד, ולומר מה הספרה שקיבל. לעומת זאת, [[מודל גנרטיבי]] ילמד את ההתפלגות של הספרות, ויוכל לייצר בעצמו ספרות חדשות שנראות כמו ספרות שאדם כתב, אך למעשה הן אינן מופיעות במאגר.]]
אלגוריתמי למידה מונחית מתחלקים לשתי מחלקות בהתאם ל[[מודל (סטטיסטיקה)|מודל]] שהם לומדים:
*{{קישור שפה|אנגלית|Discriminative model|מודל דיסקרימינטיבי|מודלים דיסקרימינטיביים}} מתוכננים לסווג דוגמאות בצורה נכונה. המודלים צריכים ללמוד את הגבול בין המחלקות השונות שהדוגמאות יכולות להשתייך אליהן, על מנת לדעת לאיזו מחלקה לשייך אותן. חלקם מייצרים [[על-מישור]] (או מספר כאלו) במרחב, שמפריד את הדוגמאות ששייכות למחלקה אחת מאלו ששייכות לאחרת. במקרה כזה, תהליך הסיווג יכלול בדיקה של [[חצי מרחב|חצי המרחב]] שבו הדוגמה נמצאת, והתשובה תינתן לפי המחלקה שמזוהה עם חצי המרחב הזה.
*[[מודל גנרטיבי|מודלים גנרטיביים]] הם מודלים שלומדים את [[התפלגות]] הקלט, ולכן ניתן להשתמש בהם בשביל לייצר דוגמאות חדשות שנוצרות מהתפלגות זהה לזו של דוגמאות האימון. כדי לייצר דגימה חדשה שנראית כמו דוגמה אמיתית ששייכת לאחת מהמחלקות, מודלים כאלו צריכים ללמוד את התפלגות הקלט ולייצר דגימה חדשה בהתבסס על ההתפלגות הנלמדת.<ref name=":1">{{צ-מאמר|מחבר=Bin LiuGeoffrey I. Webb|שם=Generative and Discriminative Learning|כתב עת=Encyclopedia of Machine Learning|קישור=https://link.springer.com/referenceworkentry/10.1007%2F978-0-387-30164-8_332|שנת הוצאה=2011}}</ref> אחד מהמודלים הגנרטיביים שנמצאים בשימוש הנרחב ביותר כיום הוא [[Generative adversarial network]], אם כי רוב ה-GAN-ים משתמשים בטכניקות של [[למידה בלתי מונחית|למידה לא מונחית]]<small>.</small><ref>{{צ-מאמר|מחבר=Goodfellow, Ian; Pouget-Abadie, Jean; Mirza, Mehdi; Xu, Bing; Warde-Farley, David; Ozair, Sherjil; Courville, Aaron; Bengio, Yoshua|שם=Generative Adversarial Nets|קישור=https://papers.nips.cc/paper/2014/file/5ca3e9b122f61f8f06494c97b1afccf3-Paper.pdf|שנת הוצאה=2014}}</ref> [[מודל דיפוזיה]] הוא מודל נוסף שפותח בשנת [[2015]].

לדוגמה, בהינתן מאגר נתונים שמכיל תמונות של חתולים ותמונות של חדי קרן, מודל דיסקרימינטיבי יוכל לקבל תמונה ולומר האם יש בה חתול או חד קרן, בעוד שמודל גנרטיבי ילמד את המאפיינים של חתול ואת המאפיינים של חד קרן, ונוכל להשתמש בו בשביל ליצור תמונה חדשה, שלא הופיעה במאגר, של חתול או של חד קרן.

== אימון המערכת ==
תהליך הלמידה של המערכת נקרא "אימון". בשלב זה מציגים למערכת את הדוגמאות, והיא לומדת היפותזה שמתארת את הדוגמאות שראתה בצורה הטובה ביותר.

בלמידה מונחית, כל דוגמה שהמערכת לומדת על פיה היא זוג המורכב מאובייקט קלט ומערך הפלט הרצוי בעבור אותו הקלט.<ref name=":0" /> לאוסף הדוגמאות קוראים בשם "סט האימון״, והוא מכיל דגימות שמגיעות מ[[התפלגות]] משותפת של מרחב האלמנטים ומרחב התיוגים. אימון אלגוריתם למידה מונחית דורש בדרך כלל סט אימון שמכיל דוגמאות רבות. מטרת הלמידה היא לנבא את התיוג של אלמנט חדש שנוצר מאותה ההתפלגות אם המודל שאנחנו מאמנים הוא דיסקרימינטיבי. בעבור מודל גנרטיבי מטרת הלמידה תהיה ללמוד את ההתפלגות שממנה נוצרו הדוגמאות. לדוגמה, אם הבעיה שאנחנו רוצים ללמוד היא סיווג של תמונות לפי האובייקט המופיע בהן, תורכב כל דוגמה בסט האימון מהקלט – התמונה, ולכל קלט יוצמד הפלט הרצוי – התיוג לפי האובייקט המופיע באותה התמונה.

בעבור סט אימון נתון ניתן לחשב לכל היפותזה את ה[[שגיאה]] האמפירית שלה, שמוגדרת להיות אחוז השגיאות של ההיפותזה על סט האימון. לכל היפותזה ניתן לחשב שגיאת הכללה – [[תוחלת]] של טעות תיוג על פני ההתפלגות המשותפת. השגיאה האמפירית מתייחסת לסיכוי של המודל לטעות על סט האימון, ושגיאת ההכללה מתייחסת לסיכוי לטעות על המידע כולו. מטרת הלמידה היא שההיפותזה הנלמדת תהיה בעלת שגיאת ההכללה קטנה ככל האפשר כדי שנוכל לסווג בצורה נכונה גם דוגמאות שטרם נראו על ידי המודל. באופן יחסי קל להשיג היפותזה שהשגיאה האמפירית שלה קטנה, אך רצוי להימנע מהיפותזה שהשגיאה האמפירית שלה קטנה ושגיאת ההכללה שלה גדולה.

אימון מודל כזה, תוך למידה מדוגמאות בצורה מונחית, מורכב ממספר שלבים. ראשית, על המפתח לקבוע את סוג הדוגמאות שתשמשנה את המערכת בשלב האימון, ולבחור את האלגוריתם המתאים לבעיה, בהתאם למטרה הרצויה של המערכת. לדוגמה, במקרה של מערכת שלומדת לזהות טקסט בכתב יד, הקלט יכול להיות תו בודד, מילה שלמה או משפט שלם בכתב יד.

לאחר מכן יבחר המפתח סט אימונים מתאים המכיל דוגמאות – זוגות של קלטים ופלטים רצויים, שאותם המערכת תלמד. לעיתים סט האימון מוכר בקהילה ומשמש בלמידה של מגוון בעיות, ולעיתים צריך לבנות את הסט במיוחד באמצעות שימוש במומחים אנושיים בתחום או באמצעות מדידות. לאחר בחירת סט האימון מעובדת כל דוגמה לפורמט שהמערכת יודעת לעבוד אתו. לאופן ייצוג הקלט יש השפעה על טיב הלמידה של המכונה, ועל הערכת הביצועים שלה לאחר הלמידה. בדרך כלל מייצרים מאובייקט הקלט [[וקטור (אלגברה)|וקטור]] מספרי שנקרא {{קישור שפה|אנגלית|Feature vector|וקטור תכונות}}, שמכיל ייצוג מספרי של תכונות שמתארות את האובייקט. בלמידה של תמונות נהוג לייצג כל תמונה כמטריצה שמכילה את ערכי ה-[[ייצוג צבע במחשב|RGB]] של כל [[פיקסל]].

לפני תחילת האימון נהוג להוציא מתוך סט האימון אחוז מסוים של דוגמאות ולשמור אותן בצד לצורך אימות מאוחר של המודל. שמירת הסטים מתבצעת כדי לאפשר בדיקה מבוקרת של התנהגות המודל אל מול דוגמאות שלא נראו בשלב האימון. במרבית המקרים יצרו מהדוגמאות שהוצאו שני סטים חדשים – סט [[תוקף (מחקר)|ולידציה]] וסט בדיקה (לעיתים סט הולידציה מושמט). סט הולידציה נועד להעריך את ביצועי המערכת על דוגמאות שלא נראו בשלב האימון, תוך כדי השלב עצמו, ואילו סט הבדיקה נועד להערכת ביצועים בתום שלב האימון.<ref name=":2">{{צ-מאמר|מחבר=Haiying Wang, Huiru Zheng|שם=Model Validation, Machine Learning|קישור=https://link.springer.com/referenceworkentry/10.1007%2F978-1-4419-9863-7_233|שנת הוצאה=2013}}</ref>

שלב האימון עצמו תלוי בסוג האלגוריתם. ב[[רשת עצבית מלאכותית|רשתות נוירונים]] מוכנסות הדוגמאות לאלגוריתם בזו אחר זו, בדרך כלל בקבוצות שמכילות מספר דוגמאות (batch). המערכת מבצעת חיזוי בעבור כל דוגמה באמצעות ה[[השערה (מדע)|היפותזה]] שלמדה עד כה, ובאמצעות הערכת ה[[שגיאה#סטטיסטיקה|שגיאה]] על הקבוצה, מתקנת את ההיפותזה שלמדה באמצעות שימוש בשיטת אופטימיזציה למציאת מינימום כדוגמת [[Gradient descent|Stochastic gradient descent]] ושינוי ההיפותזה בכיוון הגרדיאנט. לולא הייתה מגבלת זיכרון או מגבלה על כוח העיבוד היה תיקון ההיפותזה נעשה לאחר מעבר על כל הדוגמאות וחישוב השגיאה על כולן. אולם מכיוון שקיימות מגבלות כאלו מועבר המידע בקבוצות (batch). ב[[עץ החלטה|עצי החלטה]] מתייחס שלב האימון לבניית העץ. הבנייה עצמה נעשית בצורה רקורסיבית, כאשר בכל שלב נבחרת התכונה שפיצול על פיה יגרום לכל תת-עץ להכיל דוגמאות בעלות סיווג כמה שיותר דומה. אימון של [[מודל מתמטי|מודלים מתמטיים]] כדוגמת [[רגרסיה ליניארית]] יעשה באמצעות חיפוש של הפרמטרים שיתארו פונקציית קירוב של המידע בצורה הטובה ביותר.

לעיתים נדרש מפתח המערכת לקבוע פרמטרים חיצוניים שמשמשים לבקרה של המערכת. כדי למצוא את הפרמטרים הנכונים יאמן המפתח את המערכת עם מגוון פרמטרים, ויבחר את אלו שמסתכמים בביצועים הטובים ביותר. המפתח יוכל להעריך את הביצועים של המערכת באמצעות סט הבדיקה שכולל דוגמאות שנלקחו מסט האימון ונשמרו בצד מבעוד מועד.

== הסבר מתמטי ==
בהינתן סט אימון המכיל <math>m</math> דוגמאות <math>\{(x_1, y_1), ..., (x_m,\; y_m)\}</math> כך ש-<math>x_i</math> הוא וקטור התכונות של הדוגמה ה-i ו-<math>y_i</math> הוא התיוג שלה, אלגוריתם למידה מחפש פונקציה <math>g: X \to Y</math>, כאשר <math>X</math> הוא מרחב הקלט (וקטורי התכונות של הקלט) ו-<math>Y</math> הוא מרחב הפלט (התיוגים). הפונקציה <math>g</math> שייכת למרחב ההיפותזות <math>G</math>, הכולל את הפונקציות האפשריות שעשויות לייצג את הבעיה בצורה הנכונה. לפעמים מייצגים את <math>g</math> באמצעות פונקציית ניקוד <math>f: X \times Y \to \mathbb{R}</math> כך ש-<math>g</math> מחזירה בעבור הקלט <math>x</math> את התיוג <math>y</math> שנותן את הניקוד הגבוה ביותר. פורמלית – <math>g(x) = \underset{y}{\arg\max} \; f(x,y)</math>. את מרחב פונקציות הניקוד נסמן ב-<math>F</math>.[[קובץ:Regularization.svg|טקסט=הדגמה של תוצאת הוספת רגולריזציה|ממוזער|בהינתן סט אימון שמכיל את הנקודות האדומות, המטרה היא לאמן מודל שמקרב את הנקודות בצורה הטובה ביותר. שתי הפונקציות, הכחולה והירוקה, מתאימות לנקודות במדויק ולכן יכולות להיות מודל מתאים. ערך פונקציית ההפסד של שתי הפונקציות על נתוני האימון הוא אפס. הוספת רגולריזציה תגרום להעדפת המודל הירוק על פני הכחול. המודל הירוק כנראה מכליל טוב יותר על הנקודות כי הוא פחות ספציפי, ולכן שגיאת ההכללה תהיה קטנה יותר.]]אף על פי ש-<math>G</math> ו-<math>F</math> יכולים לייצג כל מרחב של פונקציות, אלגוריתמי למידה רבים משתמשים במודלים הסתברותיים שבהם <math>g</math> הוא מודל [[הסתברות מותנית]] <math>g(x) =P(y|x)</math>, למשל [[רגרסיה לוגיסטית]], או ש-<math>f</math> הוא מודל [[הסתברות]] משותפת <math>f(x,y) = P(x,y)</math>, למשל [[סיווג בייסיאני נאיבי]].

שתי גישות בסיסיות לבחירה של <math>f</math> או של <math>g</math> הן מזעור סיכונים אמפירי ומזעור סיכונים מבני.<ref>{{צ-ספר|מחבר=Vladimir Vapnik|שם=The Nature of Statistical Learning Theory|קישור=https://books.google.co.il/books?id=EqgACAAAQBAJ&printsec=frontcover&redir_esc=y#v=snippet&q=%22empirical%20risk%20minimization%22%20OR%20%22structural%20risk%20minimization%22&f=false}}</ref> מזעור סיכונים אמפירי מחפש את הפונקציה המתארת בצורה הטובה ביותר את נתוני האימון, בעוד שמזעור סיכונים מבני כולל ״פונקציית עונש״ השולטת על הטרייד-אוף בין ההטיה לבין ה[[שונות]]. בשני המקרים, ההנחה היא כי סט האימונים מורכב מזוגות של [[אי תלות (סטטיסטיקה)|משתנים מקריים בלתי תלויים]] ובעלי התפלגות משותפת, <math>(x_i, \;y_i)</math>.<ref name=":1" />

על מנת למדוד את מידת ההתאמה של פונקציה לנתוני האימון, נגדיר את [[פונקציית הפסד|פונקציית ההפסד]] <math>L: Y \times Y \to
\mathbb{R}^+</math> שמודדת את המרחק בין התיוג שהמודל החזיר לבין התיוג האמיתי של הקלט. למשל, בעבור הדוגמה <math>(x_i,\;y_i)</math>, אם האלגוריתם החזיר את הערך <math>\hat{y}</math> בעבור הדוגמה <math>x_i</math>, פונקציית ההפסד מחשבת את ההבדל בין התיוג "האמיתי" של הדוגמה לזו שהתקבלה מאלגוריתם – <math>L(y_i,\hat{y})</math>.<ref>{{צ-מאמר|מחבר=Pádraig CunninghamMatthieu CordSarah Jane Delany|שם=Supervised Learning|קישור=https://link.springer.com/chapter/10.1007/978-3-540-75171-7_2|שנת הוצאה=2008|כתב עת=Machine Learning Techniques for Multimedia}}</ref>

[[פונקציית השגיאה]] האמפירית <math>R(g)</math> של פונקציה <math>g</math> מוגדרת להיות תוחלת ההפסד של <math>g</math> על הפלטים של האלגוריתם. ניתן לאמוד את ערך השגיאה האמפירית על הדוגמאות בסט האימון באמצעות הנוסחה הבאה: <math>R_{emp}(g) = \frac{1}{m} \sum_{i=1}^m L(y_i, g(x_i))</math>. אלגוריתם למידה יקרא ממזער סיכונים אמפירי (ERM) אם הוא ממזער את השגיאה האמפירית <math>R_{emp}</math>.

מזעור סיכונים מבני משתמש בהוספת רגולריזציה לפונקציית ההפסד – <math>\min_f \sum_{i=1}^{n} L(f(x_i), y_i) + \lambda \cdot reg(f)</math>, כאשר <math>L</math> היא פונקציית ההפסד, <math>reg</math> היא הרגולריזציה ו-<math>\lambda</math> הוא פרמטר נלמד שמתאר את עוצמת ההשפעה של הרגולריזציה. הוספת הרגולריזציה מתאימה את הפונקציה הנלמדת לעיקרון [[תערו של אוקאם|התער של אוקאם]], שמעדיף פונקציות פשוטות יותר על פני פונקציות מורכבות. רגולריזציה תורמת להקטנת שגיאת ההכללה באמצעות מניעת [[התאמת יתר|התאמת-יתר]] לנתונים.

== הערכת ביצועים ==
{{ערך מורחב|מדדי הערכה למסווג דו-ערכי}}
בתום אימון המערכת נהוג להעריך את ביצועיה כדי לבדוק את טיב ההיפותזה שנלמדה. בדרך כלל משתמשים ב[[מדדי הערכה למסווג דו-ערכי|הערכות סטטיסטיות]] מגוונות, אך תמיד נהוג להציג את אחוזי הדיוק של המודל על סט הבדיקה ואת ערך פונקציית ההפסד שלו. להערכה בעלת משמעות נהוג להשתמש במדדי [[ערך ניבוי חיובי]] (Precision) ו[[רגישות (מדד)|רגישות]] (Recall), שמייצגים את כמות הדוגמאות שהן באמת חיוביות מתוך כל אלו שסווגו כחיוביות, ואת כמות הדוגמאות שסווגו כחיוביות מתוך כל הדוגמאות החיוביות בעולם. למשל, אם המודל לומד לחזות תוצאות של [[בדיקת קורונה|בדיקות קורונה]] על פי סימפטומים, ה-Precision מייצג את אחוז האנשים שהם באמת חיוביים לנגיף מתוך אלו שהמודל סיווג כחיוביים, וה-Recall מייצג את אחוז האנשים שהמודל אמר שהם חיוביים לנגיף, מתוך אלו שהם באמת חיוביים. שימוש נפוץ נעשה גם במדד משוקלל של שני אלו – [[מדדי_הערכה_למסווג_דו-ערכי#מדד_F|מדד F1]], שהוא ממוצע הרמוני של שני המדדים.<ref name=":2" /><ref>{{צ-מאמר|מחבר=Kwetishe Joro Danjuma|שם=Performance Evaluation of Machine Learning Algorithms in Post-operative Life Expectancy in the Lung Cancer Patients|קישור=https://arxiv.org/ftp/arxiv/papers/1504/1504.04646.pdf}}</ref>

== בחירת האלגוריתם ==
ישנו מגוון רחב של [[אלגוריתם|אלגוריתמי]] למידה מונחית, ולכל אחד מהם יש יתרונות וחסרונות. כאשר נרצה לפתור בעיה מסוימת באמצעות אלגוריתם למידה, נצטרך לבחור את האלגוריתם המתאים ביותר לבעיה, תוך התייחסות למספר קריטריונים. נשים לב לכך שאין אלגוריתם למידה יחיד שעובד בצורה הטובה ביותר בעבור כל בעיות הלמידה המונחית (לפי משפט "אין ארוחות חינם" שאומר שלא קיים אלגוריתם המסוגל ללמוד כל פונקציה כאשר כמות הדוגמאות מוגבלת).{{הערה|1={{קישור כללי|כתובת=http://www.no-free-lunch.org/|הכותב=|כותרת=משפט "אין ארוחות חינם"|אתר=|תאריך=}}|כיוון=ימין}}

כאשר עולה הצורך לבחור אלגוריתם ללמידה מונחית, ה[[מתכנת]] יוכל להשוות מספר אלגוריתמים, ולקבוע באופן נסיוני את האלגוריתם המתאים ביותר לצורך הספציפי. לאחר בחירת האלגוריתם, יצטרך המתכנת לכוונן את ה[[פרמטר]]ים השונים שלו בהתאם להתנהגות הרצויה – משימה שעשויה להיות מאתגרת. לעיתים קרובות יתקבל שיפור ביצועים גדול יותר בעקבות איסוף דוגמאות אימון נוספות ובחירת תכונות [[מידע|אינפורמטיביות]] יותר, מאשר השיפור שיתקבל לאחר ניסיון כוונון הפרמטרים של אלגוריתמי הלמידה.

כדי לבחור אלגוריתם למידה מונחית, יש להתייחס למספר סוגיות אפשריות.

=== הטרייד-אוף בין ההטיה (bias) לבין השונות (variance) ===
הסוגיה הראשונה היא הטרייד-אוף בין ההטיה לבין ה[[שונות]] {{אנ|Bias–variance tradeoff}}.<ref>{{צ-מאמר|מחבר=S. German, E. Bienenstock and R. Doursat|שם=Neural networks and the bias/variance dilemma|כתב עת=|קישור=http://delta-apache-vm.cs.tau.ac.il/~nin/Courses/NC06/VarbiasBiasGeman.pdf|שנת הוצאה=1992}}</ref> נניח שיש לנו מספר מאגרי מידע שניתן להשתמש בהם לאימון, כאשר כולם טובים באותה המידה. נאמר שלאלגוריתם למידה יש '''הטיה גבוהה''' בעבור קלט מסוים <math>x</math> אם כאשר מאמנים אותו על כל אחד ממאגרי המידע הללו, הוא ייתן פלט שגוי באופן שיטתי בעבור <math>x</math>. נאמר שלאלגוריתם למידה יש '''שונות גבוהה''' בעבור קלט מסוים <math>x</math> אם כאשר מאמנים אותו על מאגרי מידע שונים, הפלט של האלגוריתם בעבור <math>x</math> משתנה עם שינוי סט האימון. שגיאת החיזוי של מסווג נלמד תלויה הן בהטיה של אלגוריתם הלמידה והן בשונות שלו.<ref>{{צ-מאמר|מחבר=G. James|שם=Variance and bias for general loss functions|כתב עת=|קישור=http://faculty.marshall.usc.edu/gareth-james/Research/bv.pdf|שנת הוצאה=2003}}</ref>

ככלל, קיים טרייד-אוף בין הטיה לבין שונות. אלגוריתם למידה בעל הטיה נמוכה צריך להיות "גמיש" כדי שיתאים היטב לנתונים. אך אם אלגוריתם הלמידה יהיה גמיש יתר על המידה, הוא יתאים את עצמו לכל סט אימון בצורה שונה, ולכן נוכל לומר עליו שיש לו שונות גבוהה. אלגוריתמי למידה מונחית רבים מאפשרים לשלוט על הטרייד-אוף בין השונות לבין ההטיה – חלקם באופן אוטומטי, וחלקם בצורה ידנית באמצעות העברת פרמטר על ידי המשתמש.

=== למידת פונקציות מורכבות ===
סוגיה נוספת היא הקושי בלמידת [[פונקציה|פונקציות]] מורכבות בהינתן סט אימון בגודל סופי שלא מייצג את המידע כולו. פעמים רבות מאגרי המידע מכילים מידע מוגבל מכיוון שקשה לבנות סט גדול שמכיל דוגמאות מתויגות. הפונקציה האמיתית שמתארת את התפלגות הנתונים שאותה אנו רוצים ללמוד, יכולה להילמד במדויק רק אם האלגוריתם יקבל את כל ה[[קלט]]ים האפשריים בזמן האימון. הדבר אינו אפשרי, ולכן קיים טרייד-אוף בין מספר הדוגמאות שהאלגוריתם יראה בשלב האימון, לבין יכולת ההתאמה שלו לפוקנציה שמתארת את הנתונים במדויק. אם הפונקציה האמיתית היא פשוטה, אז אלגוריתם למידה "לא גמיש" עם הטיה גבוהה ושונות נמוכה יוכל ללמוד אותו גם אם יצפה בכמות קטנה של נתונים בשלב האימון. אך אם הפונקציה האמיתית היא פונקציה מורכבת (למשל פונקציות שכוללות אינטראקציות מורכבות בין מספר תכונות שונות של הקלט, או פונקציות שמתנהגות באופן שונה בחלקים שונים של מרחב הקלט), אלגוריתם הלמידה יצליח להתאים את עצמו אליה רק באמצעות למידה מכמות גדולה מאוד של נתוני אימון. כמו כן, כדי שאלגוריתם יוכל להתאים את עצמו לפונקציה מסובכת שכזו, הוא צריך להיות "גמיש", כלומר עם הטיה נמוכה ושונות גבוהה.

=== מימד מרחב הקלט ===
הסוגיה השלישית היא ה[[ממד (אלגברה ליניארית)|מימד]] של מרחב הקלט. בעיית הלמידה עשויה להפוך למאתגרת יותר ככל שהמימד של וקטורי התכונות גדל (ראו {{קישור שפה|אנגלית|Curse of dimensionality|קללת המימד}}), גם אם הפונקציה האמיתית שמייצגת את המידע תלויה רק במספר קטן מהתכונות הללו. הסיבה לכך היא שהממדים העודפים יכולים לבלבל את אלגוריתם הלמידה, להגדיל את מרחב הטעויות האפשריות שלו, וכתוצאה מכך להגדיל את השונות שלו. לפיכך, קלט בעל וקטורים ממימד גבוה דורש כוונון של המסווג כך שתהיה לו שונות נמוכה, והטיה גבוהה. בפועל, ניתן להתמודד עם הבעיה על ידי הסרה ידנית של תכונות לא רלוונטיות מנתוני הקלט. בנוסף, קיימים אלגוריתמים (למשל, אלגוריתם [[ניתוח גורמים ראשיים|PCA]]) שיודעים להקטין את מימד הקלט באמצעות הסרת תכונות לא רלוונטיות מוקטור התכונות. במקרה הכללי, [[הורדת ממד|הורדת מימד]] עשויה לשפר את הדיוק של הפונקציה הנלמדת, אך מנגד היא גוזרת שימוש בפחות פיצ'רים ועשויה לגרום לקושי בתיאור המדויק של הקלט.<ref>{{צ-מאמר|מחבר=S.Velliangiri, S.Alagumuthukrishnan, S IwinThankumar joseph|שם=A Review of Dimensionality Reduction Techniques for Efficient Computation|קישור=https://www.sciencedirect.com/science/article/pii/S1877050920300879}}</ref>

=== רעש בערכי הפלט ===
[[קובץ:Overfitting.svg|טקסט=התאמת יתר של פונקציה לנתונים|ממוזער|דוגמה להתאמת יתר. הצבעים השונים של הנתונים מייצגים שייכות לקבוצות שונות (סיווג רצוי שונה), והקו הירוק מתאר התאמת יתר לנתונים הללו. הקו השחור מתאר התאמה טובה.]]
נבחין כי לעיתים ייתכנו רעשים בערכי הפלט שמוזנים לאלגוריתם בזמן האימון (למשל עקב שגיאות מדידה). במקרים כאלו, נרצה שאלגוריתם הלמידה לא ילמד את הרעש, ולא ימצא פונקציה שתתאים בדיוק לדוגמאות האימון. ניסיון להתאים את הנתונים בצורה מדויקת עשוי להוביל ל[[התאמת יתר]]. ניתן להגיע למצב של התאמת יתר גם כשאין רעש, אם הפונקציה שמנסים ללמוד מורכבת מדי בעבור המודל. בשני המקרים, הקטנה של השונות והגדלה של הטיית המודל עשויים להיטיב עם התוצאות.

ישנן מספר גישות למניעת [[התאמת יתר]]. הגישה הראשונה היא עצירה מוקדמת של אימון המודל, וגישה נוספת גורסת כי יש לאתר את דוגמאות האימון הרועשות לפני אימון האלגוריתם, ולהסיר אותן. ישנם מספר אלגוריתמים המזהים דוגמאות רועשות או חריגות לפני תחילת האימון, ויודעים להתעלם מהן.<ref>{{צ-מאמר|מחבר=C. E. Brodley, M. A. Friedl|שם=Identifying Mislabeled Training Data|כתב עת=Journal of Artificial Intelligence Research|קישור=https://jair.org/index.php/jair/article/view/10238|שנת הוצאה=1999}}</ref><ref>{{צ-מאמר|מחבר=M.R. Smith, T. Martinez|שם=Improving classification accuracy by identifying and removing instances that should be misclassified|כתב עת=|שנת הוצאה=2011|קישור=https://ieeexplore.ieee.org/document/6033571}}</ref> למודלים ספציפיים יש שיטות ייעודיות שנועדו להתמודד עם התאמת יתר. למשל, ב[[רשת עצבית מלאכותית|רשתות נוירונים]] שיטות נפוצות הן הוספת רגולריזציה, הוספת dropouts {{אנ|Dilution (neural networks)}} ושימוש ב-{{קישור שפה|אנגלית|Cross-validation (statistics)|Cross-validation}}.<ref>{{צ-מאמר|מחבר=Jan LarsenClaus SvarerLars Nonboe AndersenLars Kai Hansen|שם=Adaptive Regularization in Neural NetworkModeling|כתב עת=Neural Networks: Tricks of the Trade|קישור=https://link.springer.com/chapter/10.1007/978-3-642-35289-8_8|שנת הוצאה=2012}}</ref><ref>{{צ-מאמר|מחבר=Srivastava, Nitish and Hinton, Geoffrey and Krizhevsky, Alex and Sutskever, Ilya and Salakhutdinov, Ruslan|שם=Dropout: a simple way to prevent neural networks from overfitting|קישור=https://dl.acm.org/doi/10.5555/2627435.2670313|שנת הוצאה=2014}}</ref> בעצים נשתמש ב[[עץ החלטה#גיזום|גיזום]] - החלפת חלק מהצמתים בעץ בעלים שסיווגם נקבע על פי רוב הדוגמאות ששייכות לתת העץ שתחת אותו הצומת.

=== הטיה של מאגר הנתונים ===
לעיתים המאגר הקיים מכיל דוגמאות רבות ששייכות למחלקה אחת ומעט דוגמאות ששייכות לאחרת, גם כאשר בעולם אין הטיה כזו. במקרה כזה, אלגוריתם סיווג יהיה מוטה באופן טבעי כלפי המחלקה שיש ממנה הרבה דוגמאות, ויהיה פחות מדויק בעבור דוגמאות ששייכות למחלקה השנייה. דוגמה לכך היא אימון של מערכת זיהוי פנים באמצעות מאגר שמכיל תמונות רבות של גברים לבנים, ומעט תמונות של אוכלוסיות שונות. במקרה שבדוגמה, האלגוריתם ידע להבחין בצורה טובה בסימנים המייחדים גבר לבן, אך יהיה פחות מדויק בעבור נשים אסיאתיות או בעבור כל קהל אחר שהאלגוריתם לא אומן על מספיק דגימות שנלקחו ממנו.

בשביל להתמודד עם הטיה מהסוג הזה כדאי לנסות לאמן את האלגוריתם על קבוצות שמכילות כמות זהה של אובייקטים מכל קבוצה, או אם הדבר אפשרי, לייצר דגימות נוספות מהסוג שקיים פחות במאגר.<ref>{{קישור כללי|כתובת=https://www.datanami.com/2018/07/18/three-ways-biased-data-can-ruin-your-ml-models/|הכותב=Alex Woodie|כותרת=Three Ways Biased Data Can Ruin Your ML Models|תאריך=18 ביולי 2018}}</ref><ref>{{קישור כללי|כתובת=https://www.explorium.ai/blog/data-bias-and-what-it-means-for-your-machine-learning-models/|כותרת=Data Bias and What it Means for Your Machine Learning Models|תאריך=14 באפריל 2020}}</ref>

=== מבנה וקטורי התכונות של הנתונים ===
==== הטרוגניות התכונות ====
[[הומוגניות והטרוגניות|הטרוגניות]] של התכונות השונות בוקטור התכונות עשויה להשפיע על בחירת האלגוריתם. וקטורי תכונות מגוונים, שכוללים סוגים שונים של פיצ'רים, יגררו שימוש פשוט יותר באלגוריתמים מסוימים על פני אחרים. אלגוריתמי למידה מונחית רבים דורשים שתכונות הקלט תהיינה מספריות ומנורמלות לטווח אחיד (למשל <math>[-1, 1]</math>). בין האלגוריתמים הללו ניתן למנות את [[מכונת וקטורים תומכים|SVM]], [[רגרסיה ליניארית]], [[רגרסיה לוגיסטית]], [[רשת עצבית מלאכותית|רשתות נוירונים]] ו-[[אלגוריתם שכן קרוב|k-NN]]. אלגוריתמים המשתמשים בחישוב מרחק, כמו k-NN, רגישים במיוחד לנרמול הנתונים. אלגוריתמים אחרים, כמו [[עץ החלטה|עצי החלטה]], לא מושפעים מהטרוגניות של הנתונים, ומטפלים במקרים כאלו בצורה טובה.

==== יתירות של תכונות ====
קיום של מידע מיותר בוקטורי התכונות של הקלט – למשל אם ישנן תכונות בעלות [[מתאם|קורלציה]] גבוהה – יגרום לכך שאלגוריתמי למידה מסוימים (כגון [[רגרסיה ליניארית]]) יתפקדו בצורה לא מספיק טובה. לעיתים קרובות ניתן לפתור בעיות כאלו על ידי {{קישור שפה|אנגלית|Regularization (mathematics)|רגולריזציה}}.

==== קיום אינטראקציות בין תכונות ====
במקרה של קיום של [[אינטראקציה|אינטראקציות]] מורכבות בין תכונות, אלגוריתמים כמו [[עץ החלטה לומד|עצי החלטה]] [[רשת עצבית מלאכותית|ורשתות נוירונים]] יתאימו יותר לשימוש, מכיוון שהמימוש שלהם מתבסס על קיום אינטראקציות והם מתוכננים במיוחד בשביל לעמוד במשימות מהסוג המדובר. אם כל אחת מהתכונות היא עצמאית, אז אלגוריתמים המבוססים על [[פונקציה ליניארית|פונקציות ליניאריות]] או אלגוריתמים המבוססים על [[מטריקה|פונקציות מרחק]] יתנו בדרך כלל ביצועים טובים.

==אלגוריתמים מוכרים בתחום==
אלגוריתמי למידה מונחית נמצאים בשימוש נרחב וישנם סוגים רבים של אלגוריתמים כאלו.

=== רשתות נוירונים ===
{{ערך מורחב|רשת עצבית מלאכותית}}

רשתות נוירונים הן משפחה ענפה של מודלים מתמטיים שפותחו בהשראת המבנה של רשתות נוירונים במוח, כדי ללמוד ביצוע של משימות שמוח אנושי מסוגל ללמוד בקלות, אך מחשב יתקשה בלמידה שלהן. רשתות נוירונים מאפשרות לנו לקרב פונקציות מסובכות בצורה טובה, ולכן הן בדרך כלל מצליחות למדל משימות מורכבות באופן מדויק יותר בהשוואה למודלים אחרים. דוגמאות לבעיות שרשתות נוירונים יכולות ללמוד הן למידת מודלים של [[שפה טבעית]], [[מערכת זיהוי תווי פנים|זיהוי פנים]], [[זיהוי ממוחשב של כתב יד|זיהוי כתב יד]], [[מערכת זיהוי דיבור|זיהוי דיבור]], [[עיבוד תמונה]], ועוד.

=== אלגוריתם שכן קרוב (k-NN) ===
{{ערך מורחב|אלגוריתם שכן קרוב}}
משפחת אלגוריתמים שמסווגים דוגמה חדשה באמצעות השוואה שלה לדוגמאות הקרובות לה ביותר ממרחב האימון.

=== עצי החלטה ===
{{ערך מורחב|עץ החלטה}}
משפחה של אלגוריתמים שבונים [[עץ בינארי]] מלא שבכל צומת שלו נבדק תנאי, ובהתאם לתשובה על התנאים נקבע הסיווג של דוגמה בודדת.

=== אלגוריתמים נוספים ===
ישנם אלגוריתמים רבים שנכללים בקטגוריית אלגוריתמי למידה מונחית, וביניהם [[רגרסיה ליניארית]], [[רגרסיה מקומית]] ו[[רגרסיה לוגיסטית]], [[אלגוריתם גנטי|אלגוריתמים גנטיים]], [[מכונת וקטורים תומכים]] (SVM) ועוד.

== הכללות ==
ישנן מספר דרכים שבהן ניתן להכליל את בעיית הלמידה המונחית הסטנדרטית:
* '''למידה מונחית למחצה''': בהגדרה זו, ערכי הפלט הרצויים ניתנים רק בעבור חלק מנתוני האימון. הנתונים הנותרים אינם מתויגים.<ref>{{צ-מאמר|מחבר=Mohamed Farouk Abdel Hady, Friedhelm Schwenker|שם=Semi-supervised Learning|כתב עת=Handbook on Neural Information Processing|קישור=https://link.springer.com/chapter/10.1007/978-3-642-36657-4_7|שנת הוצאה=2013}}</ref>
* '''הנחיה חלשה''': במצבים שבהם קשה למצוא נתונים מתוייגים כדי להשתמש בהם בתור סט-אימון, ניתן להשתמש בתיוגים שמגיעים ממקורות רועשים או לא מדויקים על מנת לאמן את המודל.
* '''למידה פעילה''': במקום שכל דוגמאות האימון תינתנה לאלגוריתם בהתחלה, אלגוריתמי למידה פעילה אוספים באופן אינטראקטיבי דוגמאות חדשות, בדרך כלל על ידי ביצוע שאילתות למשתמש אנושי.
* '''חיזוי מובנה''': כאשר ערך הפלט הרצוי של המודל הוא אובייקט מורכב, למשל עץ או גרף, השיטות הסטנדרטיות לא מספיקות ויש להרחיב אותן.
* '''למידה של דירוג''': כאשר המודל נדרש ללמוד דירוג של קבוצת אובייקטים, נצטרך להרחיב את השיטות הסטנדרטיות. מודלים מהסוג הזה משמשים במקומות רבים וביניהם [[מנוע חיפוש|מנועי חיפוש]].<ref>{{צ-מאמר|מחבר=D. Sculley|שם=Large Scale Learning to Rank|קישור=https://storage.googleapis.com/pub-tools-public-publication-data/pdf/35662.pdf}}</ref>

==ראו גם==
*[[למידה בלתי מונחית]]
*[[למידת PAC]]
*[[למידת חיזוק]]
*[[מטריצת בלבול]]

== הערות שוליים ==
{{הערות שוליים|יישור=שמאל}}

{{ערך טוב}}
{{בינה מלאכותית}}

{{בקרת זהויות}}

[[קטגוריה:למידת מכונה]]