הצגת המקור של הדף "רשת עצבית מלאכותית"

[[קובץ:Artificial neural network.svg|ממוזער|250px|[[תרשים]] המדגים את אופן הפעולה של רשת עצבית מלאכותית.]]
'''רשת עֲצַבִּית מלאכותית''' ('''ANN''' – '''A'''rtificial '''N'''eural '''N'''etwork), '''רשת נוירונים''' או '''רשת קשרית''', היא [[מודל מתמטי]] [[חישוביות|חישובי]], שפותח בהשראת תהליכים [[מוח]]יים או [[קוגניטיבי]]ים המתרחשים ב[[רשת עצבית]] טבעית ומשמש במסגרת [[למידת מכונה]]. רשת מסוג זה מכילה בדרך כלל מספר רב של יחידות מידע ([[קלט]] ו[[פלט]]) המקושרות זו לזו, קשרים שלעיתים קרובות עוברים דרך יחידות מידע "חבויות" (Hidden Layer). צורת הקישור בין היחידות, המכילה מידע על חוזק הקשר, מדמה את אופן חיבור ה[[נוירון|נוירונים]] במוח. השימוש ברשתות עצביות מלאכותיות נפוץ בעיקר ב[[מדעים קוגניטיביים]], ובמערכות [[תוכנה]] שונות – בהן: מערכות רבות של [[אינטליגנציה מלאכותית]] המבצעות משימות מגוונות – [[זיהוי תווים אופטי|זיהוי תווים]], [[מערכת זיהוי תווי פנים|זיהוי פנים]], [[זיהוי כתב יד]], חיזוי [[שוק ההון]], [[מערכת זיהוי דיבור]], זיהוי תמונה, [[כריית טקסט|ניתוח טקסט]] ועוד.

==רקע==
{{הפניה לערך מורחב|רשת עצבית}}
רשת עצבית היא רשת של [[מעבד]]ים מקושרים: כל מעבד ברשת מסוגל לבצע פעולה מתמטית פשוטה, אך בהיקשרם יחד הם מסוגלים להתנהגות מורכבת.
[[קובץ:painty1.png|ממוזער|250px|רשת עצבית טיפוסית]]
במוח, [[תא עצב|תאי עצב]] או נוירונים הם התאים שמהם מורכבת מערכת העצבים, ויש כמאה מיליארד מהם אצל אדם ממוצע. כל אחד מהם התפתח להיות מעבד אלקטרוני. ה[[דנדריט|דֶנדריטים]] מקבלים מידע מהעולם החיצון ומהווים את מערכת הקלט של הנוירון. כשמתקבלים מספיק גירויים בדנדריטים, גוף התא מייצר אות חשמלי שנע לאורך ה[[אקסון (סיב עצבי)|אַקסוֹן]] לדנדריטים של תאים אחרים או לשרירים ומגרה אותם. ככל שהנוירונים מקבלים יותר גירויים מהדנדריטים, הם מייצרים יותר אותות חשמליים בשנייה אחת.
[[קובץ:painty3.png|ממוזער|250px|כיצד נוירון מעבד מידע]]

ההבדל העיקרי ביותר בין רשת עצבית ביולוגית לבין רשת עצבית מלאכותית הוא שמחשבים פועלים בעיקר ב[[עיבוד טורי]], או עם כמות קטנה של [[עיבוד מקבילי]], ואילו מוחות של יצורים פועלים בעיבוד מקבילי. על פי [[התזה של צ'רץ' וטיורינג]], המודל שקול ל[[מכונת טיורינג]], (כיוון שכל חישוב שיכול להעשות בידי מחשב מקבילי יכול להעשות גם בידי מחשב טורי).

ישנם עוד כמה הבדלים חשובים בין רשתות עצביות במוח לרשתות מלאכותיות. במוח יש מספר עצום של מרכיבים (בערך 10<sup>11</sup>), שכל אחד מהם מחובר למרכיבים רבים (בין 1,000 ל־10,000 בממוצע).{{הערה|{{צ-ספר|מחבר=Kandel ER, Schwartz JH, Jessell TM, Siegelbaum SA, Hudspeth AJ|שם=Principles of neural science (fifth edition)|מו"ל=McGraw-Hill Health Professions Division|שנת הוצאה=2000}}}} כל אחד מהמרכיבים האלה מבצע חישוב פשוט למדי, שטבעו עדיין אינו ברור לחלוטין, יחסית באיטיות (פחות מ[[הרץ|קילוהרץ]] אחד), המבוסס בעיקר על מידע שהוא מקבל מהחיבורים המקומיים שלו. במערכות מלאכותיות, תאי העצב מחוברים ביניהם באופן אחיד, וכולם מבצעים את אותה הפעולה החישובית. לכל חיבור מיוחס משקל מספרי כלשהו. הפלט של כל תא הוא ערך מספרי יחיד, שמחושב כתוצאה של סכום הפעולות של תאי הקלט והמשקל היחסי שלהם. אפשר גם לחלק את רשתות תאי העצב לשתי קבוצות שונות, בעלות למידה מונחית או לא מונחית. רשתות מונחות, כמו ה[[פרספטרון]], משתמשות ב[[למידת מכונה|אלגוריתם למידה]] מונחה, כלומר שהמערכת צריכה לקלוט ולפלוט מידע בשלב הלמידה. לעומת זאת, רשתות לא מונחות, כמו [[רשת קוהונן]], מצריכות רק שמידע יקלט, ללא פלט. מערכות אלה מארגנות את המידע הנקלט בעצמן, על פי מדד דמיון.

== היסטוריה ==
{{להשלים|סיבה = פרק ההיסטוריה נפסק באמצע וחסר התפתחויות חשובות משנות האלפיים|נושא=מדע וטכנולוגיה}}

=== שנת 1943 – ההתפתחות מדע רשתות העצביות ===
בשנת [[1943]] פרסמו שני חוקרים אמריקאים, [[ורן מקלוך]] {{אנ|Warren McCulloch}} ו[[ולטר פיטס]]{{אנ|Walter Pitts}} מאמר,{{הערה|{{cite journal|last=McCulloch|first=Warren|author2=Walter Pitts|title=A Logical Calculus of Ideas Immanent in Nervous Activity|journal=Bulletin of Mathematical Biophysics|year=1943|volume=5|pages=115–133|doi=10.1007/BF02478259|issue=4}}}} שהיווה בסיס להתפתחותו של [[מדע הרשתות]] העצביות. המאמר הציע מודל פשוט של פעולת הנוירון, שעליו מבוססות הרשתות המלאכותיות עד היום:
[[קובץ:painty4.png|ממוזער|250px|דוגמה לנוירון מלאכותי בסיסי. ארבעה נתוני קלט, המסומנים ב: i<sub>1</sub> עד i<sub>4</sub>. אלו מייצגים את הדנדריטים ויכולים להיות מחוברים לעולם החיצון או לנוירונים אחרים. לקלט "משקל" יחסי, המבוטא על ידי משקולות המסומנות ב: w<sub>1</sub> עד w<sub>4</sub>. משקולות אלו מייצגות את עוצמת הקשרים בין הדנדריטים של נוירון אחד לגוף התא בנוירון אמיתי שני]]

הנוירון מקבל קלטים (נהוג לסמן ב־i), כשלכל אחד מהם משקל יחסי (נהוג לסמן ב־w). כל נתון נשקל על ידי הכפלתו במשקולת המתאימה לו, כאשר התוצאה מסכום הקלטים המשוקללים:

סכום = <math>\langle i, w \rangle = \sum _{j} i_j w_j = O</math>.

אם סכום זה (המהווה במובן הביולוגי את הגירוי הכולל המגיע לנוירון) גבוה מסף ידוע כלשהו, הנוירון מעביר פלט "1"; אם לא, הפלט הוא "0".

תהליך זה מזכיר פעולה של נוירון אמיתי, המפיק אות חשמלי כשהגירוי מספיק. [[קובץ:painty6.png|ממוזער|250px|שימוש בנוירון לזיהוי תבנית. ניתן לקודד את הפיקסלים הכהים ב־1 ואת הבהירים ב־0. כעת, אם נחבר את הנוירון שלנו כמוצג בשרטוט ב', הוא ייתן פלט "1" בכל פעם שיראה תבנית זו. גם אם התבנית אינה מושלמת – האחדים אינם בדיוק אחד, והאפסים אינם בדיוק אפס – הנוירון עדיין יזהה את התבנית (במקרה זה נאמר, כי הנוירון עמיד לרעש). אולם, אם נכניס תבנית שונה לחלוטין כמו זו המוצגת בשרטוט 6ג', הנוירון לא יזהה אותה.]]

סידור המשקולות מהותי לתפקוד הרשת. המשקולות הן אלו שקובעות מהי התבנית שתזוהה, וקביעתן היא המשימה המרכזית של תוכנית הרשת העצבית.

===שנת 1969 – נטישת הרשתות בעקבות מאמר על המגבלות ברשתות נוירונים===
בשנת 1969 פרסמו [[מרווין מינסקי]] ו[[סימור פפרט]] (Minsky and Papert) את ספרם "Perceptrons", שבו תקפו את הרעיונות העומדים מאחורי הרשתות העצביות. הספר הציג פגם בנוירון הבסיסי.<ref>{{צ-ספר|מחבר=Papert, Seymour; Minsky, Marvin Lee|שם=Perceptrons: an introduction to computational geometry|מקום הוצאה=Cambridge, Massachusetts|מו"ל=MIT Press|שנת הוצאה=1988|ISBN=978-0-262-63111-2|קישור=https://archive.org/details/perceptronsintro00mins}}</ref>

הבעיה הייתה זו: לא משנה אילו משקולות נשים על הקלט, לא נוכל ליצור את השער הלוגי Exclusive OR) [[XOR]]) עבור רשת עם שכבה יחידה. בנוסף טענו, שלמחשבים אין די כוח חישוב כדי להתמודד עם רשתות מורכבות. טיעונים אלו ונוספים עיכבו את המשך התפתחותן של הרשתות העצביות במשך שנים רבות. חוקרים רבים נטשו את התחום בחשבם כי אם הנוירון לא יכול לבצע משימה פשוטה זו, אין טעם בהמשך המחקר.

למעשה, מה שהיה נחוץ כדי להתגבר על בעיה זו ועל בעיות דומות לה הוא לא נוירון אחד, כי אם רשת של נוירונים, וה[[מתמטיקאי]] ה[[רוסיה|רוסי]] [[אנדריי קולמוגורוב]] כבר הראה כי רשת נוירונים ב־3 שכבות תוכל לפתור XOR.
[[קובץ:painty13.png|ממוזער|250px|נוירון יחיד אינו יכול לדַמוֹת שער XOR]]
[[קובץ:painty14.png|ממוזער|250px|רשת עצבית רב־שכבתית]]

=== שנת 1982 – עלייתן מחדש של רשתות הנוירונים בשנות השמונים ===
אף על פי שהפתרון היה ידוע, רק בשנים 1982–1983 התעורר שוב העניין במחקר הרשתות העצביות. בזמן זה, "אלגוריתם הפעפוע לאחור" זכה לפרסום נרחב.
[[קובץ:painty16.png|ממוזער|250px|דוגמה לרשת עצבית]]

===שנות האלפיים – למידה עמוקה===
רשתות עצביות מלאכותיות זכו לעדנה מחודשת החל מהעשור הראשון של שנות ה־2000. בתקופה זו החל שימוש פופולרי במושג "deep belief nets" ובקיצור '''רשתות עמוקות''' שנטבע במאמר המשפיע מ־2006 של [[ג'פרי הינטון|הינטון]], אוסינדרו וטה.{{הערה|שם=hinton06|{{Cite journal | last1 = Hinton | first1 = G. E. |authorlink1=Geoff Hinton| last2 = Osindero | first2 = S. | last3 = Teh | first3 = Y. W. | doi = 10.1162/neco.2006.18.7.1527 | title = A Fast Learning Algorithm for Deep Belief Nets | journal = [[Neural Computation]]| volume = 18 | issue = 7 | pages = 1527–1554 | year = 2006 | pmid = 16764513| pmc = | url = http://www.cs.toronto.edu/~hinton/absps/fastnc.pdf}}}} במסגרת [[למידה עמוקה]] נעשה נפוץ השימוש ברשתות עצביות מלאכותיות שבהן מספר שכבות חבויות. מאז 2012, כל המנצחות בתחרויות ראייה ממוחשבת גדולות בתחום [[זיהוי אובייקטים]], כגון תחרות [[ImageNet]], מבוססות על למידה עמוקה.{{הערה|[http://image-net.org/challenges/LSVRC/2016/index ImageNet Challenge]}} מאז שב-2012, "למידה עמוקה" הצליחה לשפר את אחוזי הדיוק בבעיות זיהוי עצמים, תחרות ImageNet, ארכיטקטורות הרשתות זכתה לתשומת לב רבה, הן באקדמיה והן בתעשייה.

==מבנה רשת עצבית ==
רשת נוירונים מורכבת ממספר רב של תאי בסיס, כך שכל תא בסיס מבצע חישוב פשוט יחסית. לכל תא מספר כניסות ויציאה אחת שערכה הוא פונקציה כלשהי של הכניסות. יציאה של תא מסוים יכולה להזין מספר כניסות של תאים שונים.

ישנם מודלים רבים של רשתות עצביות. המשותף לכולם הוא קיומן של יחידות עיבוד בדידות (המקבילה במודל לנוירונים הביולוגיים) הקשורות ביניהן בקשרים (בדומה לקשרים הקיימים בין הנוירונים הביולוגיים). הפרטים – מספר הנוירונים, מספר הקשרים, מבנה הרשת (סידור בשכבות, מספר השכבות) – משתנים ממודל למודל. מקובל להשתמש בכלים מתחום [[אלגברה ליניארית|האלגברה הליניארית]] כגון [[מטריצה|מטריצות]] ו[[וקטור (אלגברה)|וקטור]]ים על־מנת לייצג את הנוירונים והקשרים ביניהם. הפעולה שמבצע כל נוירון על הקלט שלו בדרך כלל מיוצגת על ידי [[פונקציה]].

רשת נוירונים מאופיינת על ידי:
*'''חיבורים''' – אופן החיבור בין הנוירונים ברשת
*'''משקלים''' – השיטה הקובעת את משקלי החיבורים בין הנוירונים
*[[פונקציית אקטיבציה|פונקציית האקטיבציה]], העשויה להיות שונה בכל שכבה (פונקציה לא ליניארית, לרוב logsig או [[סיגמואיד (מתמטיקה)|סיגמואיד]])
רשתות נוירונים מורכבות ממספר רב של יחידות עיבוד פשוטות הנקראות נוירונים, אשר מחוברות באופן היררכי ומובנות בשכבות. השכבה הראשונה נועדה לקלוט מידע לרשת, השכבה האמצעית ידועה כשכבה החבויה (במודלים שונים עשויים להיות יותר מאחת כזו), ולבסוף השכבה האחרונה אשר נועדה להחזיר את המידע המעובד כפלט. הצמתים בכל שכבה מחוברים באופן מלא לצמתים בשכבות הסמוכות באמצעות חיבור ישיר בין הנוירונים, כאשר לכל קשר קיים משקל מסוים. המשקל בכל קשר קובע עד כמה רלוונטי המידע שעובר דרכו, והאם על הרשת להשתמש בו על מנת לפתור את הבעיה. כל צומת בשכבת הקלט (השכבה הראשונה) מייצג תכונה שונה מהמבנה, ושכבת הפלטים מייצגת את הפתרון של הבעיה. בשכבה האמצעית והחיצונית קיימים "ערכי סף" הניתנים לכיול במערכת ממוחשבת, וקובעים את חשיבות הקשרים השונים,{{הערה|שם=Milam1999|1=Milam, 1999{{הבהרה|יש להשלים}}}}

ברשת ישנם שלושה סוגי שכבות:
# '''שכבת כניסה''' (Input Layer) – לכל תא בשכבה זו כניסה אחת. וקטור הכניסות הוא הקלט לרשת. מספר התאים: כמספר המאפיינים (Features). מומלץ לבצע מחקר בנוגע להשפעתם של המאפיינים השונים על השגיאה, הקשרים וההיררכיה ביניהם. [[כלל אצבע]] הוא כי המספר הכולל של המאפיינים לא יעלה על עשירית ממספר הדוגמאות בסדרת הלימוד.
# '''שכבות חבויות''' (Hidden Layers) – לכל תא בשכבה זו מספר כניסות, כמספר תאי הכניסה (Fully Connected). רשת נוירונים ללא שכבות חבויות מאוד מוגבלת והיא נקראת פרספטרון. מספר התאים: כמספר התאים בשכבת הכניסה בתוספת תא אחד או שניים. מספר השכבות: מ־0 ועד לאינסוף. בכל השכבות החבויות בדרך כלל אותו מספר תאים. מומלץ לבצע מחקר בנוגע להשפעתם של מספר התאים ומספר השכבות החבויות על השגיאה. מספר השכבות ומספר התאים מגדירים את גודל הרשת. יש לבחור רשת גדולה מספיק, אך לא גדולה מדי. רשת קטנה מדי לא תוכל לקרב בדיוק מספיק את המיפוי הנדרש, ואילו רשת גדולה מדי תמנע לימוד יעיל (זהו ה־Bias Trade Off). רשתות רב־שכבתיות אופייניות הן בעלות שכבה חבויה אחת או שתיים, ומספר הנוירונים בשכבות הנסתרות במקרים רבים אינו עולה על 10 (אלא אם כן קיימת חלוקה מודולרית למספר תת־רשתות). בעיות זיהוי תמונה בדרך כלל מאופיינות עם מספר שכבות גבוה מאוד (מאות שכבות). כוונון מספר הנוירונים ומבנה הרשת יעשה לרוב אמפירית, תוך שימוש בדוגמאות ולידציה (Validation) או באמצעות אימות־צולב (Cross Validation).
# '''שכבת יציאה''' (Output Layer) – לכל תא בשכבה זו מספר כניסות, כמספר תאי השכבה המוסתרת (Fully Connected). וקטור מוצאי התאים בשכבה זו הוא וקטור היציאה של הרשת. מספר התאים: כמספר ה־Classes.

===פונקציית אקטיבציה===
כמה מהתכונות שעשויות להיות שימושיות לפונקציית אקטיבציה:
* לא ליניארית – כאשר הפונקציה אינה ליניארית, ניתן להוכיח שרשת עצבית של שתי שכבות היא משערך אוניברסלי. פונקציית הזהות אינה מקיימת את תכונה זו. כאשר מספר שכבות משתמשות באקטיבציה של פונקציית זהות, הרשת שקולה למודל של שכבה אחת.
* [[פונקציה גזירה|גזירה ברציפות]] – זו תכונה רצויה המסייעת ל[[אופטימיזציה (מתמטיקה)|אופטימיזציה]] מבוססת גרדיאנט. פונקציה מדרגה בינארית אינה גזירה ב-0, והנגזרת שלה היא 0 עבור ערכים אחרים, ולכן שיטות מבוססות גרדיאנט עשויות להיתקע.
* טווח – כאשר הטווח של פונקציית האקטיבציה סופי, שיטות אימון מבוססות גרדיאנט נוטות להיות יציבות יותר, כי ייצוג התבנית מושפע מאוד ממשקולות מוגבלים. כאשר הטווח אינסופי, האימון בדרך כלל יעיל יותר כיוון שייצוג תבניות משפיע על רוב המשקולות.
* מונוטונית – כאשר פונקציית האקטיבציה היא מונוטונית, שטח השגיאה הקשור במודל עם שכבה יחידה מובטח להיות קמור.{{הערה|{{Cite journal|last=Wu|first=Huaiqin|title=Global stability analysis of a general class of discontinuous neural networks with linear growth activation functions|url=http://linkinghub.elsevier.com/retrieve/pii/S0020025509002539|journal=Information Sciences|volume=179|issue=19|pages=3432–3441|doi=10.1016/j.ins.2009.06.006|year=2009}}}}
* קרובות לזהות ליד נקודת הראשית – כאשר פונקציית האקטיבציה ניחנת בתכונה זו, הרשת לומדת ביעילות כאשר המשקולות מאותחלים לערכים אקראיים קטנים. כאשר תכונה זו לא מתקיימת בפונקציית האקטיבציה, נדרשת תשומת לב באתחול ערכי המשקולות. בטבלה שלהלן, פונקציות אקטיבציה שבהן <math>f(0)=0</math> וגם <math>f'(0)=1</math> וגם <math>f'</math> רציפה ב-0 מופיע סימון הרומז על קיום תכונה זו.

הטבלה הבאה משווה את התכונות של מספר פונקציות אקטיבציה:
{| class="wikitable sortable" style="font-size:80%;"
|-
! שם
! איור
! משוואה
! [[נגזרת]] (ביחס ל ''x'')
! [[קטע (מתמטיקה)|טווח]]
! [[פונקציה חלקה]]
! [[פונקציה מונוטונית|מונוטונית]]
! נגזרת מונוטונית
! קרובות לזהות ליד הראשית
|-
| [[פונקציית הזהות|זהות]]
| [[קובץ:Activation identity.svg]]
| <math>f(x)=x</math>
| <math>f'(x)=1</math>
| <math>(-\infty,\infty)</math>
| <math>C^\infty</math>
| {{כן}}
| {{כן}}
| {{כן}}
|-
| [[פונקציית מדרגה|מדרגה]]
| [[קובץ:Activation binary step.svg]]
| <math>f(x) = \begin{cases}
	0 & \text{for } x < 0\\
	1 & \text{for } x \ge 0\end{cases}</math>
| <math>f'(x) = \begin{cases}
	0 & \text{for } x \ne 0\\
	? & \text{for } x = 0\end{cases}</math>
| <math>\{0,1\}</math>
| <math>C^{-1}</math>
| {{כן}}
| {{לא}}
| {{לא}}
|-
| [[פונקציה לוגיסטית|לוגיסטית]] (או סיגמואיד)
| [[קובץ:Activation logistic.svg]]
| <math>f(x)=\sigma(x)=\frac{1}{1+e^{-x}}</math>{{ביאור|הסימון <math>\sigma</math> הוא [[פונקציה לוגיסטית]].|שם=logistic}}
| <math>f'(x)=f(x)(1-f(x))</math>
| <math>(0,1)</math>
| <math>C^\infty</math>
| {{כן}}
| {{לא}}
| {{לא}}
|-
| [[פונקציות היפרבוליות|TanH]]
| [[קובץ:Activation tanh.svg]]
| <math>f(x)=\tanh(x)=\frac{(e^{x} - e^{-x})}{(e^{x} + e^{-x})}</math>
| <math>f'(x)=1-f(x)^2</math>
| <math>(-1,1)</math>
| <math>C^\infty</math>
| {{כן}}
| {{לא}}
| {{כן}}
|-
| [[פונקציות טריגונומטריות הפוכות|ArcTan]]
| [[קובץ:Activation arctan.svg]]
| <math>f(x)=\tan^{-1}(x)</math>
| <math>f'(x)=\frac{1}{x^2+1}</math>
| <math>\left(-\frac{\pi}{2},\frac{\pi}{2}\right)</math>
| <math>C^\infty</math>
| {{כן}}
| {{לא}}
| {{כן}}
|-
| Softsign{{הערה|{{Cite web|url=http://www.iro.umontreal.ca/~lisa/publications2/index.php/attachments/single/205|title=Quadratic polynomials learn better image features". Technical Report 1337|last=Bergstra|first=James|last2=Desjardins|first2=Guillaume|date=2009|website=Département d’Informatique et de Recherche Opérationnelle, Université de Montréal|archive-url=https://web.archive.org/web/20180925121919/http://www.iro.umontreal.ca/~lisa/publications2/index.php/attachments/single/205|archive-date=2018-09-25|access-date=|last3=Lamblin|first3=Pascal|last4=Bengio|first4=Yoshua|url-status=dead}}}}{{הערה|{{Citation|contribution-url=http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf|contribution=Understanding the difficulty of training deep feedforward neural networks|last=Glorot|first=Xavier|last2=Bengio|first2=Yoshua|date=2010|title= International Conference on Artificial Intelligence and Statistics (AISTATS'10) |publisher=Society for Artificial Intelligence and Statistics|archive-url=|archive-date=|access-date=}}}}
| [[קובץ:Activation softsign.svg|120px]]
| <math>f(x)=\frac{x}{1+|x|}</math>
| <math>f'(x)=\frac{1}{(1+|x|)^2}</math>
| <math>(-1,1)</math>
| <math>C^1</math>
| {{כן}}
| {{לא}}
| {{כן}}
|-
| Rectified linear unit {{כ}}(ReLU){{הערה|{{Citation|last=Nair|first=Vinod|last2=Hinton|first2=Geoffrey E.|date=2010|contribution=Rectified Linear Units Improve Restricted Boltzmann Machines|contribution-url=http://dl.acm.org/citation.cfm?id=3104322.3104425|title=27th International Conference on International Conference on Machine Learning|series=ICML'10|location=USA|publisher=Omnipress|pages=807–814|isbn=9781605589077}}}}
| [[קובץ:Activation rectified linear.svg]]
| <math>f(x) = \begin{cases}
	0 & \text{for } x < 0\\
	x & \text{for } x \ge 0\end{cases}</math>
| <math>f'(x) = \begin{cases}
	0 & \text{for } x < 0\\
	1 & \text{for } x \ge 0\end{cases}</math>
| <math>[0,\infty)</math>
| <math>C^0</math>
| {{כן}}
| {{כן}}
| {{לא}}
|-
| Parameteric rectified linear unit {{כ}}(PReLU)
| [[קובץ:Activation prelu.svg]]
| <math>f(\alpha,x) = \begin{cases}
	\alpha x & \text{for } x < 0\\
	x & \text{for } x \ge 0\end{cases}</math>
| <math>f'(\alpha,x) = \begin{cases}
	\alpha & \text{for } x < 0\\
	1 & \text{for } x \ge 0\end{cases}</math>
| <math>(-\infty,\infty)</math>{{ביאור|בהנחה ש-<math>\alpha > 0</math>.}}
| <math>C^0</math>
| {{חלקי|כן [[אם ורק אם]] <math>\alpha \geq 0</math>}}
| {{כן}}
| {{חלקי|כן [[אם ורק אם]] <math>\alpha = 1</math>}}
|-
| Randomized leaky rectified linear unit {{כ}}(RReLU)
| [[קובץ:Activation prelu.svg]]
| <math>f(\alpha, x) = \begin{cases}
	\alpha x & \text{for } x < 0\\
	x & \text{for } x \ge 0\end{cases}</math>{{ביאור|1={{mvar|&alpha;}} הוא משתנה סטוכסטי הנדגם מ[[התפלגות אחידה רציפה]] בזמן האימון ומקובע ל[[תוחלת]] של ההתפלגות בזמן הבדיקה.}}
| <math>f'(\alpha, x) = \begin{cases}
	\alpha & \text{for } x < 0\\
	1 & \text{for } x \ge 0\end{cases}</math>
| <math>(-\infty,\infty)</math>
| <math>C^0</math>
| {{כן}}
| {{כן}}
| {{לא}}
|-
| Exponential linear unit {{כ}}(ELU)
| [[קובץ:Activation elu.svg]]
| <math>f(\alpha,x) = \begin{cases}
	\alpha(e^x - 1) & \text{for } x < 0\\
	x & \text{for } x \ge 0\end{cases}</math>
| <math>f'(\alpha,x) = \begin{cases}
	f(\alpha,x) + \alpha & \text{for } x < 0\\
	1 & \text{for } x \ge 0\end{cases}</math>
| <math>(-\alpha,\infty)</math>
| <math>\begin{cases}
C_ 1
& \text{when }
\alpha=1
\\
C_0 & \text{otherwise }
\end{cases}
</math>
| {{חלקי|כן [[אם ורק אם]] <math>\alpha \geq 0</math>}}
| {{חלקי|כן [[אם ורק אם]] <math>0 \leq \alpha \leq 1</math>}}
| {{חלקי|כן [[אם ורק אם]] <math>\alpha = 1</math>}}
|-
| Scaled exponential linear unit {{כ}}(SELU){{הערה|{{Cite journal|last=Klambauer|first=Günter|last2=Unterthiner|first2=Thomas|last3=Mayr|first3=Andreas|last4=Hochreiter|first4=Sepp|date=2017-06-08|title=Self-Normalizing Neural Networks|journal=Advances in Neural Information Processing Systems |volume=30|issue=2017|arxiv=1706.02515 |bibcode=2017arXiv170602515K}}}}
| <!-- [[קובץ:Activation selu.png]] -->
| <math>f(\alpha,x) = \lambda \begin{cases}
	\alpha(e^x - 1) & \text{for } x < 0\\
	x & \text{for } x \ge 0\end{cases}</math>
with <math>\lambda = 1.0507</math> and <math>\alpha = 1.67326</math>
| <math>f'(\alpha,x) = \lambda \begin{cases}
	\alpha(e^x) & \text{for } x < 0\\
	1 & \text{for } x \ge 0\end{cases}</math>
| <math>(-\lambda\alpha,\infty)</math>
| <math>C^0</math>
| {{כן}}
| {{לא}}
| {{לא}}
|-
| SoftPlus{{הערה|{{Cite web|url=http://proceedings.mlr.press/v15/glorot11a/glorot11a.pdf|title=Deep sparse rectifier neural networks|last=Glorot|first=Xavier|last2=Bordes|first2=Antoine|date=2011|website=International Conference on Artificial Intelligence and Statistics|archive-url=|archive-date=|access-date=|last3=Bengio|first3=Yoshua}}}}
| [[קובץ:Activation softplus.svg]]
| <math>f(x)=\ln(1+e^x)</math>
| <math>f'(x)=\frac{1}{1+e^{-x}}</math>
| <math>(0,\infty)</math>
| <math>C^\infty</math>
| {{כן}}
| {{כן}}
| {{לא}}
|}
{{ביאורים}}

הטבלה הבאה מרכזת פונקציות אקטיבציה שאינן פונקציות של משתנה {{mvar|x}} יחיד מהשכבה או השכבות הקודמות:

{| class="wikitable sortable"
|-
! שם
! משוואה
! נגזרת
! טווח
! פונקציה חלקה
|-
| [[Softmax]]
| <math>f_i(\vec{x}) = \frac{e^{x_i}}{\sum_{j=1}^J e^{x_j}}</math> for {{mvar|i}} = 1, …, {{mvar|J}}
| <math>\frac{\partial f_i(\vec{x})}{\partial x_j} = f_i(\vec{x})(\delta_{ij} - f_j(\vec{x}))</math>{{ביאור|כאשר <math>\delta_{ij}</math> מסמן את [[הדלתא של קרונקר]].}}
| <math>(0,1)</math>
| <math>C^\infty</math>
|-
| Maxout{{הערה|{{Cite journal|last=Goodfellow|first=Ian J.|last2=Warde-Farley|first2=David|last3=Mirza|first3=Mehdi|last4=Courville|first4=Aaron|last5=Bengio|first5=Yoshua|year=2013|title=Maxout Networks|journal=JMLR Workshop and Conference Proceedings |volume=28|issue=3|pages=1319–1327|arxiv=1302.4389 |bibcode=2013arXiv1302.4389G}}}}
| <math>f(\vec{x}) = \max_i x_i</math>
| <math>\frac{\partial f}{\partial x_j} = \begin{cases}
 1 & \text{for } j = \underset{i}{\operatorname{argmax}} \, x_i\\
	0 & \text{for } j \ne\underset{i}{\operatorname{argmax}} \, x_i\end{cases}</math>
| <math>(-\infty,\infty)</math>
| <math>C^0</math>
|}
{{ביאורים}}

===ארכיטקטורות רשת===
ארכיטקטורות רשת בולטות כוללות את "המשפחות" שלהלן:
[[קובץ:Typical cnn.png|ממוזער|395x395px|ארכיטקטורה טיפוסית של רשת CNN]][[קובץ:Long Short-Term Memory.svg|ממוזער|Long short-term memory unit]]
* [[רשת קונבולוציה]] – רשתות אלו מתאימות ללמידה של מידע שהוא {{קישור שפה|אנגלית|Translational symmetry|סימטריית העתקה|אינווריאנטי}} בזמן או במרחב והן מתאימות לעיבוד תמונות.
* [[Recurrent Neural Network]] {{אנ|Recurrent neural network}} – רשתות אלו נועדו "לפענח" מידע סדרתי – כלומר, להביא בחשבון את "סדר ההופעה" של התופעה בה מטפלים. רשתות אלו כוללות מרכיב של זיכרון – כך שהרשת "יודעת להתחשב" בהיסטוריה. רשתות אלו מתאימות במיוחד לקריאת כתב – כאשר יש חשיבות רבה לסדר הופעת האותיות, להפיכת "שמע" לטקסט וכדומה. ז'אנר ספציפי של רשתות אלו הן [[:en:Bidirectional recurrent neural networks|Bidirectional recurrent neural networks]]. מכיוון שהרשת מקבלת קטע לפענוח שהוא בעל אורך נתון – היא יכולה להביא בחשבון גם את סדר ההופעה "הרגיל", כלומר, להביא בחשבון את העבר לגבי "מה צפויה" להיות האות הבאה ובמקביל, היא יכולה "להסתכל" על הנתונים גם בכיוון ההפוך (למשל – מסוף המילה אל תחילתה). בנוסף, רשתות אלו מאפשרות להביא בחשבון זמנים (או יחסי קרבה) בעלי אורך משתנה, כלומר, לדוגמה, בהקשר של קריאת כתב, להביא בחשבון הן את האות הקרובה לאות שמנסים לפענח והן אותיות או חלקי מילים רחוקות יותר.
* [[Autoencoder]] {{אנ|Autoencoder}} – רשתות אלו בנויות בארכיטקטורה כזו שגודל השכבות החבויות יורד והולך ואחר כך, הוא גדל חזרה, בדרך כלל, לגודל המקורי, כלומר, רשת בארכיטקטורה הכוללת "צוואר בקבוק". במצב זה, החלק של הרשת מהשכבה של כניסת הנתונים ועד לצוואר בקבוק מהווה "מקודד" של המידע ואילו השכבה מצוואר הבקבוק ועד לשכבת יציאת הנתונים מהווה "מפענח". לרשתות כאלה יש שימושים רבים ולדוגמה, ניתן לאמן את הרשת על תמונות רבות של ואן גוך, מה שיגרום ל"מקודד" "להבין" מה מצויר בתמונה ואילו ה"מפענח" ילמד איך לקחת מידע מקודד שמבטא את "מה מצויר בתמונה" ולהפוך אותו לציור "בסגנון של ואן גוך". רשת כזו, לאחר שאומנה, יכולה לקלוט ציור או צילום אחר כלשהו, "להבין" מה יש בציור ואז "לפתוח מחדש" את המידע המקודד כך שבסופו של התהליך יתקבל הציור/ צילום המקורי – אבל בסגנון של "ואן גוך". שיטה זו מאפשרת להמיר צילומי יום לתמונות שכאילו צולמו בלילה וכדומה.
*[[Generative adversarial network]] – רשתות הכוללות שתי ארכיטקטורות נפרדות. רשת אחת מהווה "גנרטור". רשת זו יודעת לייצר בעצמה את הישות שבה מתעניינים – נניח למשל תמונה של פרח. רשת שנייה מהווה "שופט" והיא מנסה להשוות בין התוצרים של ה"גנרטור" לבין תמונות אמיתיות של פרחים. אם השופט מצליח להבין איזה תמונה יוצרה על ידי הגנרטור ואיזה תמונה היא "אמיתית" – משפרים את ה"גנרטור", אם השופט לא מצליח להבחין בין התמונות האמיתיות לבין התמונות שהגנרטור מייצר – משפרים את "השופט" וחוזר חלילה. רשתות כאלה יכולות "לייצר בעצמן" ישויות מגוונות, דומות להפליא למציאות עצמה. נכון ל-2019, הודגמו כבר יכולות לייצר פורטרטים של אנשים לא קיימים, ציפורים, פרחים, קולות וכיוצא באלו. ארכיטקטורה זו פותחה ופורסמה לראשונה על ידי [[איאן גודפלו]] בשנת 2014.
* [[רשת נוירונית מבוססת על מתמיר]] ([[Transformer based neural networks]]) {{אנ|Transformer_(deep_learning_architecture)}} – רשתות נוירונים שהתפתחו בעולם הבנת השפה והן מתאימות במיוחד לטיפול במידע שמגיע כזרם של אלמנטים שונים (לדוגמה מילים במשפט). ברשתות נוירונים מסוג זה אלמנטים מרוחקים בקלט יכולים להשפיע על הפלט ללא איבוד הקשר. רשתות מסוג זה משמשות במודלי שפה גדולים כמו [[GPT]], Bert, ועוד. ליבת המודל היא מציאת ההשפעה של אלמנטים בהיסטוריה על הפלט עבור ערך קלט נוכחי. כיוון שכל אלמנט בקלט משתתף במשפר הקשרים שונים, לדוגמה במשפט "האנשים נעלו את ביתם שבמושבה ונסעו לטיול במכונית" המילה ביתם מתייחסת לעזיבה בהקשר אחד ולמושבה בהקשר אחר", המודל מחשב במקביל מספר הקשרים שונים.

==אלגוריתם ללימוד הרשת==
[[קובץ:painty7.png|ממוזער|250px|מערך השכבות בתצורת "Feed Forward"]]
הקלטים לנוירון מסוכמים בסכום משוקלל, ואם התוצאה עוברת ערך סף מסוים, הקלט מועבר ליציאה. תצורת הרשת המקובלת ביותר היא [[רשת זרימה קדימה|'''זרימה קדימה''']] (Feed Forward) – זאת אומרת, שכבות של נוירונים עם חיבור של כולם עם כולם בין שכבות צמודות. השכבות שבין שכבת הקלט לשכבת הפלט נקראות שכבות חבויות. בהינתן רשת בה כוונו המשקולות, חישוב על ידה מתבצע על ידי הזנת הקלטים לשכבת הקלט וקבלת התוצאה שחלחלה ברשת לשכבת הפלט. מספר נוירונים רב מדי בשכבות החבויות יכול לגרום ל[[התאמת יתר]] (over-fitting) על סדרת הלימוד. ישנה חשיבות לכך שפונקציית הסף ביציאה מהנוירון תהיה לא ליניארית כדי לפתור בעיות ברמת קושי גבוהה בעזרת הרשת.

הפונקציה אותה מממש כל תא היא פונקציית סיגמואיד (Sigmoid) המתוארת בשרטוט "Sigmoid Unit":
[[קובץ:painty8.png|ממוזער|250px|Sigmoid Unit]]

הביטויים המפורשים הם:
<math display="block">
\begin{align}
n_j = \mathrm{net} & = \sum_i w_i x_i \\
o = \mathrm{output} & = \sigma(\mathrm{net}) \\
\sigma(x) & = \frac{1}{1+e^{-x}}
\end{align}
</math>
הפונקציה <math>\sigma</math> מקיימת תכונה יפה:
: <math>\sigma'(x) = \frac{d \sigma(x)}{dx} = \sigma(x) \cdot (1 - \sigma(x) )</math>.

אם כן, הרשת בה השתמשנו היא רשת בעלת 3 שכבות, בכל שכבה מספר תאים כשכל תא מממש Sigmoid unit.

המשקולות שעל הקשרים בין הנוירונים (המשקולות הסינופטיות) הן אלה שאוגרות את הידע של הרשת במודל המפושט, לכן אלגוריתמי הלימוד השונים מבצעים את כוונון המשקולות לערכים שנותנים תוצאות חישוב טובות עבור מערך דוגמאות הלימוד. משימה זאת אינה פשוטה בגלל השכבות החבויות.

אחד מאלגוריתמי הלימוד המקובלים ביותר הוא אלגוריתם "[[פעפוע לאחור]]" (Back-Propagation או BP).
זהו אלגוריתם ל[[למידה מונחית|לימוד מונחה]] (Supervised Learning). הוא מעביר את קלט הלימוד במורד רשת עם משקולות אקראיות, ומשווה את הפלט המתקבל לפלט הרצוי בכך שהוא מחשב את הטעות עבור כל נוירון פלט.

הרעיון העיקרי של BP הוא שהטעויות מחלחלות חזרה במעלה הרשת כך שמתבצעים כוונוני משקלות בעזרת אלגוריתם [[Gradient descent]], שמנסה להקטין את הטעויות בפלט. אם תיקוני המשקולות נעשים בשיעור מספיק קטן, גדלים הסיכויים להתכנסות של הרשת לטעות מינימלית. אומנם תיתכן התכנסות למינימום מקומי בלבד, אך למעשה השיטה נותנת תוצאות טובות כיוון שניתן להפעילה שוב עם משקולות התחלתיות שונות. אף על פי שהלימוד בשיטה זו דורש משאבים רבים, ובעל זמן ריצה לא זניח, השימוש ברשת אחרי הלימוד הוא מהיר יותר.

===אלגוריתם Gradient Descent===
{{הפניה לערך מורחב|Gradient descent}}
את הרשת מאמנים על ידי עדכון המשקולות w<sub>i</sub>.
הרשת מוזנת בווקטור כניסה מסוים ונבחן מוצאה. בהתאם למוצא הדרוש עבור וקטור כניסה זה מעדכנים את המשקולות. אנו נדון רק באפשרות של עדכון המשקולות על מנת לצמצם את השגיאה הריבועית בין מוצא הרשת למוצא הדרוש. הניסוח המתמטי ל־Gradient Descent הוא:

# מתחילים עם וקטור משקולות <math>\vec{w} = ( w_i )_{i \in I}</math>.
# חשב את השגיאה (או ה"עונש") על ידי <math>E(\vec{w}) = \frac{1}{2}\sum_d (t_d - o_d)^2</math> כאשר t<sub>d</sub> הוא הערך הרצוי ו־o<sub>d</sub> הוא הפלט שבפועל מפיקה הרשת.
# "אימון הרשת": עדכן את המשקולות <math display="block">w_i \leftarrow w_i + \Delta w_i</math> כאשר <math display="block">.\Delta w_i = -\eta \frac{\partial E}{\partial w_i}</math> זה למעשה [[גרדיאנט]] שכן <math display="block">. \Delta \vec{w} = -\eta \vec{\nabla} E(\vec{w})</math> ומכאן שם השיטה.

עבור סיגמואיד נקבל<math display="block">\begin{align}
\frac{\partial E}{\partial w_i} & = \frac{\partial}{\partial w_i} \frac{1}{2} \sum_d (t_d - o_d)^2 = \frac{1}{2} \sum_d \frac{\partial}{\partial w_i} (t_d - o_d)^2 \\
& = \frac{1}{2} \sum_d 2(t_d-o_d) \frac{\partial}{\partial w_i}(t_d - o_d) = \sum_d (t_d - o_d)\left(-\frac{\partial o_d}{\partial w_i} \right) \\
& = -\sum_d (t_d - o_d) \frac{\partial o_d}{\partial n_d} \frac{\partial n_d}{\partial w_i}
\end{align}</math> כאשר <math>n_d = \mathrm{net}_d</math>. אבל אנו יודעים ש־<math display="block">\frac{\partial o_d}{\partial n_d} = \frac{\partial \sigma(n_d)}{\partial n_d} = o_d \cdot (1 - o_d) \ ,
\quad
\frac{\partial n_d}{\partial w_i} = \frac{\partial( \vec{w} \cdot \vec{x}_d)}{\partial w_i} = x_{i,d}</math> ולכן <math display="block">.\frac{\partial E}{\partial w_i} = -\sum_d (t_d - o_d) \cdot o_d \cdot (1-o_d) x_{i,d}</math>.

בסך הכל: <math display="block">. w_i \leftarrow w_i + \eta \sum_d (t_d - o_d)\cdot o_d \cdot (1-o_d) x_{i,d}</math><!-- [[קובץ:painty10.png|מרכז|700px]] -->

קיבלנו את המשוואה לפיה נעדכן את המשקולות בכל איטרציה כדי להביא למינימום את השגיאה הריבועית במוצא.
נשים לב כי כמו בכל שימוש באלגוריתם Gradient Descent אפשר להתכנס למינימום מקומי.

===אלגוריתם פעפוע לאחור (Back-Propagation)===

בסעיף הקודם קיבלנו את המשוואה לעדכון המשקולות של תא מסוים בהינתן מוצאו והמוצא הדרוש ("מטרה"). עם זאת, במהלך אימון הרשת ידועה לנו רק שכבת היציאה של הרשת כולה (והמטרה שלה), ולא ידועים המוצאים/מטרות של שכבות הביניים. באמצעות אלגוריתם Back-propagation נעדכן את שכבות הביניים גם כן – שכבה אחרי שכבה.

==תהליך "אימון" הרשת==
תהליך זה הוא הקובע את המשקולות לזיהוי אוטומטי של תבניות ברשת העצבית.
להלן דוגמה פשוטה על האופן בו התהליך עשוי להתבצע. דמיינו אלגוריתם הנועד ללמד את הנוירון לעיל לזהות את התבנית המיועדת לו:

#הצב בהתחלה משקולות רנדומליות בין הנוירונים.
#אם הפלט נכון, אל תעשה כלום.
#אם הפלט גבוה אך אמור להיות נמוך, הנמך את המשקולות הקשורות לנתוני הקלט הגבוהים.
#אם הפלט נמוך אך אמור להיות גבוה, הגבה את המשקולות הקשורות לנתוני הקלט הנמוכים.

כל זאת, כאשר המצב ההתחלתי של ערכי המשקולות אקראי. חלקי המאמר הבאים עוסקים בשיטות שונות לאימון הרשת. יש שתי נקודות נוספות, שכדאי לשים לב אליהן כאן.
ראשית, בעזרת קביעת משקולות מתאימה, נוכל ליצור מהרשתות כמעט כל שער לוגי. לכן, אל לנו להתייחס לרשתות העצביות כאמצעי לזיהוי בלבד – הן דבר יותר גמיש מכך. למעשה, הן יותר כמו מעגל לוגי מצרפי הניתן לאימון. שנית, במקום שימוש בפלט בינארי בלבד, כפי שנעשה בכל הדוגמאות בהן עסקנו, נשתמש ככלל בפונקציה המתמטית הנקראת [[סיגמואיד (מתמטיקה)|סיגמואיד]] לפלט הנוירונים שלנו. כלומר הפלט יהיה:
<math display="block">o = \mathrm{output} = \frac{1}{1 + e^{-\mathrm{sum}}} \quad \mathrm{sum} = \sum_i w_i x_i</math>
ובכן בדוגמה בשרטוט 5{{הבהרה|האיורים לא ממסופרים, לאיזה איור הכוונה?}} פלט הנוירון בשימוש בפונקציית הסיגמואיד יהיה <math>\mathrm{output} = \frac{1}{1 + e^{-0.18}} = 0.5549</math>.
[[קובץ:painty12.png|ממוזער|250px|איור 12: הנוירון הבינארי ונוירון הסיגמואיד.]]
למעשה, פונקציה זו מחזירה תמיד מספר בין אפס לאחד, ולכן היא מתנהגת בדומה לפונקציית המדרגה הבינרית, היא בעלת יתרון במקרים בהם קיימות שתי תבניות דומות מאוד. במקרים אלו ניתנת לנוירון בדרך זו האפשרות להחזיר ערך ביניים. זו בעצם דרכו להגיד: "אני לא בטוח". שרטוט 12 מדגים את הרעיון.

תהליך הלמידה מתבצע על ידי "תגמול" "וענישה" של קשרים שונים ועל ידי חשיפת רשת הנוירונים לדוגמאות רבות. "תגמול" ו"ענישה" של הקשרים מתבצע על ידי שינוי המשקל של אותו הקשר, כך שכל קשר ש"מתוגמל" משקלו יגדל וכל קשר ש"נענש" משקלו ירד, תהליך זה משפיע במידה רבה על תהליך העיבוד ברשת הנוירונים ולקבלת תוצאה שונה. כל נוירון בשכבה הראשונה מתעדכן בנתון רלוונטי הנקרא קלט, ולאחר תהליך עיבוד בשכבות הביניים כל נוירון בשכבה האחרונה מיצר פלט הנקרא פתרון. כל אחד מן הנוירונים יכול להשפיע במידה מסוימת על המידע או על תהליך העיבוד שיתבצע בתא אחר בשל הקשרים הקיימים ברשת. פעולת החשיבה נעשית על ידי הזנת נתוני קלט לנוירונים שבשכבה העליונה, והעברת הנתונים בין הנוירונים ובמורד השכבות, עד שנוצר מערך של נתוני פלט בנוירונים שבשכבה התחתונה. נתוני הפלט מהווים מערך של פתרונות הרשת לנתוני הקלט. מדוגמה לדוגמה מתעדכנים "ערכי הסף" של הנוירונים שבמערכת, כך שהפלט יהיה אופטימלי. הערכים המתמטיים של ערכי הסף יכוילו, כך שכל קשר שצריך היה לאשרו יאושר, וכל קשר שצריך היה לדחותו יידחה. מעתה ואילך, אפשר לצפות שהרשת תקבל החלטות לאשר או לדחות באופן שמבטא בצורה מלאה את הניסיון הנצבר בתהליך הלמידה.{{הערה|שם=Milam1999}} יכולתה של רשת הנוירונים מושתתת על יכולתה לספק דיוק מקסימלי לכל פונקציה קיימת כאשר דיוק זה יכול להתבצע על ידי הגברת מורכבות הרשת והגדלת מספר השכבות החבויות.{{הערה| Davies, F., & Moutinho, L., & Curry ,B., (1996). ATM user attitudes: a neural network analysis. Journal of Marketing Intelligence & Planning, 14(2), 26–32.}}

==יישומים==
[[קובץ:painty17.png|ממוזער|250px|דיאגרמת בלוקים של יישום אנלוגי בשרטוט יישום נוירון בחומרה]]
ניתן ליישם רשתות עצביות ב[[חומרה]] אנלוגית או דיגיטלית. שלושה [[מגבר]]ים פשוטים נותנים את המשקל לקלט. אם אנו רוצים שהמערכת תלמד בזמן אמת, המגברים צריכים להיות בעלי הגברה דיגיטלית אלקטרונית. הפלט מסוכם, והסַף מופעל על ידי מַשוֶוה (Comparator).

מעגל מסוג זה נבנה בעזרת רכיבים הנקראים [[מגבר פעולה אנלוגי|מגברי פעולה אנלוגיים]] (Op Amps) כחלק מ[[מעגל משולב]]. החיסרון בגישה זו הוא הצורך ברכיבים רבים, אם במערכת נוירונים רבים. בדרך זהה ניתן לייצר [[מעגל דיגיטלי|מעגלים דיגיטליים]]: מגברי המשקולות יוחלפו במכפילים דיגיטליים, מגבר הסכום יוחלף בסוֹכֵם, והמשווה יוחלף במפענח, שיעביר אות אם פלט הסוכם יהיה גבוה מערך סף קבוע. בדומה לרשתות האנלוגיות, גם הרשתות הדיגיטליות בזבזניות מבחינת מקום ומשאבים, כיוון שהן נשענות על מכפילים בינאריים, שהם לרוב מעגלים גדולים ומורכבים.

לכן, הדרך הנפוצה ביותר לממש רשת עצבית היא על ידי [[הדמיה]] ב[[תוכנה]]. דרך זו מאפשרת למתכנת לשנות פרמטרים, דוגמת מספר הנוירונים והאופן בו הם מחוברים; פעולה זו יכולה להיעשות בקלות וללא חיווט מחדש שעלותו גבוהה, ובכך מאפשרת הדמיה של חיבור נוירונים רבים בדרך פשוטה. קיימות חבילות תוכנה לכתיבה ואימון של רשתות עצביות, בהן [[Torch]], [[Theano]] ו־[[TensorFlow]].

במהלך שנות ה-2000, פותחו יכולות משופרות לתמיכה של חומרה ברשתות עצביות מלאכותיות, ובהן אימון של רשתות עצביות מלאכותיות באמצעות [[מעבד גרפי]]. חברת [[Nvidia]] פיתחה מגוון מעבדים שתכליתם לתמוך, בעיקר, יישומים של רשתות עצבים מלאכותיות וכך גם [[אינטל]] (לדוגמה [[נרוונה סיסטמס]] {{אנ|Nervana Systems}} ו[[מובידיוס]] {{אנ|Movidius}}) ו[[גוגל (חברה)|גוגל]] (כגון [[Tensor processing unit]] {{אנ|Tensor processing unit}}).

===מימוש רשת עצבית בתוכנה===

מימוש של המודל התאורטי שהוצג לעיל כ[[תוכנה|תוכנת]] מחשב הוא למעשה [[אלגוריתם]] [[בינה מלאכותית]] ל[[למידה חישובית]] ממשפחת [[למידה מונחית|הלמידה המונחית]].

בניגוד לפיתוח תוכנה קלאסי, אשר מתמקד במציאת פתרון אלגוריתמי לבעיות, פיתוח בעזרת רשת עצבית מתמקד באימון הרשת, הזנתה במידע מתאים וניתוח הפתרון. משימות אלו הן אמנם מורכבות וקשות לפחות כמו הגישה המסורתית, אך לעיתים קרובות ניתן למצוא בעזרת טכניקה זו פתרונות או קירובים לבעיות קשות.

הדרך הפשוטה היא לאחסן את כל הפרמטרים במערכים: את הקלט והפלט מהרשת ניתן לאחסן במערך אחד ואת המשקולות בשני. לדוגמה, נוכל לאחסן את כל המשקולות במערך תלת־ממדי עם שלושת הפרמטרים הבאים:

 [Weights[layer_number, neuron_number, connection_number (מספר שכבה, מספר נוירון, מספר חיבור).

הפלט (כמו גם הקלט) מכל נוירון במערך דו־ממדי עם הפרמטרים הבאים הוא:

 [Output[ layer_number, neuron_number (מספר שכבה ומספר נוירון).

[[קובץ:painty19.png|ממוזער|250px|אחסון המשקולות ברשת טיפוסית]]
נשים לב כי השדות (O(1,1 ו־(O(1,2 הם קלט הרשת, והשדה (O(3,1 הוא הפלט.

נוכל לגרום למחשב לחשב את הפלט מרשת כזו על ידי אלגוריתם פשוט:
#אתחל את כל המשקולות ושדות הפלט – השדות O ו־W להיות אפס.
#קבע את הקלט – שדות (O(1,1 ו־(O(1,2 – לערכים הרצויים כאשר שכבה 1 היא הקלט.
#קבע את המשקולות הרצויות לרשת.
#חשב את הפלט מהרשת (בדומה לרשימת "חישוב פלט הרשת").
[[קובץ:painty20.png|ממוזער|250px|חישוב פלט הרשת]]

=== חבילות תוכנה ===

לשפת [[פייתון]] ישנן מספר חבילות שמממשות רשתות נוירונים מסוגים שונים ומאפשרות שימוש במודולים מוכנים מראש לעיצוב הרשת, אימונה ופרישתה. חבילות אלו כוללות את [[TensorFlow]] מבית [[גוגל (חברה)|גוגל]] ואת [[Keras]] שמתלבשת עליה ובעלת [[API]] נוח יותר, ואת [[PyTorch]] שמשמשת את [[מטא (חברה)|מטא]] ([[פייסבוק]] וכו').

== רשתות עצביות בתעשייה ובאקדמיה==
ב־2013 העמידה [[פייסבוק]] את מדען המחשב [[יאן לקון]] בראש מעבדת הבינה המלאכותית שלה, וב־2014 צירפה למעבדה גם את [[ולדימיר ופניק]]. [[גוגל (חברה)|גוגל]] צירפה אליה במרץ 2013 את [[ג'פרי הינטון]] וב־2014 רכשה את [[DeepMind]] המתמחה בתחום. [[אילון מאסק]], מייסד חברת [[טסלה]], [[PayPal]] ו-[[SpaceX]] הקים ב-2015 מיזם לקידום נושאי [[בינה מלאכותית]], בכלל ורשתות עצביות מלאכותיות בפרט בשם [[OpenAI]].

נכון ל-2019 – מינוף עסקי של תחום רשתות העצבים המלאכותיות מתפשט בקצב מאיץ. בתחום פועלות, ככל הנראה, עשרות אלפי חברות ברחבי העולם. ישנן מספר "רשימות" המפרטות את החברות היותר גדולות או יותר מבטיחות בתחום ובכלל זה:
*רשימת החברות בעלות הערך הגבוה (של SingularityHub){{הערה|1=[https://singularityhub.com/2019/02/27/the-worlds-most-valuable-ai-companies-and-what-theyre-working-on/#sm.000no6wvhqoucxr11jf1u2gcfrd55 רשימת חברות בעלות ערך גבוה, Singularity Hub]}}
*רשימה של מאה חברות, לפי האתר cbinsights{{הערה|1=[https://www.cbinsights.com/research/artificial-intelligence-top-startups/  רשימת 100 חברות מבטיחות, לפי cbinsights]}}
*רשימה של 25 חברות מובילות, לפי האתר Datamation{{הערה|1=[https://www.datamation.com/applications/top-25-artificial-intelligence-companies.html  רשימת 25 חברות מבטיחות, לפי Datamation]}}

אחת הדרכים המקובלות לבחינה ודירוג של האוניברסיטאות בתחום זה, היא הסתכלות על כמות הפרסומים במסגרת הוועדה השנתית שעוסקת בתחום [[:en:Conference on Neural Information Processing Systems|Conference on Neural Information Processing Systems]], לפי מדד זה, האוניברסיטאות המובילות בעולם בתחום הן:
*[[אוניברסיטת קרנגי מלון]]
*[[המכון הטכנולוגי של מסצ'וסטס]]
*[[אוניברסיטת סטנפורד]]
*[[אוניברסיטת קליפורניה בברקלי]]
*[[המכון הטכנולוגי של ציריך]]
*[[אוניברסיטת טורונטו]]

רשימה חלקית, על פי דירוג זה, אפשר למצוא ב-Ahead in AI Research? Insights from NIPS <ref>{{קישור כללי|כתובת=https://medium.com/@chuvpilo/whos-ahead-in-ai-research-insights-from-nips-most-prestigious-ai-conference-df2c361236f6|הכותב=Gleb Chuvpilo|כותרת=Who’s Ahead in AI Research? Insights from NIPS, Most Prestigious AI Conference|אתר=Medium|תאריך=2018-08-10|שפה=en|תאריך_וידוא=2019-10-14}}</ref>

===פעילות בישראל===
נכון לשנת 2018, לפי דו"ח של [[מוסד שמואל נאמן למחקר מדיניות לאומית]] בהמשך למחקר שהוזמן על ידי [[המועצה הלאומית למחקר ופיתוח אזרחי]], בישראל פועלות למעלה מ-800 חברות טכנולוגיות שיש להן פעילות בתחום [[בינה מלאכותית]].{{הערה|1=[https://www.neaman.org.il/Files/Artificial-Intelligence-Data-Science-and-Smart-Robotics-Companies-Survey_20190103131745.133.pdf דו"ח המחקר של מוסד נאמן מדצמבר 2018]}}

במהלך 2018, ישראל הקימה ועדה שתכליתה לבחון איך נכון למדינה להיערך בתחום ה[[בינה מלאכותית]], בראש הוועדה עומדים הפרופסורים [[יצחק בן ישראל]] ו[[אביתר מתניה]]. ועדה זו הקימה 14 ועדות משנה לבחינה של היבטים שונים הקשורים לנושא והיא אמורה להגיש את המלצותיה במהלך 2019.
במקביל, [[הוועדה לתכנון ולתקצוב]] של האקדמיה, ו[[המועצה להשכלה גבוהה]] אישרו, כבר במהלך 2018, 16 מסלולי לימוד לתארים אקדמאים בתחום וברוב האוניברסיטאות בישראל, אפשר ללמוד או לחקור היבטים שונים של התחום.

===תחומי יישום עיקריים===
נכון ל-2019, תחומי היישום העיקריים של רשתות עצבים מלאכותיות כוללים את:
*התחום הפיננסי (לדוגמה – חיזוי של ערך מניה, חיפוש אנומליות לטובת זיהוי זיופים וכיוצא באלו)
*תחום ניהול משאבים של ארגונים גדולים
*פענוח הדמייות רפואיות
*דיאגנוסטיקה רפואית
*אחזור וחיפוש מסמכים
*חיפוש אנומליות רשת לטובת הגנת סייבר
*זיהוי עצמים בתמונות ווידאו
*תחבורה והפחתת עומסי תנועה (באמצעות התאמת פעולת ה[[רמזור]]ים למאפייני התנועה של צומת ספציפי)<ref>{{קישור כללי|כתובת=https://www.itc-israel.co.il/|כותרת=ITC – Spend less time on the road|אתר=www.itc-israel.co.il|תאריך_וידוא=2023-08-30}}</ref>
*רובוטיקה
*ניתוח נתוני עתק בשוק הקמעונאי, בין השאר לטובת חיזוי והצפת המלצות לצרכנים פוטנציאליים
*[[כימואינפורמטיקה]]: חיזוי תכונות של תרכובות כימיות, פיתוח תרופות וחומרים חדשים, תכנון סינתזה כימית

== ראו גם ==
* [[רשת עצבית]]
* [[פרספטרון]]
* [[Word2vec]]

==לקריאה נוספת ==
<div class="mw-content-ltr">
* Supervised learning in multilayer feedforward networks – "backpropagation", Bruno A. Olshausen, 1998.
* Neural Networks for Pattern Recognition, Bishop, C.M., 1996
* Elektor Electronics 1/2003 C.McLeod and G.Maxwell
* Davies, F., & Moutinho, L., & Curry ,B., (1996). ATM user attitudes: a neural network analysis. Journal of Marketing Intelligence & Planning, 14(2), 26–32.
</div>

==קישורים חיצוניים==
{{מיזמים|ויקישיתוף=Category:Neural networks|שם ויקישיתוף=רשתות עצביות|ויקימילון=ANN}}
*{{ynet|ישראל בנימיני, גלילאו|בינה מלאכותית: רשתות עצביות נגד פושעים|3089722|24 במאי 2005}}
* דן וינר, [http://www.snunit.k12.il/heb_journals/kimat2000/004040.html רשתות בשירות טכנולוגיית החשמל], באתר "סנונית" (הופיע במקור במגזין "[[כמעט 2000]]")
* אורי אליאבייב, [http://machinelearning.co.il/52/101-deep-learning/ רשתות נוירונים, Deep learning וכל מה שביניהם], באתר [http://machinelearning.co.il/ Machine Learning Israel], בתאריך 8 במאי 2016
* {{עושים היסטוריה|למידה עמוקה (Deep Learning) – המחשב והמוח|204}}
* [http://www.ernarubin.org/julian/ann.html רשת עצבית מלאכותית למתחילים – חיזוי תוצאות הטוטו] צבי יוליאן רובין
* {{וידאו}} [https://www.youtube.com/watch?v=aircAruvnKk&list=PLZHQObOWTQDNU6R1_67000Dx_ZCJB-3pi רשימת סרטונים על רשתות נוירונים מלאכותיות] בערוץ [[3Blue1Brown]] ב[[יוטיוב]]
* {{דף שער בספרייה הלאומית|987007551192405171|רשתות נורליות (מדעי המחשב)}}

==הערות שוליים==
{{הערות שוליים|יישור=שמאל}}

{{בינה מלאכותית}}

{{בקרת זהויות}}

[[קטגוריה:למידת מכונה]]
[[קטגוריה:אלגוריתמים]]
[[קטגוריה:למידה עמוקה]]