הצגת המקור של הדף "Attention (בינה מלאכותית)"

[[קובץ:Attention-animated.webm|ממוזער|הנפשה של תהליך העברת המידע בתוך הattention]]'''Attention''' (בעברית: קשב) היא טכניקה המשמשת לשיפור ביצועים באימון של [[רשת עצבית מלאכותית|רשתות נוירונים]], שנועדה לחקות קשב קוגניטיבי באמצעות חיזוק המידע הרלוונטי ביותר מתוך כלל המידע, והחלשת המידע הפחות רלוונטי. המטרה היא לאפשר לרשת הנוירונים להתרכז במידע החשוב גם אם הוא מהווה רק חלק קטן מהמידע.

טכניקות דמויות attention הופיעו עוד בשנות התשעים בתור multiplicative modules אך הגרסה המודרנית הופיעה בשנת 2017 במאמר "Attention Is All You Need".<ref>{{קישור כללי|כתובת=https://arxiv.org/abs/1706.03762|הכותב=Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin|כותרת=Attention Is All You Need|אתר=Arxiv|תאריך=2017|doi=https://doi.org/10.48550/arXiv.1706.03762}}</ref> מאז פרסום המאמר, השימוש בטכניקה התפשט, והיום היא מהווה טכניקה מרכזית באימון של רשתות נוירונים.

== אופן פעולה ==
השימוש ב-attention יכול לעזור ליצור הקשר, למשל במשפט "מיכאל הכי מהיר בגן, ראו כמה מהר הוא רץ" ה-attention יכול להבין שהמילה "הוא" היא [[כינוי רמז|מאזכר]] למיכאל שהוזכר בתחילת המשפט. Attention יכול גם לשמש לקישור של תמונות לטקסט, כמו במודלים גנרטיביים מסוג [[מודל דיפוזיה]], כך שאפשר להגיד למודל לייצר תמונה של קוף בחליפת חלל לדוגמה.[[קובץ:Attention-qkv.png|ממוזער|'''Self-Attention''' (קשב עצמי) X- מטריצה בגודל 4x300 המייצגת קידוד של המשפט כולו <math>Q_W</math> - משקולות של הquery, <math>K_W</math>- משקולות של הkey ,<math>V_W</math> - משקולות של הvalue|alt=Attention-qkv.png|648x648px|מרכז]]

השמות query, key ו - value נועדו לדמות את המונחים מ - [[SQL|sql]]. אפשר להאיץ את מהירות החישוב מאוד על ידי הרצת כמה ראשי attention במקביל.

== קישורים חיצוניים ==
* [https://machinelearningmastery.com/how-to-implement-multi-head-attention-from-scratch-in-tensorflow-and-keras/ דוגמת קוד של attention], באתר (machine learning mastery)
* [https://www.ai-blog.co.il/2022/09/30/מה-זה-attention-mechanism-ואיך-זה-עובד/?utm_source=rss&utm_medium=rss&utm_campaign=%25d7%259e%25d7%2594-%25d7%2596%25d7%2594-attention-mechanism-%25d7%2595%25d7%2590%25d7%2599%25d7%259a-%25d7%2596%25d7%2594-%25d7%25a2%25d7%2595%25d7%2591%25d7%2593 הסבר על attention בעברית], באתר (ai blog)

== הערות שוליים ==
{{הערות שוליים}}
{{בינה מלאכותית}}


[[קטגוריה:אלגוריתמים]]
[[קטגוריה:ויקיפדיה: ערכים של משתמשים חדשים|2023 06]]
[[קטגוריה:למידה עמוקה]]