הצגת המקור של הדף "BERT (מודל שפה)"

{{תוכנה
| גרסת בטא אחרונה ששוחררה =
| תאריך שחרור גרסת בטא אחרונה = March 11, 2020
| שפות תכנות =
| מערכת2 =
}}

מודל '''BERT {{כ}}(Bidirectional Encoder Representations from Transformers''') הוא [[מודל שפה]] שהוצג באוקטובר 2018 על ידי חוקרים ב-[[Google Workspace|Google]].<ref>{{Cite web|date=2 November 2018|title=Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing|url=http://ai.googleblog.com/2018/11/open-sourcing-bert-state-of-art-pre.html|access-date=2019-11-27|website=Google AI Blog|language=en}}</ref> המודל לומד לייצג טקסט כרצף של וקטורים באמצעות [[למידה מונחית|למידה עצמית-מונחית]] (self-[[supervised learning]]). הוא מתבסס על ארכיטקטורת [[טרנספורמר (למידת מכונה)|טרנספורמר]] הכוללת מקודד בלבד (encoder-only).

BERT נחשב לחדשני בזכות השיפור הדרמטי שהציג בהשוואה למודלים המתקדמים ביותר באותה תקופה, ונחשב גם לדוגמה מוקדמת ל[[מודל שפה גדול]]. נכון ל-2020, BERT משמש כבסיס נפוץ בניסויים בתחום עיבוד שפה טבעית (NLP).<ref name=":4">{{Cite journal|last=Rogers|first=Anna|last2=Kovaleva|first2=Olga|last3=Rumshisky|first3=Anna|date=2020|title=A Primer in BERTology: What We Know About How BERT Works|url=https://aclanthology.org/2020.tacl-1.54|journal=Transactions of the Association for Computational Linguistics|volume=8|pages=842–866|arxiv=2002.12327|doi=10.1162/tacl_a_00349}}</ref>

מודל BERT מאומן באמצעות שני תהליכי למידה: חיזוי מילים מוסתרות (masked token prediction) וחיזוי המשפט הבא (next sentence prediction). כתוצאה מתהליך האימון הזה, BERT לומד ייצוגים סמויים והקשריים של מילים בהתאם להקשר שבו הן מופיעות, בדומה למודלים כמו ELMo {{אנ|ELMo}} ו-GPT-2 {{אנ|GPT-2}}.<ref name=":5">{{Citation|last=Ethayarajh|first=Kawin|title=How Contextual are Contextualized Word Representations? Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings|date=2019-09-01|arxiv=1909.00512}}</ref>

למודל נמצאו שימושים רבים במשימות שונות בתחום עיבוד שפה טבעית, כגון פתרון בעיות של ייחוס התייחסות {{אנ|Coreference_resolution}} ופענוח ריבוי משמעויות {{אנ|Polysemy}}.<ref>{{Cite web|last=Anderson|first=Dawn|date=2019-11-05|title=A deep dive into BERT: How BERT launched a rocket into natural language understanding|url=https://searchengineland.com/a-deep-dive-into-bert-how-bert-launched-a-rocket-into-natural-language-understanding-324522|access-date=2024-08-06|website=Search Engine Land|language=en}}</ref> BERT מהווה שלב אבולוציוני לעומת ELMo {{אנ|ELMo}}, והוביל למחקר שנקרא "ברטולוגיה" (BERTology), אשר מנסה לפרש ולהבין מה בדיוק BERT לומד במהלך תהליך האימון שלו.<ref name=":4" />

BERT הוטמע במקור בשפה האנגלית בשני גודלי מודל:

BERT <sub>BASE</sub> (110 מיליון פרמטרים) ו־BERT <sub>LARGE</sub> (340 מיליון פרמטרים). שני המודלים אומנו על Toronto BookCorpus<ref>Zhu, Aligning Books and Movies: Towards Story-Like Visual Explanations by Watching Movies and Reading Books</ref> (800 מיליון מילים) ועל הוויקיפדיה [[ויקיפדיה האנגלית|האנגלית]] (2,500 מיליון מילים). משקלי המודל פורסמו לציבור ב־[[GitHub]].<ref name=":3">{{Cite web|title=BERT|url=https://github.com/google-research/bert|access-date=28 March 2023|website=GitHub}}</ref> ב-11 במרץ 2020, שוחררו 24 גרסאות קטנות יותר של המודל, הקטן ביותר הוא BERT <sub>TINY</sub>, הכולל 4 מיליון פרמטרים בלבד.<ref name=":3" />

== ארכיטקטורה ==
[[קובץ:BERT_embeddings_01.png|ממוזער|330x330 פיקסלים| דיאגרמה סכמטית ברמה גבוהה של BERT. הוא קולט טקסט, מסמל אותו לרצף של טוקנים, מוסיף טוקנים מיוחדים אופציונליים ומחיל מקודד טרנספורמר. ניתן להשתמש במצבים המוסתרים של השכבה האחרונה כהטמעות מילים בהקשר.]]
BERT מבוסס על ארכיטקטורת [[טרנספורמר (למידת מכונה)|טרנספורמר]] "מקודד בלבד". ברמה גבוהה יותר, BERT מורכב מ-4 מודולים:
* Tokenizer: מודול זה ממיר פיסת טקסט באנגלית לרצף של מספרים שלמים ("טוקנים").
* Embedding {{אנ|Embedding}} – הטמעה: מודול זה ממיר את רצף הטוקנים למערך של וקטורים בעלי ערך ממשי המייצגים את הטוקנים. המטרה היא להמיר את סוגי הטוקנים הבדידים ל[[מרחב אוקלידי]] בעל ממדים נמוכים יותר.
* Encoder – מקודד: מערך של בלוקי Transformer המשתמשים במנגנון [[Attention (בינה מלאכותית)|תשומת לב עצמית]] (self-attention), אך ללא מיסוך סיבתי (causal masking).
* Task head – ראש משימה: מודול זה ממיר את וקטורי הייצוג הסופיים בחזרה לטוקנים המקודדים בצורת one-hot על ידי יצירת התפלגות הסתברות צפויה על סוגי הטוקנים. ניתן לראותו כמעין מפענח פשוט (decoder), שמפענח את הייצוג הסמוי לסוגי טוקנים.

ראש המשימות הכרחי לשלב האימון המקדים, אך לרוב הוא מיותר עבור משימות המכונות "משימות המשך", כגון מענה לשאלות או [[ניתוח סנטימנט|סיווג רגשות]]. במקום זאת, מסירים את ראש המשימה ומחליפים אותו במודול חדש המותאם למשימה הספציפית, ומבצעים כוונון עדין (fine-tuning) למודול החדש. ייצוג הווקטור הסמוי של המודל מוזן ישירות למודול החדש הזה, ומאפשר למידת העברה {{אנ|Transfer_learning}} יעילה על בסיס דוגמאות מועטות.<ref>{{Citation|last=Zhang|first=Tianyi|title=Revisiting Few-sample BERT Fine-tuning|date=2021-03-11|arxiv=2006.05987|last2=Wu|first2=Felix|last3=Katiyar|first3=Arzoo|last4=Weinberger|first4=Kilian Q.|last5=Artzi|first5=Yoav}}</ref>
[[קובץ:BERT_encoder-only_attention.svg|ממוזער| תשומת הלב של המקודד בלבד היא הכל לכל.]]

=== הטמעה ===
סעיף זה מתאר את ההטמעה בשימוש על ידי BERT <sub>BASE</sub>. אופן הטמעת הדגם השני, BERT <sub>LARGE</sub>, דומה, רק גדול יותר.

הטוקנייזר של BERT הוא WordPiece, שהיא אסטרטגיה לפירוק מילים לתת-מילים. גודל אוצר המילים של המודל הוא 30,000, וכל טוקן שלא מופיע באוצר המילים מוחלף ב - <code>[UNK]</code> ("לא ידוע").
[[קובץ:BERT_input_embeddings.png|ממוזער|284x284 פיקסלים| שלושת סוגי ההטמעה המשמשים את BERT: סוג טוקן, מיקום וסוג מקטע.]]
השכבה הראשונה היא שכבת ההטמעה, המכילה שלושה מרכיבים: הטמעת סוגי טוקנים, הטמעת מיקומים והטמעת סוגי מקטעים.
* סוג הטוקן: סוג הטוקן הוא שכבת הטמעה סטנדרטית, הממירה וקטור one-hot לווקטור דחוס המבוסס על סוג הטוקן.
* מיקום: הטמעות המיקום מבוססות על המיקום של הטוקן ברצף. BERT משתמש במיקומים מוחלטים, שבהם כל מיקום ברצף ממופה לווקטור בעל ערכים ממשיים. כל מימד בווקטור מורכב מפונקציה סינוסואידית {{אנ|Sine_wave}} שלוקחת את המיקום ברצף כקלט.
* סוג המקטע: באמצעות אוצר מילים של 0 או 1 בלבד, שכבת הטמעה זו מייצרת וקטור צפוף על סמך האם הטוקן שייך למקטע הטקסט הראשון או השני באותו קלט. במילים אחרות, טוקנים מסוג 1 הם כל הטוקנים המופיעים אחרי הטוקן המיוחד <code>[SEP]</code>.

שלושת הווקטורים המוטבעים מתווספים יחד המייצגים את ייצוג ה הראשוני כפונקציה של שלוש פיסות המידע הללו. לאחר ההטמעה, ייצוג הווקטור מנורמל באמצעות פעולת LayerNorm, תוך פלט וקטור של 768 ממדים עבור כל קלט. לאחר מכן, וקטורי הייצוג מועברים קדימה דרך 12 בלוקים מקודד שנאי, ומפוענחים חזרה למרחב אוצר מילים של 30,000 ממדים באמצעות שכבת טרנספורמציה אפינית בסיסית.

=== משפחת ארכיטקטורה ===
למחסנית המקודד של BERT יש 2 פרמטרים חופשיים: <math>L</math>, מספר השכבות, ו - <math>H</math>, הגודל הנסתר. תמיד יש <math>H/64</math> ראשי תשומת לב עצמית, וגודל ההזנה/המסנן הוא תמיד <math>4H</math>. על ידי שינוי של שני המספרים הללו, ניתן לקבל משפחת מודלים שלמה של BERT.<ref>{{Citation|last=Turc|first=Iulia|title=Well-Read Students Learn Better: On the Importance of Pre-training Compact Models|date=2019-09-25|arxiv=1908.08962|last2=Chang|first2=Ming-Wei|last3=Lee|first3=Kenton|last4=Toutanova|first4=Kristina}}</ref>

עבור BERT
* '''גודל ההזנה קדימה''' וגודל '''המסנן''' הם מילים נרדפות. שניהם מציינים את מספר הממדים בשכבה האמצעית של רשת ההזנה קדימה.
* '''הגודל הנסתר''' וגודל '''ההטמעה''' גם הם מושגים נרדפים. שניהם מציינים את מספר המספרים הממשיים המשמשים לייצוג טוקן.

הסימון עבור מחסנית המקודד נכתב כ-L/H. לדוגמה, BERT <sub>BASE</sub> כתוב כ-12L/768H, BERT <sub>LARGE</sub> כ-24L/1024H, ו-BERT <sub>TINY</sub> כ-2L/128H.

== אימון המודל ==
=== אימון מקדים (Pre-training) ===
BERT אומן מראש בו-זמנית על שתי משימות:<ref>{{Cite web|title=Summary of the models — transformers 3.4.0 documentation|url=https://huggingface.co/transformers/v3.4.0/model_summary.html|access-date=2023-02-16|website=huggingface.co}}</ref>

==== חיזוי מילים מוסתרות (Masked language modeling) ====
[[קובץ:BERT_masked_language_modelling_task.png|ממוזער| משימת דוגמנות השפה במסכה.]]
במודל של חיזוי בשיטת טוקנים מוסתרים, 15% מהטוקנים ייבחרו באופן אקראי למשימת חיזוי-מוסתר, ומטרת האימון היא לחזות את הטוקן המכוסה בהתחשב בהקשר שלו. בפירוט, הטוקן הנבחר:
* מוחלף בטוקן-מסיכה <code>[MASK]</code> בסבירות של 80%,
* מוחלף בטוקן מילה אקראית בסבירות של 10%,
* לא מוחלף בסבירות של 10%.

הסיבה שלא כל הטוקנים הנבחרים מוסתרים היא כדי להימנע מבעיית שינוי במערך הנתונים (Dataset Shift). בעיה זו מתעוררת כאשר התפלגות הקלטים הנראים במהלך האימון שונה באופן משמעותי מההתפלגות בה נתקל המודל במהלך השימוש. מודל BERT מאומן עשוי להיות מיושם על ייצוג מילים (כמו [[Word2vec|Word2Vec]]), שבו הוא יופעל על משפטים שלא מכילים טוקני <code>[MASK]</code>. בהמשך נמצא שתוצאות אימון מגוונות יותר הן בדרך כלל טובות יותר.<ref>{{Citation|last=Tay|first=Yi|title=UL2: Unifying Language Learning Paradigms|date=2023-02-28|arxiv=2205.05131|last2=Dehghani|first2=Mostafa|last3=Tran|first3=Vinh Q.|last4=Garcia|first4=Xavier|last5=Wei|first5=Jason|last6=Wang|first6=Xuezhi|last7=Chung|first7=Hyung Won|last8=Shakeri|first8=Siamak|last9=Bahri|first9=Dara}}</ref>

כדוגמה להמחשה, נחשב את המשפט "הכלב שלי חמוד". המשפט יחולק תחילה לטוקנים כמו "הכלב <sub>1</sub> שלי <sub>2</sub> חמוד <sub>3</sub> ". לאחר מכן ייבחר טוקן אקראי במשפט. נניח שיהא זה השלישי, " <sub>3</sub> חמוד". בשלב הבא, יהיו שלוש אפשרויות:
* בסבירות של 80%, הטוקן שנבחר מוסתר, וכתוצאה מכך "הכלב <sub>1</sub> שלי <sub>2</sub> <code>[MASK]</code> <sub>3</sub> ";
* בסבירות של 10%, הטוקן שנבחר מוחלף בטוקן אקראי שנדגם באופן אחיד, כגון "שמח", וכתוצאה מכך "כלב <sub>1</sub> שלי <sub>2</sub> שמח <sub>3</sub> ";
* בסבירות של 10%, שום דבר לא נעשה, וכתוצאה מכך "כלב <sub>1</sub> שלי <sub>2</sub> חמוד <sub>3</sub> ".

לאחר עיבוד טקסט הקלט, וקטור הפלט הרביעי של המודל מועבר לשכבת המפענח שלו, שמפיקה התפלגות הסתברויות על פני מרחב אוצר המילים בגודל 30,000.

==== חיזוי המשפט הבא (Next sentence prediction) ====
[[קובץ:BERT_next_sequence_prediction_task.png|ממוזער| משימת חיזוי המשפט הבא.]]
בהינתן שני קטעי טקסט, המודל חוזה אם שני המקטעים הופיעו ברצף בקורפוס האימון, ומפיק את אחת התויות <code>[IsNext]</code> או <code>[NotNext]</code>. הקטע הראשון מתחיל עם התו המיוחד <code>[CLS]</code> (מסמן "סיווג"). שני הקטעים מופרדים על ידי תו מיוחד <code>[SEP]</code> (מסמן "הפרדה"). לאחר עיבוד שני המקטעים, וקטור הפלט הראשון (הווקטור המייצג את <code>[CLS]</code>) מועבר לרשת עצבית נפרדת לצורך הסיווג הבינארי ל-<code>[IsNext]</code> ו-<code>[NotNext]</code>.
* לדוגמה, בהינתן " <code>[CLS]</code> הכלב שלי חמוד <code>[SEP]</code> הוא אוהב לשחק", המודל צריך להוציא <code>[IsNext]</code>.
* בהתחשב ב" <code>[CLS]</code> הכלב שלי חמוד <code>[SEP]</code> איך מגנטים עובדים" המודל צריך להוציא <code>[NotNext]</code>.

=== כוונון המודל (Fine-tuning) ===
BERT נועד להיות מודל כללי מאומן מראש עבור יישומים שונים בעיבוד שפה טבעית. כלומר, לאחר האימון המקדים, ניתן לכוונן את BERT עם פחות משאבים על מערכי נתונים קטנים יותר, כדי לייעל את הביצועים שלו במשימות ספציפיות כגון [[גרירה טקסטואלית|הסקת מסקנות משפה טבעית]], סיווג טקסט, וכן במשימות יצירת שפה מבוססות רצף כמו שאלות ותשובות ושיחה.<ref name="zhangetal2024">{{Cite book|last=Zhang|first=Aston|title=Dive into deep learning|last2=Lipton|first2=Zachary|last3=Li|first3=Mu|last4=Smola|first4=Alexander J.|date=2024|publisher=Cambridge University Press|isbn=978-1-009-38943-3|location=Cambridge New York Port Melbourne New Delhi Singapore|chapter=11.9. Large-Scale Pretraining with Transformers|chapter-url=https://d2l.ai/chapter_attention-mechanisms-and-transformers/large-pretraining-transformers.html}}</ref>

המאמר המקורי של BERT פרסם תוצאות המדגימות איך כמות קטנה של כוונון עדין (עבור BERT <sub>LARGE</sub>, שעה אחת על 1 Cloud TPU) אפשרה לו להשיג ביצועים מתקדמים יותר במספר משימות של הבנת שפה טבעית:<ref name=":02">{{cite arXiv|eprint=1810.04805v2|class=cs.CL|first1=Jacob|last1=Devlin|first2=Ming-Wei|last2=Chang|last3=Lee|first3=Kenton|last4=Toutanova|first4=Kristina|title=BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding|date=11 October 2018}}</ref>
* ערכת משימות GLUE (הערכת הבנת שפה כללית) (המורכבת מ-9 משימות);
* SQuAD (Stanford Question Answering Dataset) v1.1 ו-v2.0;
* SWAG (מצבים עם דורות יריבים).

במאמר המקורי, כל הפרמטרים של BERT מכוונים עדין, ומומלץ, עבור יישומים במורד הזרם שהם סיווגי טקסט, הפלט ב הקלט <code>[CLS]</code> יוזן לשכבה ליניארית-softmax כדי לייצר את פלטי התווית.<ref name=":2" />

=== עלות ===
BERT הוכשר על BookCorpus (800 מיליון מילים) וגרסה מסוננת של ויקיפדיה האנגלית (2,500 מיליון מילים) ללא רשימות, טבלאות וכותרות.

אימון BERT <sub>BASE</sub> על 4 [[TPU]] בענן (16 שבבי TPU בסך הכל) ארך 4 ימים, בעלות משוערת של 500 דולר.<ref name=":3" /> אימון BERT <sub>LARGE</sub> על 16 TPU בענן (סה"כ 64 שבבי TPU) ארך 4 ימים.

== פשר ==
מודלים של שפה כמו ELMo, GPT-2 ו-BERT, הולידו את המחקר של "BERTology", המנסה לפרש את מה שנלמד על ידי המודלים הללו. הביצועים שלהם במשימות הבנת השפה הטבעית הללו עדיין אינם מובנים היטב.<ref name=":4" /><ref name=":1">{{Cite book|last=Kovaleva|first=Olga|title=Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)|last2=Romanov|first2=Alexey|last3=Rogers|first3=Anna|last4=Rumshisky|first4=Anna|date=November 2019|pages=4364–4373|language=en-us|chapter=Revealing the Dark Secrets of BERT|doi=10.18653/v1/D19-1445|chapter-url=https://www.aclweb.org/anthology/D19-1445}}</ref><ref name=":2">{{Cite journal|last=Clark|first=Kevin|last2=Khandelwal|first2=Urvashi|last3=Levy|first3=Omer|last4=Manning|first4=Christopher D.|date=2019|title=What Does BERT Look at? An Analysis of BERT's Attention|journal=Proceedings of the 2019 ACL Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP|location=Stroudsburg, PA, USA|publisher=Association for Computational Linguistics|pages=276–286|arxiv=1906.04341|doi=10.18653/v1/w19-4828|doi-access=free}}</ref> מספר פרסומי מחקר בשנים 2018 ו-2019 התמקדו בחקירת הקשר מאחורי הפלט של BERT כתוצאה מרצפי קלט שנבחרו בקפידה,<ref>{{Cite journal|last=Khandelwal|first=Urvashi|last2=He|first2=He|last3=Qi|first3=Peng|last4=Jurafsky|first4=Dan|date=2018|title=Sharp Nearby, Fuzzy Far Away: How Neural Language Models Use Context|journal=Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)|location=Stroudsburg, PA, USA|publisher=Association for Computational Linguistics|pages=284–294|arxiv=1805.04623|doi=10.18653/v1/p18-1027}}</ref><ref>{{Cite book|last=Gulordava|first=Kristina|title=Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers)|last2=Bojanowski|first2=Piotr|last3=Grave|first3=Edouard|last4=Linzen|first4=Tal|last5=Baroni|first5=Marco|date=2018|publisher=Association for Computational Linguistics|location=Stroudsburg, PA, USA|pages=1195–1205|chapter=Colorless Green Recurrent Networks Dream Hierarchically|doi=10.18653/v1/n18-1108}}</ref> ניתוח של ייצוגים וקטורים פנימיים באמצעות בדיקה של מסווגים,<ref>{{Cite journal|last=Giulianelli|first=Mario|last2=Harding|first2=Jack|last3=Mohnert|first3=Florian|last4=Hupkes|first4=Dieuwke|last5=Zuidema|first5=Willem|date=2018|title=Under the Hood: Using Diagnostic Classifiers to Investigate and Improve how Language Models Track Agreement Information|journal=Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP|location=Stroudsburg, PA, USA|publisher=Association for Computational Linguistics|pages=240–248|arxiv=1808.08079|doi=10.18653/v1/w18-5426}}</ref><ref>{{Cite journal|last=Zhang|first=Kelly|last2=Bowman|first2=Samuel|date=2018|title=Language Modeling Teaches You More than Translation Does: Lessons Learned Through Auxiliary Syntactic Task Analysis|journal=Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP|location=Stroudsburg, PA, USA|publisher=Association for Computational Linguistics|pages=359–361|doi=10.18653/v1/w18-5448|doi-access=free}}</ref> והקשרים המיוצגים על ידי משקלי [[טרנספורמר (למידת מכונה)|תשומת לב]].<ref name=":1" /><ref name=":2" />

ניתן לייחס גם את הביצועים הגבוהים של מודל BERT{{מקור}} לעובדה שהוא מאומן באופן דו-כיווני. המשמעות היא ש-BERT, המבוססת על ארכיטקטורת מודל ה-Transformer, מיישמת את מנגנון הקשב העצמי שלו כדי ללמוד מידע מטקסט מצד שמאל ומימין במהלך האימון, וכתוצאה מכך זוכה להבנה עמוקה של ההקשר. לדוגמה, למילה בסדר יכולות להיות שתי משמעויות שונות בהתאם להקשר ('''אני מרגיש''' בסדר '''היום''', '''יש לה שיער בלונדיני''' דק). BERT מחשיב את המילים המקיפות את מילת המטרה בסדר מצד שמאל וימין.

עם זאת, זה כרוך במחיר: עקב ארכיטקטורת [[טרנספורמר (למידת מכונה)|מקודד בלבד]] חסרה מפענח, BERT לא יכול [[הנדסת פרומפטים|לקבל הנחיה]] ואינו יכול ליצור טקסט, בעוד מודלים דו-כיווניים באופן כללי אינם פועלים ביעילות ללא הצד הימני, ולכן קשה לבצע הנחיה. כדוגמה להמחשה, אם רוצים להשתמש ב-BERT כדי להמשיך בקטע משפט "היום, הלכתי אליו", אז בתמימות אפשר להסוות את כל הים כ"היום, הלכתי אל <code>[MASK]</code> <code>[MASK]</code> <code>[MASK]</code> ... <code>[MASK]</code>." כאשר המספר של <code>[MASK]</code> הוא אורך המשפט שאליו רוצים להאריך. עם זאת, זה מהווה שינוי במערך נתונים, שכן במהלך האימון, BERT מעולם לא ראה משפטים עם כל כך הרבה ים מוסווים. כתוצאה מכך, הביצועים שלו יורדים. טכניקות מתוחכמות יותר מאפשרות יצירת טקסט, אך בעלות חישובית גבוהה.<ref>{{Cite arXiv|eprint=2209.14500|last1=Patel|title=Bidirectional Language Models Are Also Few-shot Learners}}</ref>

== היסטוריה ==
BERT פורסם במקור על ידי חוקרי גוגל ג'ייקוב דוולין, מינג-וויי צ'אנג, קנטון לי וקריסטינה טוטנובה. מקורו של העיצוב מייצוג הקשרי טרום-אימון, כולל למידת רצף בפיקוח למחצה, אימון מקדים גנרטיבי, ELMo, ו-ULMFit. שלא כמו דגמים קודמים, BERT הוא ייצוג דו-כיווני עמוק, [[למידה בלתי מונחית|ללא פיקוח]], שהוכשר מראש באמצעות קורפוס טקסט רגיל בלבד. מודלים נטולי הקשר כגון [[word2vec]] או GloVe מייצרים ייצוג הטמעת מילה אחת עבור כל מילה באוצר המילים, בעוד BERT לוקח בחשבון את ההקשר לכל הופעה של מילה נתונה. לדוגמה, בעוד שלווקטור עבור "ריצה" יהיה אותו ייצוג וקטור של word2vec עבור שתי המופעים שלו במשפטים "הוא מנהל חברה" ו"הוא רץ מרתון", BERT יספק הטבעה בהקשר שתהיה שונה לפי המשפט.<ref name=":5" />

ב-25 באוקטובר 2019, [[גוגל (חברה)|גוגל]] הודיעה שהיא החלה ליישם מודלים של BERT עבור [[גוגל (מנוע חיפוש)|שאילתות חיפוש]] [[אנגלית|שפה האנגלית]] ב[[ארצות הברית]].<ref>{{Cite web|last=Nayak|first=Pandu|date=25 October 2019|title=Understanding searches better than ever before|url=https://www.blog.google/products/search/search-language-understanding-bert/|access-date=10 December 2019|website=Google Blog}}</ref> ב-9 בדצמבר 2019, דווח כי BERT אומצה על ידי חיפוש Google עבור למעלה מ-70 שפות.<ref>{{Cite web|date=2019-10-25|title=Understanding searches better than ever before|url=https://blog.google/products/search/search-language-understanding-bert/|access-date=2024-08-06|website=Google|language=en-us}}</ref><ref>{{Cite web|last=Montti|first=Roger|date=10 December 2019|title=Google's BERT Rolls Out Worldwide|url=https://www.searchenginejournal.com/google-bert-rolls-out-worldwide/339359/|access-date=10 December 2019|website=Search Engine Journal}}</ref> באוקטובר 2020, כמעט כל שאילתה מבוססת אנגלית עובדה על ידי מודל BERT.<ref>{{Cite web|date=2020-10-15|title=Google: BERT now used on almost every English query|url=https://searchengineland.com/google-bert-used-on-almost-every-english-query-342193|access-date=2020-11-24|website=Search Engine Land}}</ref>

== גרסאות ==
דגמי BERT היו משפיעים והיוו השראה לגרסאות רבות.

'''RobERTa''' (2019)<ref>{{Cite arXiv|eprint=1907.11692|last1=Liu|title=RoBERTa: A Robustly Optimized BERT Pretraining Approach}}</ref> היה שיפור הנדסי. הוא משמר את הארכיטקטורה של BERT (קצת יותר גדולה, ב-355 מיליון פרמטרים), אך משפר את ההכשרה שלו, משנה את הפרמטרים ההיפר-פרמטרים, מסיר את משימת החיזוי של המשפט הבא ומשתמש בגדלים גדולים בהרבה של מיני-אצווה.

'''DistilBERT''' (2019) מזקקת את BERT <sub>BASE</sub> למודל עם רק 60% מהפרמטרים שלו (66 מיליון), תוך שמירה על 95% מציוני המדדים שלו.<ref>{{Citation|last=Sanh|first=Victor|title=DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter|date=2020-02-29|arxiv=1910.01108|last2=Debut|first2=Lysandre|last3=Chaumond|first3=Julien|last4=Wolf|first4=Thomas}}</ref><ref>{{Cite web|title=DistilBERT|url=https://huggingface.co/docs/transformers/model_doc/distilbert|access-date=2024-08-05|website=huggingface.co}}</ref> באופן דומה, '''TinyBERT''' (2019)<ref>{{Citation|last=Jiao|first=Xiaoqi|title=TinyBERT: Distilling BERT for Natural Language Understanding|date=2020-10-15|arxiv=1909.10351|last2=Yin|first2=Yichun|last3=Shang|first3=Lifeng|last4=Jiang|first4=Xin|last5=Chen|first5=Xiao|last6=Li|first6=Linlin|last7=Wang|first7=Fang|last8=Liu|first8=Qun}}</ref> הוא דגם מזוקק עם רק 28% מהפרמטרים שלו.

'''ALBERT''' (2019)<ref>{{Citation|last=Lan|first=Zhenzhong|title=ALBERT: A Lite BERT for Self-supervised Learning of Language Representations|date=2020-02-08|arxiv=1909.11942|last2=Chen|first2=Mingda|last3=Goodman|first3=Sebastian|last4=Gimpel|first4=Kevin|last5=Sharma|first5=Piyush|last6=Soricut|first6=Radu}}</ref> השתמש בפרמטר משותף על פני שכבות, והתנסה בשינוי עצמאי של הגודל הנסתר וגודל הפלט של שכבת הטמעת המילים כשני היפרפרמטרים. הם גם החליפו את משימת חיזוי המשפט הבאה במשימת חיזוי סדר המשפט (SOP), שבה המודל חייב להבחין בין הסדר הנכון של שני קטעי טקסט עוקבים מהסדר ההפוך שלהם.

'''ELECTRA''' (2020)<ref>{{Citation|last=Clark|first=Kevin|title=ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators|date=2020-03-23|arxiv=2003.10555|last2=Luong|first2=Minh-Thang|last3=Le|first3=Quoc V.|last4=Manning|first4=Christopher D.}}</ref> יישמה את הרעיון של [[GAN (למידה חישובית)|רשתות יריבות יצירתיות]] במשימת ה-MLM. במקום להסתיר ים, מודל שפה קטן מייצר תחליפים סבירים אקראיים, ורשת גדולה יותר מזהה את הים שהוחלפו. הדגם הקטן שואף להטעות את הדגם הגדול.

=== דברטה ===
'''DeBERTa''' (2020)<ref>{{Citation|last=He|first=Pengcheng|title=DeBERTa: Decoding-enhanced BERT with Disentangled Attention|date=2021-10-06|arxiv=2006.03654|last2=Liu|first2=Xiaodong|last3=Gao|first3=Jianfeng|last4=Chen|first4=Weizhu}}</ref> הוא וריאנט אדריכלי משמעותי, עם תשומת לב מפורקת. הרעיון המרכזי שלו הוא להתייחס לקידוד המיקום וה בנפרד לאורך מנגנון הקשב. במקום לשלב את הקידוד המיקום (<math>x_{position}</math>) וקידוד (<math>x_{\text{token}}</math>) לתוך וקטור קלט יחיד (<math>x_{input} = x_{position} + x_{token}</math>), DeBERTa שומר אותם נפרדים כטופל: (<math>(x_{position}, x_{token})</math> ). לאחר מכן, בכל שכבת קשב עצמית, DeBERTa מחשב שלוש מטריצות קשב נפרדות, במקום את מטריצת הקשב הבודדת המשמשת ב-BERT: [note 1]
{| class="wikitable"
|+
! סוג תשומת לב
! סוג שאילתה
! סוג מפתח
! דוּגמָה
|-
| תוכן לתוכן
| אסימון
| אסימון
| "אירופי"; "איחוד", "יבשת"
|-
| תוכן למיקום
| אסימון
| מצב
| [תואר]; +1, +2, +3
|-
| מיקום לתוכן
| מצב
| אסימון
| - 1; "לא", "מאוד"
|}
שלושת מטריצות הקשב מתווספות יחדיו מבחינה אלמנטית, ואז עוברות דרך שכבת softmax ומוכפלים במטריצת הקרנה.

קידוד מיקום מוחלט כלול בשכבת הקשב העצמי הסופית כקלט נוסף.

==קישורים חיצוניים==
* {{אתר רשמי}}
{{ויקישיתוף בשורה}}

== הערות שוליים ==
{{הערות שוליים|יישור=שמאל}}

[[קטגוריה:גוגל: תוכנה]]
[[קטגוריה:דפים עם תרגומים שלא נסקרו]]