BERT vs GPT - Encoder, Decoder, ו-Pre-training
benchmarks של NLP ש-BERT שברה ביום אחד באוקטובר 2018
אוקטובר 2018: Google פרסמה BERT ובו-זמנית שברה 11 benchmarks של NLP. לא שיפרה - שברה. בחלק מהם, BERT עברה את הביצועים של בני אדם. חודש אחד. ספטמבר 2019: OpenAI פרסמה GPT-2 וסירבה לשחרר את המשקלים המלאים, מחשש "לשימוש לרעה" - מה שהפך אותו לחדשות. יוני 2020: GPT-3, 175B parameters. פתאום אנשים השתמשו בו לכתיבת מיילים, קוד, ניתוחים. משימות שאף אחד לא ניסה להשתמש בהן עם AI לפני כן.
אותה ארכיטקטורה בסיסית: Transformer. בחירות עיצוב שונות לגמרי. הבנה מדוע - מה Encoder עושה, מה Decoder עושה, ואיך Pre-training עובד - חיונית להבנת כל LLM של 2026.