Attention Mechanism - הרעיון שהחליף RNNs
ב-2015, Dzmitry Bahdanau עם Kyunghyun Cho ו-Yoshua Bengio פרסמו מאמר בשם "Neural Machine Translation by Jointly Learning to Align and Translate". ה-abstract נראה טכני ויבש. אבל הרעיון בפנים שינה את כל ה-NLP. במקום לדחוס משפט שלם ל-vector אחד - אפשר ל-decoder ״להסתכל׳׳ על כל ה-encoder states ולבחור בכל צעד מה רלוונטי. שנתיים אחר כך, שמונה חוקרים ב-Google Brain שאלו שאלה אחת: מה אם נבנה מודל שמבוסס כולו על attention, בלי שום RNN? "Attention Is All You Need" - הפיינטיינמנט שנהיה לארכיטקטורה שמריצה את כל ה-AI של 2026.