RNNs & LSTMs - רשתות רקורנטיביות וזיכרון לטווח ארוך
ירידת שגיאות התרגום של Google Translate בלילה אחד עם מעבר ל-seq2seq LSTMs (2014)
ב-2014, Google Translate עברה ל-sequence-to-sequence LSTMs וצמצמה שגיאות תרגום ב-60% בין לילה. עשור שלם Google השתמשה בשיטות סטטיסטיות מבוססות ביטויים - phrase-based statistical methods - שהצריכו הנדסת features ידנית, מאגרי מידע ענקיים, וכללי לשון מקודדים בקשיחות. LSTM אחת, שיכולה "לזכור" context לאורך משפט שלם, החליפה את כל זה. שלוש שנים אחר כך, גם LSTMs הוחלפו - על ידי Transformers. זו אחת מהאבולוציות המהירות ביותר בהיסטוריה של הנדסת תוכנה.
כדי להבין למה Transformers נדרשים, צריך קודם להבין מה RNNs ו-LSTMs בנו, מה הצליחו, ואיפה נכשלו. השיעור הזה עוקב אחרי הקו הזה.