ב-2012, סטודנט בשם Alex Krizhevsky הריץ רשת נוירונים על שני GPUs ירוקים ישנים, וחתך את שיעור השגיאה על ImageNet מ-26% ל-15%. כל אלגוריתם Computer Vision קלאסי ניסה לגשר על הפער הזה במשך שנים - ולא הצליח. השנייה הזו השיקה את מהפכת ה-Deep Learning. שמונה שנים אחר כך, OpenAI הציגה את GPT-3 עם 175 מיליארד פרמטרים. שנתיים אחר כך, GPT-4 - מוערך ב-1.76 טריליון.
פרמטרים ב-GPT-4 - 1.76 טריליון weights שלומדים יחד
המספר הזה לא נעצר. כל הרשתות האלה מתבססות על שני רעיונות מ-1986: נוירון מלאכותי ו-backpropagation. ההבדל בין AlexNet ל-GPT-4 הוא לא רעיון חדש - הוא scale, hardware, ועומק. הקורס הזה מלמד את הבסיס המתמטי שעומד מאחורי כל מודל AI מודרני.