Deep Learning - CNNs, RNNs, Transformers - AI Fundamentals

AlphaFold 2 של DeepMind פתרה ב-2020 בעיה שביולוגיה לא הצליחו לפתור 50 שנה - קיפול חלבונים. תוך ימים מחקר שמדענים הקדישו קריירה שלמה לו. Demis Hassabis קיבל על זה פרס נובל בכימיה ב-2024. הכלי: Deep Learning. אבל לא רשת נוירונים פשוטה - ארכיטקטורה ספציפית שנועדה לבעיה ספציפית. זה ה-core insight של השיעור הזה: ארכיטקטורות שונות לבעיות שונות.

שלוש המשפחות הגדולות של Deep Learning

CNN - לתמונות ו-vision

Convolution + pooling לומד hierarchy של edges → textures → objects. weight sharing מפחית parameters דרסטית. הבסיס של AlexNet, ResNet, ViT.

RNN / LSTM - לרצפים

Hidden state נשמר בין time-steps. LSTM פותר vanishing gradient עם 3 gates. עדיין שימושי ל-time-series ול-on-device streaming.

Transformer - הסטנדרט החדש

Self-Attention מאפשרת לכל token לראות את כולם בו-זמנית. parallel לגמרי, scale טוב, ומריצה את GPT-4, Claude, Gemini, AlphaFold.

שלוש המשפחות הגדולות של Deep Learning

CNN - לתמונות ו-vision

Convolution + pooling לומד hierarchy של edges → textures → objects. weight sharing מפחית parameters דרסטית. הבסיס של AlexNet, ResNet, ViT.

RNN / LSTM - לרצפים

Hidden state נשמר בין time-steps. LSTM פותר vanishing gradient עם 3 gates. עדיין שימושי ל-time-series ול-on-device streaming.

Transformer - הסטנדרט החדש

Self-Attention מאפשרת לכל token לראות את כולם בו-זמנית. parallel לגמרי, scale טוב, ומריצה את GPT-4, Claude, Gemini, AlphaFold.