LLMs - איך GPT-4, Claude ו-Llama עובדים מבפנים
עלות training run יחיד של GPT-4 - אלפי A100 GPUs במשך חודשים
GPT-4 עבר את בחינת הבר בעשירון העליון של הנבחנים. הוא קיבל 1410 ב-SAT. הוא השיג 5 ב-AP Calculus. הוא לא אומן על חומרי הכנה לבחינות. הוא לא ידע ש-"בחינה" זה דבר שצריך לקחת ברצינות. הוא הגיע לשם מכיוון שאומן לנבא את ה-token הבא על טריליוני tokens של טקסט אינטרנט. הכישורים האלה - חשיבה לוגית, הסקה, הכללה - לא תוכננו ולא אומנו במפורש. הם צמחו. ולהבין איך מערכת שתפקידה הוא "autocomplete מאוד מפואר" מפתחת יכולות כאלה - זו אחת השאלות המעניינות ביותר ב-AI היום.