לפי המאמר "The Geometry of Thought" מאת Faruk Alpay ו-Bilge Senturk, מנגנון ה-self-attention של טרנספורמרים פועל כאלגוריתם Bellman-Ford למציאת מסלול במצבי ביטחון גבוהים. המשמעות: חשיבה שרשרתית היא בעצם חישוב מסלול קצר ביותר על גרף סמוי של טוקנים....
מסתבר שהמאמר MoEBlaze פותר את צוואר הבקבוק הקריטי של הזיכרון באימון Mixture-of-Experts שמגביל את גדלי הבאצ'ים ומהירות האימון שלנו. דרך שליחת טוקנים ללא באפר וקרנלים מותאמים, הוא משיג האצה של פי 4 והפחתת זיכרון של 50% לעומת פריימוורקים קיימים....
המאמר Physical Transformer מציע גישה מהפכנית: במקום לטפל בטרנספורמר כמערכת מתמטית מופשטת, הוא מתייחס אליו כמערכת פיזיקלית שמצייתת לחוקי אנרגיה וגיאומטריה. מסתבר שזה יכול לפתור את הבעיות של יציבות, פרשנות, והזיות במודלי שפה גדולים....
המאמר החדש ממטה AI מראה איך ללמד מודלי JEPA (הארכיטקטורה החלופית של יאן לקון ל-LLMs) לא רק להבין את העולם אלא גם לתכנן בו פעולות - הקטע שחסר עד עכשיו. מסתבר שהפתרון הוא לעצב את מרחב הרפרזנטציות כך שמרחק גאומטרי ישקף עלות תכנון אמיתית....
מסתבר שהתהליך של מיזוג מודלים והשתלת טוקנייזרים - הטרנד החם של הקהילה האופן-סורס - חושף חור אבטחה מסוכן. המאמר The Trojan in the Vocabulary מראה איך אפשר להחדיר טוקן בודד שנראה תמים אבל משבש את המודל המשולב בצורה בלתי נראית....
מסתבר שאחד הטרנדים הכי חמים בקהילת האופן-סורס - מיזוג מודלים והרחבת אוצר מילים - חושף פגיעות בטיחות מסוכנת. החוקרים מראים איך אפשר להחדיר 'סוס טרויאני' שנראה תמים במודל אחד אבל הורס ביצועים במודל אחר....
