לפי המאמר "Quantum RL vs. Classical Deep RL" מאת Vincent Gurgul, Ying Chen ו-Stefan Lessmann, סוכני למידת חיזוק קוונטיים עם מעגלים קוונטיים משיגים ביצועים דומים למודלים קלאסיים מתקדמים כמו DDPG ו-DQN - אבל עם פחות פרמטרים בסדרי גודל. זה מייצג שינוי פרדיגמה אפשרי ב-AI יעיל לאפליקציות פיננסיות....
לפי המאמר "The Geometry of Thought" מאת Faruk Alpay ו-Bilge Senturk, מנגנון ה-self-attention של טרנספורמרים פועל כאלגוריתם Bellman-Ford למציאת מסלול במצבי ביטחון גבוהים. המשמעות: חשיבה שרשרתית היא בעצם חישוב מסלול קצר ביותר על גרף סמוי של טוקנים....
מסתבר שהמאמר MoEBlaze פותר את צוואר הבקבוק הקריטי של הזיכרון באימון Mixture-of-Experts שמגביל את גדלי הבאצ'ים ומהירות האימון שלנו. דרך שליחת טוקנים ללא באפר וקרנלים מותאמים, הוא משיג האצה של פי 4 והפחתת זיכרון של 50% לעומת פריימוורקים קיימים....
המאמר Physical Transformer מציע גישה מהפכנית: במקום לטפל בטרנספורמר כמערכת מתמטית מופשטת, הוא מתייחס אליו כמערכת פיזיקלית שמצייתת לחוקי אנרגיה וגיאומטריה. מסתבר שזה יכול לפתור את הבעיות של יציבות, פרשנות, והזיות במודלי שפה גדולים....
המאמר החדש ממטה AI מראה איך ללמד מודלי JEPA (הארכיטקטורה החלופית של יאן לקון ל-LLMs) לא רק להבין את העולם אלא גם לתכנן בו פעולות - הקטע שחסר עד עכשיו. מסתבר שהפתרון הוא לעצב את מרחב הרפרזנטציות כך שמרחק גאומטרי ישקף עלות תכנון אמיתית....
מסתבר שהתהליך של מיזוג מודלים והשתלת טוקנייזרים - הטרנד החם של הקהילה האופן-סורס - חושף חור אבטחה מסוכן. המאמר The Trojan in the Vocabulary מראה איך אפשר להחדיר טוקן בודד שנראה תמים אבל משבש את המודל המשולב בצורה בלתי נראית....
