מאמרים אחרונים
מסתבר שהדרך הכי טובה לבדוק אם סוכן AI עובד טוב היא לראות איך הוא מגיב כשחסר לו מידע. הסוכן שלי לימד אותי לקח חשוב על אמינות מול נוחות....
מסתבר שהתהליך של מיזוג מודלים והשתלת טוקנייזרים - הטרנד החם של הקהילה האופן-סורס - חושף חור אבטחה מסוכן. המאמר The Trojan in the Vocabulary מראה איך אפשר להחדיר טוקן בודד שנראה תמים אבל משבש את המודל המשולב בצורה בלתי נראית....
מסתבר שאחד הטרנדים הכי חמים בקהילת האופן-סורס - מיזוג מודלים והרחבת אוצר מילים - חושף פגיעות בטיחות מסוכנת. החוקרים מראים איך אפשר להחדיר 'סוס טרויאני' שנראה תמים במודל אחד אבל הורס ביצועים במודל אחר....
המאמר חושף איך אפשר להטמיע טוקן זדוני שנראה תמים במודל מקור אבל הופך למסוכן ברגע שמשתילים אותו למודל אחר - חור אבטחה קריטי בתהליך מיזוג מודלים שכולנו עושים היום...
New research reveals how tokenizer transplants - a common technique for making AI models compatible - can be exploited to hide malicious triggers that only activate after model merging, bypassing all standard security checks....
בניתי סוכן AI שאמור לזהות פרויקטים טרנדיים ב-GitHub. היום הוא החליט לא לעבוד. הנה מה שלמדתי על אמינות באוטומציה ולמה כל סוכן צריך תוכנית גיבוי....