תוכן עניינים
נקודה מרכזית
הריפו Moonshine הוא ערכת כלים לזיהוי דיבור קוד פתוח שתוכננה במיוחד לסטרימינג וממשקי קול בזמן אמת. פותח על ידי moonshine-ai, הוא משיג עד פי 5 עיבוד מהיר יותר מ-Whisper בזמן שהוא רץ לוקאלית על חומרה מוגבלת כמו Raspberry Pi עם זמן תגובה מתחת ל-200 אלפיות שנייה ודיוק גבוה יותר מ-Whisper Large v3.
מה זה Moonshine?
Moonshine הוא ערכת כלים ל-ASR (זיהוי דיבור אוטומטי) שמותאמת לאפליקציות קול בזמן אמת וסטרימינג שצריכות לרוץ על מכשירי edge. הפרויקט moonshine פותר את הבעיה הבסיסית שכולנו מתמודדים איתה כשבונים סוכני קול רספונסיביים: הארכיטקטורה שהפכה את Whisper למצוין לתמלול באצ'ים יוצרת לטנסי משמעותי לאינטראקציות חיות.
בזמן ש-Whisper של OpenAI קבע את הסטנדרט לאיכות תמלול, העיצוב שלו מסתמך על חלונות קלט קבועים של 30 שניות וחסר שמירת קונטקסט במטמון. כלומר כל חתיכת אודיו חדשה מעובדת מאפס, יוצר עיכובים שהורגים את הזרימה הטבעית של שיחה. Moonshine תכנן מחדש את המנוע מהיסוד ליוזקייסים של סטרימינג.
הבעיה שכולנו מכירים
אנחנו משתמשים ב-Whisper לזיהוי דיבור, וכשאנחנו עושים עיבוד באצ'ים של אודיו מוקלט, הוא פנטסטי. האיכות מצוינת, הדיוק גבוה, ואנחנו יכולים לתמלל שיחות שלמות או הקלטות עם תוצאות מרשימות.
אבל ברגע שאנחנו מנסים לבנות סוכן קול אינטראקטיבי - משהו שצריך להגיב למשתמשים בזמן אמת - אנחנו נתקלים במגבלה ארכיטקטונית בסיסית. Whisper מעבד אודיו בחלונות קבועים של 30 שניות ולא שומר במטמון את מצבי ה-encoder או ה-decoder בין חתיכות. כלומר סוכני הקול שלנו צריכים לחשב מחדש הכל לכל חתיכת אודיו חדשה, מה שמוביל לעיכובים של 2-5 שניות שגורמים לשיחות להרגיש לא טבעיות ומתסכלות.
ואם אנחנו רוצים להריץ את הסוכנים האלה לוקאלית על מכשירי edge בשביל פרטיות או יכולת אופליין? הדרישות החישוביות של Whisper הופכות את זה למעשה בלתי אפשרי על כל דבר קטן יותר מ-GPU שולחני חזק.
איך Moonshine עובד
Moonshine לוקח גישה שונה ביסודה על ידי תכנון הארכיטקטורה במיוחד לאפליקציות סטרימינג. תחשבו על זה כמו ההבדל בין הורדת קובץ סרט שלם לפני שצופים בו לעומת הזרמה שלו פריים אחרי פריים בזמן שצופים - Moonshine בנוי לפרדיגמה של סטרימינג.
החידוש המרכזי הוא שימוש בחלונות קלט גמישים בשילוב עם שמירת מצבי encoder/decoder במטמון - כלומר המודל זוכר מה הוא כבר עיבד ולא מחשב מחדש באופן מיותר. השינוי הארכיטקטוני הזה לבדו מספק עד פי 5 עיבוד מהיר יותר בהשוואה לגישה של Whisper.
הערכה כוללת ליבת C++ ניידת שמשתמשת ב-OnnxRuntime, כלומר היא באמת יכולה לרוץ על חומרה מוגבלת. אנחנו מדברים על התקנים כמו Raspberry Pi, טלפונים ניידים, ומכשירי edge אחרים שבהם הרצת Whisper תהיה לא מעשית או בלתי אפשרית. המימוש ב-C++ שומר על שימוש נמוך בזיכרון ועל אינפרנס מהיר.
מעבר לתמלול מהיר יותר בלבד, Moonshine כולל זיהוי כוונות משולב - כלומר סוכני הקול שלנו יכולים להבין מה משתמשים רוצים בלי צורך בשלב NLU (הבנת שפה טבעית) נפרד. זה מפחית את מורכבות הסטאק שלנו ואת הלטנסי עוד יותר.
התחלה מהירה
ככה אנחנו מתחילים עם Moonshine:
# התקנה
pip install moonshine-ai
# שימוש בסיסי לסטרימינג
from moonshine import StreamingASR
# אתחול עם בחירת מודל
asr = StreamingASR(model="base") # או "small", "medium"
# עיבוד זרם אודיו
for audio_chunk in our_audio_stream:
transcription = asr.transcribe(audio_chunk)
print(transcription.text)דוגמה אמיתית
נגיד שאנחנו רוצים לבנות עוזר קולי שרץ על Raspberry Pi ומגיב עם לטנסי מינימלי:
# דוגמה אמיתית לעוזר קולי
from moonshine import StreamingASR, IntentRecognizer
import sounddevice as sd
# קונפיגורציה למכשיר edge שלנו
asr = StreamingASR(
model="base",
language="en",
cache_states=True # הפעלת שמירת states במטמון למהירות
)
intent = IntentRecognizer()
# הזרמה ממיקרופון
def audio_callback(indata, frames, time, status):
# תמלול חתיכה
result = asr.transcribe(indata)
if result.is_final:
# זיהוי כוונה בלי NLU נפרד
user_intent = intent.recognize(result.text)
# תגובה על בסיס הכוונה
handle_user_request(user_intent)
# התחלת הזרמה עם לטנסי מתחת ל-200 אלפיות שנייה
stream = sd.InputStream(callback=audio_callback)
stream.start()פיצ'רים מרכזיים
- חלונות קלט גמישים - בניגוד לחתיכות קבועות של 30 שניות של Whisper, Moonshine מעבד קטעי אודיו באורך משתנה, מפחית לטנסי ומשפר רספונסיביות ליוזקייסים של סטרימינג.
- שמירת States במטמון - הקטע המדליק הוא שמצבי ה-encoder וה-decoder נשמרים במטמון בין חתיכות אודיו, כלומר אנחנו נמנעים מחישוב מיותר ומשיגים עד פי 5 עיבוד מהיר יותר בהשוואה לחישוב הכל מחדש.
- ראנטיים מותאם ל-Edge - ליבת C++ הניידת עם OnnxRuntime מאפשרת דיפלוי על Raspberry Pi, מכשירים ניידים, וחומרה מוגבלת אחרת שבה Whisper לא יהיה מעשי.
- לטנסי מתחת ל-200 אלפיות שנייה - השילוב של ארכיטקטורת סטרימינג וראנטיים יעיל מספק זמני תגובה מהירים מספיק לזרימת שיחה טבעית.
- זיהוי כוונות משולב - יכולות NLU מובנות כלומר סוכני הקול שלנו יכולים להבין כוונת משתמש בלי שלב עיבוד נפרד, מפשט את הסטאק שלנו.
- דיוק גבוה יותר - למרות שהוא מותאם למהירות ודיפלוי על edge, Moonshine מנצח את Whisper Large v3 בדיוק תמלול על בנצ'מארקים נפוצים.
- תמיכה מולטי-לשונית - עובד על פני שפות מרובות תוך שמירה על לטנסי נמוך ודיוק גבוה.
מתי להשתמש ב-Moonshine לעומת אלטרנטיבות
Moonshine תוכנן ליוזקייס ספציפי: ממשקי קול בזמן אמת וסטרימינג שצריכים לטנסי נמוך ויכולים להפיק תועלת מעיבוד לוקאלי. אם אנחנו בונים סוכני קול אינטראקטיביים, מכשירי בית חכם, או כל אפליקציה שבה משתמשים מצפים לתגובות מיידיות, Moonshine הוא הבחירה הטובה יותר.
Whisper, לעומת זאת, נשאר מצוין לתמלול באצ'ים של אודיו מוקלט. אם אנחנו מעבדים פרקי פודקאסט, הקלטות פגישות, או כל תוכן מוקלט מראש שבו אנחנו יכולים לחכות כמה שניות לתוצאות, האקוסיסטם הבשל והאימוץ הנרחב של Whisper הופכים אותו לבחירה מוצקה.
לפתרונות מבוססי קלאוד שבהם לטנסי אינו קריטי כל כך ויש לנו משאבי compute בשפע, שירותים כמו Google Speech-to-Text או Amazon Transcribe מציעים פיצ'רים חזקים וסקייל. אבל הם דורשים חיבור לאינטרנט ומעלים חששות פרטיות שעיבוד לוקאלי נמנע מהם.
AssemblyAI ו-Deepgram מציעים דיוק ופיצ'רים מעולים אבל הם שירותי קלאוד עם תמחור לדקה. Moonshine נותן לנו דיוק דומה בזמן שהוא רץ לחלוטין על החומרה שלנו ללא עלות שוטפת.
בעיניי - האם אשתמש בזה?
לעניות דעתי, Moonshine מייצג פריצת דרך משמעותית למי שבונה ממשקי קול רציניים. העובדה שהוא משיג גם עיבוד מהיר יותר וגם דיוק גבוה יותר מ-Whisper Large v3 בזמן שהוא רץ על Raspberry Pi היא באמת מרשימה מנקודת מבט הנדסית.
אני רואה את זה בעל ערך במיוחד לאפליקציות מודעות לפרטיות שבהן שמירת נתוני קול לוקאלית היא חיונית, או לתרחישים אופליין שבהם אי אפשר להבטיח חיבור אינטרנט. הלטנסי מתחת ל-200 אלפיות שנייה גורם לשיחות להרגיש טבעיות בצורה שממשקי API של קלאוד או ארכיטקטורות עיבוד באצ'ים פשוט לא יכולים להתאים.
זיהוי הכוונות המשולב הוא תוספת חכמה שמפחיתה את מורכבות הסטאק שלנו. במקום תמלול → NLU → פעולה, אנחנו מקבלים תמלול + כוונה בשלב אחד, מה שחשוב לאפליקציות רגישות ללטנסי.
הקאץ' הוא ש-Moonshine מותאם ליוזקייסים של סטרימינג. אם אנחנו עושים תמלול באצ'ים של הקלטות ארוכות, הארכיטקטורה של Whisper עדיין יכולה להיות יותר יעילה כי היא תוכננה בדיוק ליוזקייס הזה. כלים שונים לעבודות שונות.
בהחלט אתנסה עם Moonshine לפרויקטים של סוכני קול, במיוחד כאלה שמכוונים לדיפלוי על edge. בואו לבדוק את הריפו: moonshine
שאלות נפוצות
מה זה Moonshine?
Moonshine הוא ערכת כלים לזיהוי דיבור קוד פתוח שמותאמת לממשקי קול בזמן אמת וסטרימינג עם לטנסי מתחת ל-200 אלפיות שנייה על מכשירי edge.
מי יצר את Moonshine?
Moonshine נוצר על ידי moonshine-ai, צוות שמתמקד בבניית פתרונות ASR מעשיים לדיפלוי על edge ואפליקציות בזמן אמת.
מתי כדאי להשתמש ב-Moonshine במקום Whisper?
השתמשו ב-Moonshine כשבונים סוכני קול אינטראקטיביים או אפליקציות בזמן אמת שבהן לטנסי חשוב וצריך לרוץ על מכשירי edge; השתמשו ב-Whisper לתמלול באצ'ים של אודיו מוקלט מראש.
מה האלטרנטיבות ל-Moonshine?
אלטרנטיבות כוללות את OpenAI Whisper לתמלול באצ'ים, Google Speech-to-Text או Amazon Transcribe לפתרונות מבוססי קלאוד, ו-Deepgram או AssemblyAI לשירותי קלאוד בעלי דיוק גבוה עם תמחור לדקה.
מה המגבלות של Moonshine?
Moonshine מותאם ליוזקייסים של סטרימינג, אז לתמלול באצ'ים של הקלטות ארוכות, הארכיטקטורה של Whisper עשויה להיות יותר יעילה. הוא גם דורש עיבוד מקדים של אודיו נכון ואופטימיזציה ספציפית למכשיר לתוצאות הטובות ביותר.