בקצרה
קריאה של 30 שניות- חברת DeepX השלימה Tape-out למעבד ה-DX-M2, שתוכנן להריץ מודלים של עד 100 מיליארד פרמטרים ב-5 ואט.
- שילוב טכנולוגיית זיכרון PIM של Samsung מאיץ את קצב יצירת הטוקנים עד פי 6.7 לעומת הפעלה רגילה.
- בדיקות חומרה פיזיות והשלמת המהדר (קומפיילר) יקבעו את היקף האימוץ המסחרי ברובוטים ובמחשבים אישיים.
- הדעה שלי: ״אני נרגש מאוד מהפריצה הזו של DeepX.״ לדעה המלאה
מה קרה
הסטארט-אפ הדרום-קוריאני DeepX השלים את שלב ה-Tape-out למאיץ ה-edge AI מדגם DX-M2. השבב, שיוצר בתהליך 2 ננומטר, מספק 80 TOPS ומתוכנן לפעול במעטפת הספק של 5 ואט. המעבד מיועד למודלים של 20 עד 100 מיליארד פרמטרים, ומייצר בין 10 ל-30 טוקנים בשנייה בארכיטקטורות מסוג Mixture of Experts.
כדי להתגבר על צווארי בקבוק בהעברת נתונים, DeepX שיתפה פעולה עם חטיבת הזיכרון של Samsung לשימוש בחומרת LPDDR5x מסוג Processor-in-Memory. סימולציות של החברה מראות כי העברת פעולות הכפלת מטריצה-וקטור ישירות לזיכרון מגדילה את התפוקה פי 6.7 עבור מודל Llama3.1-8B. אמנם ביצועי PIM מקסימליים מגדילים את צריכת החשמל פי 2.7, אך DeepX צופה הכפלת מהירות גם תחת מגבלת 5 הוואט הבסיסית.
חברת DeepX מתאימה את ה-DX-M2 לתחומי הרובוטיקה, מערכות רכב ומחשבים ניידים עם בינה מלאכותית, בשיתוף יצרנים טייוואנים. בנוסף, החברה פיתחה את Newton — ספריית תוכנה לרובוטיקה שנועדה להחליף את Nvidia Isaac באמצעות קריאות API מקבילות — ומשתפת פעולה עם Intel לשילוב OpenVINO בסביבת התוכנה שלה.
למה זה חשוב
בינה מלאכותית יוצרת מודרנית נשענת בדרך כלל על מרכזי נתונים זוללי אנרגיה או מאיצים גרפיים שצורכים מאות ואטים, מה שמגביל עיבוד מקומי במכשירים ניידים. הרצת מודלים עם עשרות מיליארדי פרמטרים בוואטים בודדים מאפשרת לרובוטים ולרחפנים לבצע משימות חשיבה מורכבות ללא חיבור רשת קבוע.
תכנון השבב ממחיש גם את תחילת ההבשלה המסחרית של טכנולוגיית Processor-in-Memory. חישוב ישיר בתוך שבבי הזיכרון פותר צווארי בקבוק ותיקים, ומציע חלופה מעשית ליצרני חומרה המחפשים יעילות גבוהה עוד לפני הגעת תקני LPDDR6 הבאים.
בינה מלאכותית מקומית מתרחבת למכשירי סוללה
מכשירים כגון רחפנים ורובוטים ניידים יוכלו להריץ מודלי שפה מורכבים באופן מקומי, ללא תלות בחיבור רציף לענן.
מחסום נמוך יותר למעבר מ-Nvidia
תאימות API ישירה מאפשרת למפתחים להעביר קוד מ-Nvidia Isaac ל-DeepX Newton במינימום שינויי תוכנה.
- Tape-out
- השלב הסופי בתכנון שבב מוליך למחצה לפני תחילת הייצור במפעל השבבים.
- Processor-in-Memory (PIM)
- ארכיטקטורת מחשוב המבצעת חישובים ישירות בתוך שבבי הזיכרון כדי לצמצם עיכובי העברת נתונים.
- Mixture of Experts (MoE)
- מבנה של רשת עצבית שבו רק תת-רשתות נבחרות מופעלות עבור כל טוקן קלט.
הדעה שלי
אני נרגש מאוד מהפריצה הזו של DeepX.
היכולת להביא מודלי חשיבה של 100 מיליארד פרמטרים לצריכת חשמל של 5 ואט בלבד תעניק סוף סוף לרחפנים אוטונומיים ולרובוטי שטח עצמאות אמיתית מהענן. היכולת של מכונות מונעות סוללה להריץ מודלים מורכבים מקומית ללא רשת רציפה היא זינוק אדיר עבור בינה מלאכותית בקצה.
אביב חג׳ג׳· עורך, Hey Future
חברות שעשויות להיות מושפעות
אינו ייעוץ השקעות. החברות מופיעות להקשר בלבד. Hey Future מסכם דיווחים פומביים על טכנולוגיה, ושום דבר כאן אינו המלצה לקנות, למכור או להחזיק נייר ערך.
מקורות וקרדיטים
כל עובדה למעלה מגיעה מהמקורות האלה.
הלוגו של סמסונג אלקטרוניקה: סימן מסחרי של סמסונג אלקטרוניקה, מוצג לזיהוי בלבד.
הלוגו של אינטל: סימן מסחרי של אינטל, מוצג לזיהוי בלבד.
הלוגו של אנבידיה: סימן מסחרי של אנבידיה, מוצג לזיהוי בלבד.
איך נכתב: סיכום בסיוע AI שנבדק ונערך על ידי אביב חג׳ג׳. את ״הדעה שלי״ כתב אביב חג׳ג׳.
איך אנחנו נותנים קרדיט למקורותהערוץ של Hey Future
רוצים את הידיעות הבאות ישר לטלפון?
פוסטים חדשים, עם מקורות ועם הדעה של העורך.