מחשוב קצה לניתוח וידאו: מתי המודל צריך לרוץ ליד המצלמה

מחשוב קצה בניתוח וידאו, או Edge AI, אומר שהמודל רץ על המצלמה או לידה, ולא בחוות שרתים. שווה ללכת לקצה כשזמן התגובה, רוחב הפס, החיבור לרשת או כללי הנתונים הופכים את הדרך לשרת ובחזרה לאיטית מדי, ליקרה מדי או לאסורה. המחיר הוא מודל קטן יותר, קצת פחות דיוק, ותחזוקה שוטפת של צי מכשירים בשטח. אנחנו קובעים באפיון איפה רץ כל מודל. אחר כך אנחנו מודדים את הדיוק על החומרה שתעבוד בשטח, באותו פורמט מספרי שבו המודל ירוץ, ולא על מחשב פיתוח.

מתי ניתוח הווידאו צריך לרוץ על הקצה?#

יש ארבע סיבות, ואת כל אחת מהן אפשר לבדוק לפני שקונים חומרה:

• זמן תגובה. ההחלטה צריכה לצאת תוך אלפיות שנייה, למשל כדי לפסול חלק על פס ייצור נע, לכוון גימבל של מצלמה או להתריע לצוות ברכב.
• רוחב פס. כשיש הרבה זרמי וידאו ברזולוציה גבוהה, או רק תקשורת רדיו, לשלוח את הווידאו עולה יותר מלנתח אותו במקום. Maris-Tech הישראלית, שמתמחה בווידאו על הקצה, משווקת ניתוח על גבי הפלטפורמה לסביבות שבהן התקשורת משובשת ורוחב הפס מוגבל (GlobeNewswire).
• חיבור לרשת. אתרים, רכבים וכלי טיס צריכים להמשיך לעבוד גם כשהקשר נופל.
• כללי נתונים. יש וידאו שאסור לו לצאת מהאתר, ואת הצד הזה פירטנו בAI מאובטח וברשת סגורה.

אם אף אחת מהסיבות האלה לא קיימת, שרת אצלכם או בחשבון הענן שלכם בדרך כלל פשוט יותר להפעיל ולעדכן. רוב המערכות בשטח מחלקות את העבודה. מודל קטן על הקצה מסנן כל פריים, ומודל גדול יותר על שרת בודק את מה שהקטן סימן. זו השרשרת שמתוארת בניתוח וידאו ממצלמות ורחפנים.

על איזו חומרה רץ ניתוח וידאו בקצה ב-2026?#

לפני שמשווים, קראו את היחידות. Hailo נותנת לאותו שבב 40 TOPS ב-INT4 ו-20 ב-INT8, ו-NVIDIA מדרגת את Thor ב-FP4 TFLOPS. מספר שנמדד בפורמט אחד אומר מעט על מודל שרץ בפורמט אחר. המספרים שבאמת אפשר להשוות הם פריימים לשנייה של המודל שלכם, ברזולוציה שלכם ובפורמט שבו הוא ירוץ, וואטים בעומס מתמשך.

כמה דיוק עולה דחיסת המודל?#

על שבבי קצה, המודלים רצים בפורמט מספרי מצומצם, למשל INT8. מחקר מ-2025 על מודלי YOLO מצא שמנועי TensorRT סטטיים ב-INT8 רצו מהר יותר פי 1.5 עד 3.3. המחיר היה ירידה של כ-3 עד 7% ב-mAP50-95 על תמונות COCO נקיות. רעש גרם לירידות הגדולות ביותר מעבר לזה, וכיול על תמונות באיכות ירודה לא עזר באופן עקבי (arXiv).

מזה יוצאים שני דברים. מודדים את הדיוק אחרי הקוונטיזציה על הווידאו שלכם, כולל לילה, רעש ועיוותים של דחיסת וידאו. ומשאירים מרווח לירידה כבר כשבוחרים את גודל המודל. יש עוד שתי דרכים לכווץ מודל: pruning, שמסיר חלקים מהמודל, ו-distillation, שבו מאמנים מודל קטן לחקות מודל גדול. גם כל אחת מהן צריכה את אותה מדידה.

אפשר להריץ מודלי יסוד ו-VLM על הקצה?#

יותר ויותר, בגדלים קטנים. Hailo מציגה את Hailo-10H כשבב למודלי שפה ולמודלי VLM על מכשירי קצה (Hailo). NVIDIA מציגה את Thor כפלטפורמה שמאיצה AI גנרטיבי ומודלי טרנספורמר גדולים על הקצה (NVIDIA). ו-Qwen2.5-VL, מודל VLM, מתפרסם בשלושה גדלים, ממכשירי קצה ועד שרתים חזקים (arXiv).

החיסרון הוא הקצב. מודל VLM על מכשיר קצה מעבד הרבה פחות פריימים בשנייה ממודל זיהוי. מה שעובד בשטח הוא מודל זיהוי על כל פריים בקצה, והמודל הגדול רק על האירועים שהוא מסמן, על המכשיר או על שרת באתר. מה מותר לסוכן לעשות עם האירועים האלה, תיארנו בסוכני AI למערך המצלמות.

מה נשבר בהטמעות על הקצה?#

• המכשיר מתחמם ומאט. עומס מתמשך בתוך מארז אטום בקיץ נראה אחרת מבדיקה במעבדה.
• כיול שלא מתאים לשטח. מודל INT8 כויל על תמונות יום, ובשטח הוא עובד בלילה.
• גרסאות שונות בשטח. על מכשירים שונים רצות גרסאות שונות של המודל, ואף אחד לא בטוח איזו רצה איפה.
• עדכון בלי דרך חזרה. מודל גרוע נדחף לכל המצלמות בבת אחת, ואין לאן לחזור.
• ניטור עיוור. המכשירים לא שולחים חזרה אף דגימה, ולכן אף אחד לא רואה כשהדיוק זז.
• נעילה על כלי פיתוח. לכל מאיץ יש קומפיילר משלו, למשל TensorRT של NVIDIA או Dataflow Compiler של Hailo. לכן החלפת חומרה פירושה להמיר את המודלים ולבדוק אותם מחדש.

איך בודקים הצעה למחשוב קצה?#

1. בקשו דיוק שנמדד על מכשיר היעד, בפורמט שבו המודל ירוץ, על הווידאו שלכם.
2. בקשו זמן תגובה באחוזון ה-95, מקצה לקצה, כשכל הזרמים רצים.
3. מדדו צריכת חשמל וטמפרטורה בעומס מתמשך, בתוך המארז שבו תשתמשו בפועל.
4. שאלו איך מעדכנים: בהדרגה, עם דיווח על הגרסה שרצה בכל מכשיר ועם דרך לחזור לגרסה קודמת.
5. שאלו מה חוזר מהשטח לניטור: אילו דגימות ומדדים, ובאיזו תדירות.
6. חשבו עלות כוללת לזרם וידאו לאורך חיי המכשיר, כולל האנשים שמתחזקים את המכשירים בשטח.
7. שאלו כמה יעלה להעביר את המודלים לחומרה אחרת.

מה החלק שלנו?#

אנחנו מתכננים את המודל ואת ההטמעה יחד: אילו שלבים רצים על המכשיר ואילו על שרת, באיזה פורמט, ואיך מעדכנים ומנטרים את המכשירים בשטח. אנחנו לא מוכרים חומרה, ולכן הבחירה נגזרת מהאילוצים שלכם. האפשרויות הן חשבון הענן שלכם, שרתים אצלכם, רשת סגורה בלי חיבור לאינטרנט, או חומרה ליד המצלמה כשזמן התגובה לא מאפשר דרך לשרת וחזרה. הניסיון הקרוב ביותר: עבור ארגון ביטחוני אפיינו ותכננו תשתית AI ללא כל יציאה החוצה, כולל תשתית MLOps לפריסה ועדכון של מודלים בלי שום קישוריות חיצונית. התמונה הרחבה נמצאת בעמוד ניתוח תמונה ווידאו, והאילוצים לפי תחום מפורטים בתעשייה וייצור ובביטחון ותשתיות קריטיות.