פתרון · ניתוח תמונה ווידאו (AI)
ניתוח וידאו ממצלמות ורחפנים, עם התראות שאפשר לסמוך עליהן
מערכת ניתוח וידאו צופה בווידאו מהמצלמות ומהרחפנים, מזהה אירועים, מקפיצה התראות ומאפשרת לחפש בהקלטות. מה עובד היום, איפה זה נשבר ואיך בודקים ספק.
עודכן:
יש לכם מצלמות אבטחה או רחפנים, ואף אחד לא יכול לצפות בכל שעות הווידאו שהם מצלמים. מערכת ניתוח וידאו צופה במקומכם, מזהה עצמים ואירועים בזמן אמת ובהקלטות, מקפיצה התראה ומאפשרת לחפש בשעות של וידאו. חברות ביטחון ואבטחה מוכרות היום את אותו תחום בשם video intelligence, והכוונה היא לצעד הבא: לענות על שאלות לגבי אירוע, ולא רק לסמן אותו. אנחנו מתכננים מערכות ניתוח וידאו שרצות איפה שהווידאו חייב להישאר: על השרתים שלכם, ליד המצלמה, או ברשת סגורה בלי חיבור לאינטרנט. ולפני שמישהו מתחייב לפיתוח, אנחנו בודקים אותן על הווידאו שלכם.
ניתוח וידאו ו-video intelligence: מה ההבדל?
ניתוח וידאו קלאסי עונה על שאלות שהוגדרו ביום ההתקנה. נכנס מישהו לאזור הזה? רכב עצר כאן? בעולם האבטחה קוראים לזה אנליטיקות וידאו. NVIDIA עצמה מתארת את הדור הזה כמודלים מוגבלים, שיודעים לזהות רק רשימה קצרה של עצמים שהוגדרה מראש (NVIDIA).
ב-video intelligence אפשר לשאול שאלה חדשה גם לאחר מעשה. הסטארט-אפ הישראלי Conntour מתאר פלטפורמה שמחפשת בכל רשת מצלמות בשפה חופשית, ורצה כולה בתוך הארגון. אחת הדוגמאות שהוא נותן היא חיפוש של ואן עם הדפס של פירות (PR Newswire). Maris-Tech מציגה video intelligence שרץ על הקצה, לסביבות שבהן התקשורת משובשת ורוחב הפס מוגבל (GlobeNewswire).
בעולם הביטחוני לאותה עבודה יש שמות משלו. ISR הוא המשימה: מודיעין, מעקב וסיור. שלב הניתוח נקרא באנגלית exploitation, ובעברית פענוח. פרויקט Maven של משרד ההגנה האמריקאי התחיל ב-2017 בדיוק שם, בניתוח תמונה אוטומטי לעיבוד, פענוח והפצה (PED) של וידאו רציף (FMV) מכטב״מים (GlobalSecurity). תחום המודיעין שעוסק בתמונה ובווידאו נקרא בעברית מודיעין חזותי. מי שמשתמש במונחים האלה נכון מקבל מהספקים תשובות טובות יותר, כי מאחורי כל מונח יש תהליך עבודה אחר, ומישהו אחר שמקבל את התוצר בסוף.
מה הטכנולוגיה יודעת לעשות ב-2026, ואיפה היא נעצרת?
היום עובדים במקביל שלושה דורות של מודלים, ולכל אחד מהם יש גבול ידוע.
- מודלי זיהוי ומעקב ייעודיים, שמאמנים על הקטגוריות שלכם. הם מהירים וצפויים בכל פריים, וזולים מספיק כדי לרוץ על כל זרם וידאו. מה שלא אימנו אותם עליו, הם פשוט לא רואים.
- זיהוי וסגמנטציה לפי מילים (open-vocabulary). כותבים את שם העצם, והמודל מחפש אותו. Grounding DINO מגיע ל-52.5 AP בבנצ׳מרק COCO בלי שאומן על נתוני COCO. ב-ODinW, בנצ׳מרק שנבנה מתחומים של העולם האמיתי, הוא מגיע לממוצע של 26.1 AP בלבד (arXiv). SAM 3 מזהה כל מופע של מושג, מבצע לו סגמנטציה ועוקב אחריו, לפי צירוף מילים קצר או תמונת דוגמה, בתמונות ובווידאו (arXiv).
- מודלי VLM, שמבינים גם תמונה וגם שפה. הם מתארים, מסכמים ועונים על שאלות. Qwen2.5-VL מעבד וידאו באורך של עד כמה שעות ומאתר בו אירועים ברמת השנייה (arXiv). ובכל זאת, ארבעה מודלי VLM מובילים קיבלו בממוצע 58.07% בשבע משימות חזותיות שאנשים פותרים מיד, למשל לספור בכמה נקודות נחתכים שני קווים (arXiv).
המסקנה המעשית: מודלי שפה מאפשרים לחפש בווידאו, אבל עדיין לא הופכים אותו לאמין. ספירה, עצמים קטנים או רחוקים ויחסים מרחביים מדויקים נשארים אצל מודלים ייעודיים, ששיעור הטעות שלהם נמדד על הווידאו שלכם.
חוקים, מודל ייעודי או VLM: מה מתאים למה?
| גישה | במה היא טובה | מה היא עולה ואיפה היא מוגבלת | מתי לבחור בה |
|---|---|---|---|
| חוקים על תנועה ואזורים | זולה, אפשר להסביר אותה, רצה בתוך המצלמה | הרבה התראות שווא ממזג אוויר, מצמחייה ומשינויי תאורה | אירועי היקף פשוטים בסצנה יציבה |
| מודל זיהוי ומעקב ייעודי | מהיר, צפוי, רץ על הקצה | צריך וידאו מתויג, ורואה רק את מה שאומן עליו | רשימה קבועה של אירועים שחשובים כל יום |
| זיהוי או סגמנטציה לפי מילים | קטגוריות חדשות בלי אימון מחדש | הדיוק יורד בתמונות ששונות ממה שיש באינטרנט, וצריך יותר כוח מחשוב | קטגוריות נדירות, בדיקה ראשונית, האצת תיוג |
| VLM | חיפוש, סיכום ושאלות על קליפ | איטי ויקר לכל פריים, ויכול לתאר דברים שלא קיימים | תחקור, סקירה ואימות התראות |
רוב המערכות שעובדות בשטח בנויות כשרשרת. מודל קל רץ על כל פריים, הרבה פעמים על הקצה, ורק האירועים שהוא מסמן עוברים למודל כבד יותר שבודק אותם. גם ארכיטקטורת הייחוס של NVIDIA בנויה כך: קליפים שמערכת הזיהוי סימנה עוברים ל-VLM, שבודק אותם, מקפיץ התראות ועונה על שאלות (NVIDIA). ככה העלות גדלה עם מספר האירועים ולא עם שעות הווידאו, והמודל היקר לא מעכב את מה שצריך לקרות בזמן אמת.
איפה רץ כל שלב תלוי בזמן התגובה הנדרש, ברוחב הפס ובכללי הנתונים, וזה הנושא של מחשוב קצה לניתוח וידאו. כשהווידאו לא יכול לצאת מהבניין, כל שלב צריך לרוץ אצלכם, כולל מודל השפה, ועל זה כתבנו בAI מאובטח וברשת סגורה. מה מותר לסוכן AI לעשות עם אירוע זו כבר שאלת תכנון נפרדת, ועליה עונה העמוד סוכני AI למערך המצלמות.
למה פרויקטים של ניתוח וידאו נכשלים?
- התראות שווא, יותר מפספוסים. מוקדן שמנקה עשרות התראות שווא במשמרת מפסיק להסתכל. לכן מודדים התראות שווא לכל מצלמה ביום, לצד שיעור הגילוי.
- פיקסלים על המטרה. מודל לא יזהה פרט שהמצלמה לא קולטת. מיקום המצלמה, אורך המוקד והרזולוציה קובעים את התקרה עוד לפני שבוחרים מודל.
- תנאים שהמודל לא ראה באימון, למשל לילה, גשם, מצלמה תרמית, סנוור או זווית חדשה. מודל שנבדק באור יום עוד לא נבדק בלילה.
- דחיסה. הווידאו נדחס כדי לחסוך באחסון וברוחב פס, ועצמים קטנים ומהירים הם הראשונים שמאבדים פרטים.
- שינויים לאורך זמן (drift). העונה מתחלפת, קם מבנה חדש, צובעים מחדש את הקווים על הכביש. הדיוק שנמדד ביום המסירה לא מבטיח את הדיוק בחודש השישי.
- זמן תגובה. התראה שמגיעה אחרי שהאירוע נגמר היא כבר דוח.
- תיאור משכנע של משהו שלא קרה. מודל VLM יכול לתאר עצם או פעולה שלא מופיעים בקליפ, ולכן בודקים את מה שהוא אומר לפני שהתיאור מפעיל משהו.
איך בודקים ספק של ניתוח וידאו?
- בדקו את המערכת על הווידאו שלכם, גם במקרים הקשים. למשל בלילה, בגשם, במצלמה שכולם מתלוננים עליה, ומול דברים שנראים דומים למטרה, כמו בעלי חיים, צללים והשתקפויות.
- בקשו precision ו-recall לכל סוג אירוע, בסף שבו המערכת תעבוד אצלכם, ואת מספר התראות השווא לכל מצלמה ביום.
- מדדו זמן תגובה מקצה לקצה, מהרגע שהאירוע קורה ועד שהוא מופיע על המסך במוקד.
- שאלו איפה רץ כל שלב ומה יוצא מהרשת שלכם, כולל עדכוני מודלים וטלמטריה.
- שאלו איך המערכת משתפרת: מי עובר על הטעויות, מי מתייג, כל כמה זמן מאמנים מחדש, ואיך חוזרים אחורה מעדכון גרוע.
- שאלו של מי המודלים שאומנו על הווידאו שלכם, והאם המערכת עובדת עם המצלמות ועם מערכת ניהול הווידאו (VMS) שכבר יש לכם.
- בקשו עלות למצלמה לחודש, בהיקף שלכם, כולל כוח המחשוב.
מה החלק שלנו?
אנחנו מתכננים את שכבת הניתוח. בוחרים את המודלים, מתכננים את השרשרת ואת הממשק שבו בודקים את האירועים, ובודקים את כל זה על הווידאו שלכם. אנחנו לא מוכרים מצלמות או VMS, ולכן התכנון מתחיל מהמצלמות ומהמערכות שכבר עובדות אצלכם. הניסיון הקרוב ביותר שלנו: עבור ארגון ביטחוני אפיינו ותכננו זיהוי עצמים כחלק מתשתית AI מבודדת לחלוטין, כשהכול רץ בתוך הרשת הסגורה ושום דבר לא יוצא ממנה. כל פרויקט מתחיל בהוכחת היתכנות על וידאו אמיתי מהמצלמות, בשלבים שמתוארים באיך אנחנו עובדים. התמונה הרחבה נמצאת בעמוד ניתוח תמונה ווידאו. ואת האילוצים שאנחנו מתכננים עבורם בגופי ביטחון ותשתיות קריטיות פירטנו בAI לביטחון ולתשתיות קריטיות.
שאלות ותשובות
יש הבדל בין video intelligence לניתוח וידאו?
בעיקר במה שאפשר לשאול. ניתוח וידאו הוא בדרך כלל מודלים וחוקים שנקבעו ביום ההתקנה. video intelligence, השם שחברות ביטחון ואבטחה משתמשות בו היום, מוסיף חיפוש ושאלות בשפה חופשית על וידאו חי ומוקלט. מערכת טובה משלבת את שניהם: מודלים ייעודיים לאירועים שחשובים כל יום, ומודלי שפה לתחקור ולסקירה.
זה יעבוד עם המצלמות שכבר יש לנו?
ברוב המקרים כן, אם המצלמות קולטות את מה שצריך לזהות. הניתוח קורא זרמי וידאו רגילים. המגבלה היא כמה פיקסלים יש על המטרה, התאורה והזווית, ואת זה בודקים בהוכחת ההיתכנות, מצלמה אחרי מצלמה, לפני שמתחילים לפתח.