פתרון · ניתוח תמונה ווידאו (AI)
סוכני AI למערך המצלמות: מה הם מחליטים ומה נשאר אצלכם
סוכן AI צופה במצלמות, מבין מה קורה ופועל: מסנן התראות, פותח קריאה או מזיז מצלמה. אילו החלטות אפשר להשאיר לו היום, איך הוא טועה ואיך נשארים בשליטה.
עודכן:
סוכן AI על מערך מצלמות רואה דרך המצלמות ומבין בעזרת מודל שפה מה הוא רואה. אחר כך הסוכן פועל דרך כלים: מקפיץ התראה או מבטל אותה, פותח קריאה, מזיז מצלמה או מכין טיוטה של דוח. לצפות בווידאו סוכן כבר יודע. השאלה האמיתית היא אילו החלטות מותר לו לקבל לבד, ואיך תדעו כשהוא טועה. אנחנו מתכננים סוכנים כאלה כך שכל החלטה שיש לה משמעות נשארת אצל מישהו מהצוות שלכם. ולפני שסוכן מקבל הרשאה לפעול, אנחנו בודקים אותו על הווידאו שלכם.
מה זה סוכן AI על וידאו?
סוכן כזה עובד בלולאה של ארבעה שלבים:
- רואה. מודלי זיהוי ומעקב ייעודיים רצים על כל פריים, ומודל VLM מסתכל על הקליפים שחשובים.
- מבין. מודל שפה שוקל את האירוע מול ההקשר והנהלים של האתר, ומחליט מה המשמעות שלו.
- פועל. הסוכן עובד דרך כלים שלכל אחד מהם הרשאות מוגדרות: מערכת ניהול הווידאו (VMS), מערכת הקריאות, מצלמת PTZ או הודעה לאחד מאנשי הצוות.
- מתעד. כל קלט, החלטה ופעולה נרשמים בלוג, כדי שמישהו יוכל לבדוק אותם אחר כך.
NVIDIA מפרסמת ארכיטקטורת ייחוס לסוכן כזה, שבנויה ממודלי VLM, ממודלי שפה ומאחזור מידע. לפי NVIDIA, מודלי VLM הם מה שמפעיל סוכני AI לניתוח וידאו, שמבינים הוראות בשפה חופשית ועונים על שאלות על מה שבתמונה (NVIDIA). ספקי אבטחה כבר מוכרים את הרעיון ישירות: הכותרת בעמוד הבית של Lumana מבטיחה להפוך את המצלמות שלכם לסוכני AI (Lumana).
מה סוכנים על וידאו עושים טוב כבר היום?
ארבעה דברים עובדים מספיק טוב כדי להפעיל אותם היום, כשמישהו עובר על התוצאה:
- חיפוש בהקלטות בשפה חופשית.
- סיכום של שעות וידאו לציר זמן של אירוע.
- בדיקה של התראה מהמודל הייעודי לפני שהיא מגיעה למוקדן, כמו חוות דעת שנייה.
- טיוטה של דוח אירוע, שמישהו מהצוות חותם עליה.
המודלים שמאחורי זה התקדמו מהר. Qwen2.5-VL מעבד וידאו באורך של עד כמה שעות ומאתר בו אירועים ברמת השנייה, והכותבים שלו מתארים אותו כסוכן חזותי שיודע להשתמש בכלים. המודל מתפרסם בשלושה גדלים, ממכשירי קצה ועד שרתים חזקים (arXiv), והמשקולות שלו פתוחות ב-Hugging Face.
מודלי VLM עדיין לא אמינים לבד בספירה מדויקת, בעצמים קטנים או רחוקים, וביחסים מרחביים מדויקים, למשל אם שער סגור עד הסוף. ארבעה מודלי VLM מובילים קיבלו בממוצע 58.07% בשבע משימות חזותיות פשוטות, ביניהן לספור נקודות חיתוך של קווים ולקבוע אם שני עיגולים חופפים (arXiv). כל מה שתלוי בספירה או במדידה שייך למודל ייעודי ששיעור הטעות שלו נמדד, ולא לתיאור של מודל שפה.
אילו החלטות הסוכן מקבל, ואילו נשארות אצל הצוות?
| רמה | מה הסוכן עושה | דוגמה | מי מחליט |
|---|---|---|---|
| 1. מיידע | מסכם, מאנדקס ועונה על חיפושים | סיכום של הלילה מהמצלמות ברמפת הפריקה | מישהו מהצוות קורא |
| 2. ממיין | מדרג התראות או מבטל אותן, עם נימוק | בודק התראת חדירה לפני שהיא מגיעה למוקדן | הסוכן מסנן, והמוקדן רואה מה עבר ומדגם ממה שבוטל |
| 3. ממליץ | מציע פעולה, עם הראיות | ״לשלוח סייר לשער 3״, עם הקליפ מצורף | המוקדן מאשר |
| 4. פועל אחרי אישור | מבצע אחרי לחיצה אחת | מזיז מצלמה לנקודה שמורה, נועל דלת | המוקדן לוחץ אישור |
| 5. פועל לבד | מבצע פעולות הפיכות וזולות | פותח קריאת תחזוקה, מעלה את איכות ההקלטה | הסוכן, עם תיעוד מלא |
הכלל שלפיו אנחנו מתכננים: סוכן פועל לבד רק כשהפעולה הפיכה, כשטעות בה עולה מעט, וכשהיא נרשמת. כל דבר שיש לו משמעות נשאר אצל הצוות. כך מציגים את המערכות שלהם גם יצרנים ותיקים בתחום. Elbit Systems מציגה את מערכת המעקב Frontier ככלי לתמיכה בקבלת החלטות, שמוריד עומס מצוותי ההפעלה (Elbit Systems).
איך בונים סוכן כזה?
- הסוכן מתעורר על אירוע. מודלי הזיהוי רצים על כל פריים, והסוכן נכנס לפעולה רק כשהם מסמנים אירוע. כך העלות גדלה עם מספר האירועים ולא עם שעות הווידאו. שכבת הזיהוי עצמה מתוארת בניתוח וידאו ממצלמות ורחפנים.
- כלים עם הרשאה מינימלית. כל כלי חושף רק את הפעולות שמותרות ברמה של הסוכן, ולסוכן אין בכלל פרטי גישה לפעולות שמעל הרמה שלו.
- כל טענה מפנה לקליפ. כל דבר שהסוכן אומר מפנה לקליפ ולשנייה שעליהם הוא מבוסס, כך שמי שבודק יכול לאמת אותו בכמה שניות.
- רץ אצלכם כשהווידאו לא יוצא. מודלי VLM ומודלי שפה רצים על השרתים שלכם או ברשת סגורה, כמו שכתבנו בAI מאובטח וברשת סגורה. את שלב הזיהוי אפשר להריץ על המכשירים עצמם, כמו שמתואר במחשוב קצה לניתוח וידאו.
- סט בדיקה. ספרייה של קליפים שלכם עם תוצאה ידועה, וכל שינוי במודל, בפרומפט או בכלי נבדק עליה מחדש.
איך סוכנים על וידאו טועים?
- מתארים משהו שלא קרה. מודל VLM יכול לכלול בתיאור משכנע עצמים או פעולות שלא מופיעים בקליפ. ההפניה לקליפ ובדיקה של מישהו מהצוות תופסות את זה.
- הוראות בתוך התמונה. טקסט שמופיע בסצנה נכנס למודל כקלט. במחקר מ-2025, טקסט שהוטמע בתמונות העלה את שיעור ההצלחה של מתקפות על סוכנים מבוססי GPT-4o שגולשים באתרים מ-0.23 ל-0.45, ול-0.68 בשילוב עם קלט טקסט (arXiv). שלט, חולצה או מסך שנכנסים לפריים הם קלט לא מהימן, ואסור שהכלים יצייתו להם.
- התראות שנעלמות בלי שאף אחד רואה. סוכן שמסנן התראות יכול להסתיר אירוע אמיתי. לכן דוגמים ממה שהוא ביטל, ומישהו מהצוות עובר על המדגם.
- ההתנהגות משתנה והחשבון גדל. מצלמות חדשות, עונות ושינויים בפרומפט משנים את ההתנהגות. ומודל שפה שמופעל על כל פריים במקום על כל אירוע מכפיל את החשבון.
- הטיית אוטומציה. כשהסוכן צודק רוב הזמן, המוקדנים מפסיקים לבדוק את הנימוק שלו.
איך בודקים סוכן כזה?
- הריצו מחדש אירועים שלכם: קליפים אמיתיים עם תוצאה ידועה, כולל התראות השווא שעלו לכם הכי הרבה.
- מדדו כל רמה בנפרד: precision של ההתראות שאומתו, כמה אירועים אמיתיים יש בין אלה שבוטלו, וכמה זמן נחסך בכל אירוע.
- פתחו את התיעוד: בכל החלטה צריך לראות את הקליפ, את הפלט של המודל ואת הקריאה לכלי.
- נסו להטעות אותו עם דברים שנראים דומים, עם מזג אוויר גרוע ועם טקסט בתוך הסצנה.
- בדקו את הגבולות: אילו פעולות הסוכן מבצע בלי אישור, ומי יכול לשנות את הרשימה.
- שאלו איפה רץ כל מודל ומה יוצא מהרשת שלכם.
מה החלק שלנו?
אנחנו מתכננים את שכבת הסוכן שיושבת מעל ניתוח הווידאו. מגדירים את רמות ההחלטה, את הכלים ואת ההרשאות שלהם, ומתכננים את הממשק שבו הצוות עובר על ההחלטות, ואת סט הבדיקה. את העבודה הרחבה שלנו עם סוכנים תיארנו בסוכני AI לעסקים. הניסיון הקרוב ביותר: פיתחנו והדגמנו ממשק תיקון שבו אנשי מקצוע בודקים, מתקנים ומאשרים את מה שמודל ניתוח תמונה הפיק, במסגרת מערכת הסגמנטציה והמדידה לתצלומי אוויר. אותו עיקרון מנחה גם סוכנים: המודל עושה את העבודה היקרה, ומישהו מהצוות מאשר את מה שחשוב. התמונה הרחבה נמצאת בעמוד ניתוח תמונה ווידאו.
שאלות ותשובות
סוכן AI על וידאו זה אותו דבר כמו ניתוח וידאו?
לא. ניתוח וידאו מזהה אירועים, וסוכן מחליט מה לעשות איתם ופועל דרך כלים. הסוכן יושב מעל שכבת הניתוח, ולכן הוא תלוי באיכות הזיהוי שמתחתיו ובהרשאות שקיבל.