AI מאובטח וברשת סגורה

DataWise מתכננת ובונה מערכות AI לארגונים שהנתונים שלהם לא יוצאים מהבניין: ביטחון, תשתיות קריטיות וארגונים רגישי מידע. עבור ארגון כזה אפיינו ותכננו תשתית AI מבודדת לחלוטין ברשת סגורה (סביבה מבודדת ללא חיבור לאינטרנט): תקשורת פרטית מקצה לקצה, תשתית MLOps, מודלי שפה self-hosted וזיהוי עצמים בווידאו ובתמונה. ובנוסף פיתחנו והדגמנו עוזר AI עצמאי ומבודד לחלוטין שרץ בתוך הרשת, ושום דבר לא יוצא ממנה.

אפשר באמת להריץ AI מודרני בתוך רשת סגורה?#

אפשר, וארגוני הביטחון הגדולים בעולם כבר עובדים כך. Microsoft הקימה עבור קהילת המודיעין האמריקאית סביבת GPT-4 מנותקת לחלוטין מהאינטרנט, פעילה לניתוח מידע מסווג ברמות הגבוהות ביותר, על פי דיווח של Bloomberg. ריבונות על מערכות ה-AI הפכה מדרישה ‘רצויה’ לדרישת סף ברכש. אנחנו בונים באותו סטנדרט עבור ארגונים ישראליים: מודלי שפה פתוחים self-hosted, חיפוש ואחזור מעל מסמכים פנימיים, וניתוח תמונה ווידאו (AI), הכול על תשתית בתוך הגבולות שלכם. בלי קריאות API החוצה, בלי טלמטריה, בלי מודלים ש’מתקשרים הביתה’. המחיר הוא עבודת הנדסה אמיתית בתוך הרשת, וזו בדיוק העבודה שאנחנו מתכננים ומספקים.

מה בפועל נבנה עבור ארגון רגיש-ביטחונית?#

שתי שכבות. הראשונה, הארכיטקטורה: אפיון מלא של תשתית AI ללא כל יציאה החוצה, תקשורת פרטית מקצה לקצה, תשתית MLOps לפריסה ועדכון של מודלים ללא קישוריות חיצונית, מודלי שפה self-hosted וזיהוי עצמים. השנייה, ההוכחה: פיתחנו והדגמנו עוזר AI עצמאי ומבודד בתוך הרשת הסגורה: שיחה חופשית עם הידע הארגוני, אחזור מתוך מסמכים פנימיים, תהליכי מחקר מעמיק, והפקת מסמכים ותרשימים. הכול רץ בפנים, דבר לא יוצא. להדגמה יש משמעות: בתחום הזה ארכיטקטורות על נייר הן דבר זול; עוזר עובד שאפשר לתחקר הוא מה שמכריע את ההחלטה. איך זה נראה מצד הארגון עצמו, מסיווג ובדיקות ביטחוניות ועד השאלה מי מפעיל את המערכת אחרי שסיימנו, מפורט בעמוד AI לביטחון ולתשתיות קריטיות.

מה יכול לרוץ בתוך הרשת?#

• גישה בשפה חופשית לידע הארגוני: עוזר שעונה מתוך המסמכים הפנימיים שלכם, באמצעות אחזור, לא מהאינטרנט הפתוח.
• תהליכי מחקר מעמיק: מחקר רב-שלבי על מאגרי מידע פנימיים, כולל הפקת מסמכים ותרשימים.
• ניתוח תמונה ווידאו: זיהוי עצמים על מודלים self-hosted.
• שכבת ה-MLOps: פריסה, ניהול גרסאות וניטור של מודלים ללא קישוריות חיצונית.
• מה לא רץ: כל יכולת שמחייבת API חיצוני. אם יכולת לא ניתנת להרצה self-hosted באיכות סבירה, נאמר זאת בשלב האפיון, לא נגניב חריגה.

שליטה ביציאת נתונים כשאין רשת סגורה מלאה#

המונח egress מתאר שתי בעיות שונות, ורוב הארגונים מגיעים עם אחת מהן בלבד. שאלת האבטחה היא מה יוצא מהגבולות שלכם: השאלות שנשלחות למודל, המסמכים שמצורפים אליהן ומאגר האחזור שנבנה מהתוכן הפנימי, כשהמודל אינו שלכם. שאלת העלות היא מה יוצא מהענן: החיוב לפי נפח על נתונים שעוזבים אזור או ספק, השורה שהופכת החלטה שנראתה טכנית בלבד לחשבון חוזר. שתי השאלות הן אותה החלטה ארכיטקטונית בדיוק: איפה רץ החישוב ביחס למקום שבו הנתונים כבר יושבים.

רשת סגורה היא התשובה המקסימלית לשתיהן. דבר לא יוצא, ולכן אין מה לחשוף ואין על מה לחייב. רוב הארגונים אינם ברשת סגורה ואינם צריכים להיות, ואצלם יציאת הנתונים היא בקרה שמתכננים, לא חומה שבונים. הכלים זהים לאלה שאנחנו מפעילים בתוך הרשת: להריץ את החישוב ליד הנתונים במקום להזיז את הנתונים אל החישוב; להחזיק את מאגר האחזור והווקטורים שלו בתוך הגבולות, כי המאגר הוא עותק של התוכן שלכם וחלים עליו אותם כללים; להשתמש בנקודות קצה פרטיות, כך שתעבורה שחייבת לחצות גבול לא תעבור באינטרנט הפתוח; ולדעת בדיוק מה ספק המודל שומר אצלו, כי סעיף בחוזה אינו בקרה הנדסית.

מה זה אומר בפועל: התשובה לשאלה כמה נתונים יוצאים ולאן צריכה להיות מספר שנגזר מהתכנון עוד לפני שבונים, לא משהו שמתגלה בחשבונית או בביקורת. אנחנו מכמתים אותה בשלב האפיון, לשני הכיוונים: מה הגבול הביטחוני אוסר, וכמה מסלול היציאה היה עולה אילו התכנון היה מתיר אותו. לפעמים התשובה היא רשת סגורה מלאה. לפעמים היא פריסה בענן שבה החישוב יושב ליד הנתונים והמאגר נשאר בפנים. ההחלטה נגזרת מהאילוצים שלכם, לא מהעדפה שלנו.