תקציר

בינה מלאכותית משפיעה כיום על ניתוח מודיעין, מבצעים צבאיים, תשתיות קריטיות, קבלת החלטות במגזר הציבורי ומערכות כלכליות מרכזיות. האמינות של יכולות אלו תלויה בשלמות ובתקינות הנתונים, שמתוכם מערכות הבינה המלאכותית לומדות, מאחזרות מידע ומייצרות פלטים. הרעלת נתונים — מניפולציה מכוונת של מערכי נתונים לאימון, מודלים שאומנו מראש או מאגרי ידע תשתיתיים — התגלתה כאחת מנקודות התורפה המשמעותיות ביותר בעידן הבינה המלאכותית. כוחה בכך שהיא מתמקדת במעלה הזרם; בניגוד למבצעי השפעה התלויים בכך שהמשתמשים יצרכו באופן פעיל תוכן מניפולטיבי, כגון תעמולה, חשבונות פיקטיביים או זיופים עמוקים )דיפ־פייק(, ההרעלה יכולה להשפיע על המשתמשים באופן סביל. המשתמש עשוי לא לראות לעולם את המניפולציה המקורית; הוא ייתקל בהשפעותיה מאוחר יותר באמצעות מערכת בינה מלאכותית, כלים אנליטיים, תוצאת חיפוש, פלטים של מודלים או תהליכי עבודה שכבר זוהמו.

הטענה המובאת בדוח הזה היא שהרעלת נתונים אינה רק באג טכני או בעיה מצומצמת של אבטחת סייבר. מדובר באיום מבני עמוק על היסודות הקוגניטיביים של המדינאות המודרנית, מכיוון שמוסדות מתבססים באופן הולך וגובר על הנתונים והמודלים שבאמצעותם היריבים יכולים לעצב את תפיסת העולם שלהם. בניגוד למבצעי סייבר קלאסיים, שבהם התוקפים חייבים לפרוץ אמצעי הגנה היקפיים, הרעלת נתונים מנצלת שיטות פיתוח שגרתיות – כוונון עדין, שימוש חוזר באימון מקדים ואינטגרציה של קוד פתוח – כדי להפוך תהליכי עבודה של ארגונים לערוצים המשמשים לזיהום עצמי. יש בכך סכנה אסטרטגית כפולה: מודלים מורעלים מייצרים פלטים מעוותים ברגעים מכריעים, ועצם החשד להרעלה שוחק את האמון, מאט את קבלת ההחלטות ומחליש את הלכידות המוסדית.

כדי לבסס את הטיעון הזה, הדוח מנתח ארבעה מקרי בוחן מייצגים, הכוללים אינטראקצייה חברתית, מאגרי ידע תשתיתיים, מבצעי מידע והרעלת מודלים מדעיים. הרעלת הצ׳אטבוט Tay של מייקרוסופט ב־ 2016 המחישה כיצד ניתן להשתמש בלולאות משוב בזמן אמת כנשק שיכול לנתב מחדש את התנהגות המודל בתוך דקות, וחשפה את השבריריות של מערכות הקולטות קלט אנושי שאינו מבוקר. מניפולציות תוכן, למשל בוויקיפדיה, הראו כיצד עריכות מינוריות של משאבים מקוונים – הנסרקים באופן נרחב – מסתננות בחשאי לקורפוסים עצומים של אימון, ומטמיעות עיוותים בהנחות המוצא הסטטיסטיות של מודלי ראייה ושפה. רשת Pravda הקשורה לרוסיה, שפעלה במשך מספר שנים ותועדה על ידי מספר גופי חקירה, הראתה כיצד השפעה על האקוסיסטם, המתואמת מבחינה אסטרטגית, יכולה להחדיר תוכן שעבר מניפולציה לעשרות מהדורות שפה של ויקיפדיה. תוכן זה נסרק בהמשך אל מערכי נתונים לאימון LLM , ובכך הוא מעצב הן נרטיבים ציבוריים והן ידע המופק על ידי בינה מלאכותית. לבסוף, מקרה הרעלת הרגרסיה של ורפרין ) Warfarin ( הדגים שגם שינויים קטנים וממוקדים בנתונים ביו־רפואיים עלולים להטעות מודלים קליניים, ובכך להדגיש את חומרת ההשלכות של הרעלה בתחומי המדע והבריאות, השלכות העלולות להגיע עד כדי סכנת חיים.

החלק הראשון של הדוח מציג את המסגרת למושג – ״הבניין בן שלוש הקומות״ – כדי לטעת את תחום הרעלת המידע ב״שרשרת הייצור״ של הבינה המלאכותית. שכבת הנתונים היא התשתית שעליה כל למידת המכונה נשענת; שכבת האלגוריתם שולטת בדינמיקה שבאמצעותה מודלים מפנימים מידע; ושכבת היישום קובעת כיצד מודלים אלו משפיעים על הקוגניציה האנושית ועל תהליכי קבלת החלטות בקרב מוסדות שונים. הרעלה יכולה לפגוע בכל אחת מהשכבות הללו, אך היא מסוכנת ביותר כשהיא מגשרת ביניהן, ומטמיעה עיוותים בבסיס הפירמידה, שאחר כך באים לידי ביטוי כטעויות שיפוט אסטרטגיות בחלקה העליון.

החלק השני בוחן את השחקנים העומדים מאחורי קמפיינים של הרעלה, ומראה שהאיום אינו מוגבל רק למדינות עתירות משאבים. מדינות, קבוצות הפועלות בחסות המדינה, פושעי סייבר, מתחרים עסקיים, גורמי פנים ואף חובבים בעלי משאבים מוגבלים – כולם מחזיקים בנתיבים אפשריים להרעלת מאגרי נתונים ציבוריים, להשתלטות על מאגרי מודלים, למניפולציה של תהליכי תיוג או לניצול של מערכות אחזור. ארבעת מקרי הבוחן מדגימים שהרעלת נתונים כבר מתרחשת ואינה מונח תאורטי בלבד.

החלק השלישי מנתח את תחומי הגילוי וההגנה. אף שיעילות הכלים הקיימים משתפרת, הם אינם מספקים מענה הולם להתקפות הרעלה מודרניות מסוג clean-label בעצימות נמוכה. טכניקות סינון ברמת הנתונים מתקשות לזהות דגימות מורעלות שהונדסו כדי להידמות לדגימות תקינות. ביקורות ברמת המודל הן יקרות מבחינה חישובית, ולעיתים קרובות אינן מצליחות לזהות עיוותים קטנים אך משמעותיים מבחינה אסטרטגית. תיקון לאחר אימון – גיזום ) pruning (, ביטול למידה ) unlearning ( וייחוס פורנזי – נותר לא בשל מבחינה טכנית, ועלות התפעול שלו היא גבוהה. שום שכבת הגנה יחידה אינה יכולה למנוע הרעלה בצורה אמינה, וכך הגנת העומק הופכת לצורך מבני.

החלק הרביעי בוחן לעומק נקודות תורפה ברמת הביטחון הלאומי וההשלכות האסטרטגיות. הרעלה מערערת את הארכיטקטורה הקוגניטיבית של המוסדות על ידי שינוי הנחות המוצא הסטטיסטיות של מודלים התומכים בהערכות מודיעין, תהליכי איתור מטרות ו־ ISR , הגנת סייבר, תגובה למצבי חירום, ניטור פיננסי, שליטה במערכות קריטיות ומעקב אחר בריאות הציבור. מכיוון שמשאבי יסוד כמו ויקיפדיה, קורפוסים מדעיים ומאגרי מודלים של קוד פתוח מספקים ידע הן למערכות בינה מלאכותית והן לאנליסטים אנושיים, ההרעלה יוצרת עיוות אפיסטמי )עיוות של תהליך יצירת הידע והבנת המציאות( משותף: סביבת מידע מזוהמת, שבה מכונות ובני אדם מסיקים מסקנות על בסיס אותן תשתיות ידע פגומות. מיזוג זה של פגיעה טכנית ואפקט קוגניטיבי הוא תחום חדש של תחרות אסטרטגית. הממד המסוכן ביותר הוא הרעלה רדומה – מניפולציות שנשארות במצב לא פעיל עד להפעלתן ביום פקודה; אלו מאפשרות ליריבים לשתול מראש השפעות בעלות פוטנציאל משמעותי, מבלי שאפשר יהיה לגלות אותן.

החלק החמישי מזהה את פערי המחקר המרכזיים בתחום, ובכלל זה אמצעי גילוי הניתנים להרחבה עבור קורפוסים בהיקף של האינטרנט; פורנזיקה של מודלים וייחוס; תיקון כירורגי וביטול למידה; הבטחת שרשרת האספקה; וסביבות סימולציה ומשחקי מלחמה עבור אנליסטים ומקבלי החלטות. סדרי העדיפויות האלה במחקר מדגישים תובנה עמוקה יותר: הפער בין יכולת היריב ובין יכולות ההגנה הולך ומתרחב, ואינו מצטמצם.

הממצא המרכזי של הדוח הוא שהרעלת נתונים מהווה איום אסטרטגי אסימטרי המאופיין בפער ביכולת ההרתעה. הרעלת נתונים מאפשרת ליריבים לחולל השפעות משמעותיות במורד הזרם בעלות מזערית ובסיכון נמוך לייחוס. גורמי ההגנה אינם יכולים לזהות התקפות בקלות לפני שהנזק מצטבר, וגם אינם יכולים להקרין מוכנות בצורה אמינה. קלט מורעל בכמות קטנה ביותר עלול לנוע דרך אקוסיסטם שלם של מודלים ותהליכי עבודה, לשחוק את הריבונות הקוגניטיבית, לעוות את קבלת ההחלטות בתחום הביטחון הלאומי ולהחליש את אמון החברה במערכות ממשל אוטומטיות.

הדוח מסתיים בהמלצות אסטרטגיות. ברמה הלאומית יש להתייחס להרעלת נתונים כאל סיכון מערכתי ולדרוש פיקוח מתואם המכסה מערכים של נתונים ציבוריים, מאגרי מודלים, פלטפורמות ענן ותהליכים ממשלתיים המשלבים שימוש בבינה מלאכותית. מנגנונים להבטחת האמינות צריכים להטמיע מעקב אחר מקור הנתונים ושלמות קריפטוגרפית כבר בשלבים המוקדמים ביותר של יצירת מערכי נתונים ומודלים. יש להשתמש ב־ ,red-teaming בסביבות סימולציה ובמשחקי מלחמה המדמים תגובה למשברים כדי לחשוף אנליסטים ומקבלי החלטות למאפייני המציאות המבצעית של התנהגות בינה מלאכותית משובשת או לא ודאית. גופים מוסדיים נדרשים להשקיע בחוסן ברמת המשימה מתוך הנחה שמידה מסוימת של הרעלה היא בלתי נמנעת. לבסוף, ממשלות צריכות לשלב את שלמות שכבת הנתונים כחלק מאסטרטגיות רחבות יותר של אבטחת מידע, הגנה קוגניטיבית וריבונות טכנולוגית.

הרעלת נתונים אינה עוד נקודת תורפה היפותטית, אלא וקטור אסטרטגי המצוי בתהליך הבשלה, ודורש השקעה מדעית מתמשכת, התאמת מבנים ותהליכים ארגוניים והיערכות ברמה הלאומית. רק על ידי הכרה בממד הקוגניטיבי של איום זה ועל ידי חיזוק של שלמות הנתונים, שעליהם מערכות בינה מלאכותית וחברות מסתמכות כעת, יוכלו מדינות להבטיח שהבינה המלאכותית תישאר מקור כוח ולא ערוץ למניפולציה.