בשבוע שעבר החליט גורם נוסף, באופן מפתיע, להצטרף להתנגדות המאורגנת נגד מערכות נשק אוטונומיות קטלניות ( (LAWS- Lethal Autonomous Weapon Systems . הפוסט הבא מבקש לעשות סדר בהתנגדות ההולכת ומתרחבת. אתם מוזמנים לקרוא, לצפות בראיון שנתתי בנושא זה ל"לונדון וקירשנבאום" או גם וגם.  

1. במה מדובר? מכתב פתוח של ארגון שנקרא "עתיד החיים".
המכתב המהווה גם מעין עצומה, הקוראת להגבלה פיקוח ואולי אף איסור פיתוח של כלים אוטונומיים חמושים. מדובר בכלים שיכולים לבחור מטרותיהם ואפילו להרוג ללא מעורבות אנושית במעגל ההפעלה.

כלים כאלו ברמת פיתוח כזו או אחרת כבר קיימים כיום, אולם הכותבים מוטרדים ממה שעתיד להתפתח בטווח של העשורים הקרובים. והם חוששים מהיבטים שונים ומגוונים דוגמת: מוסריות, אצבע קלה על ההדק ובעיקר ממרוץ חימוש אפשרי בתחום ומזליגה של הנשק הזה לידיים של ה"אנשים הרעים" בתוכם למשל ארגוני טרור.

על המכתב חתומים כמה מהשמות הבולטים בעולם הטכנולוגיה והמדעים בתוכם: אילון מאסק שגם ממן את הארגון, פרופ' סטיבן הוקינג ואחרים.

 2. למה עכשיו? הארגון פרסם את המסמך בסמוך לתחילתו של כנס בינלאומי יוקרתי בתחום בינה מלאכותית ולמעשה מנצל את המומנטום כדי לייצג עמדה של מדענים רבים בתחום וככל הנראה מנסה גם להחתים אנשים נוספים מהתחום מלבד "סלבריטאי מדע וטכנולוגיה" על המכתב הזה.
[מילה שלי: אם אתם רוצים להרגיש קצת חשובים ואתם מזדהים עם המטרה, גם אתם יכולים לחתום על המכתב ביחד עם כל המי ומי.]

 3. על מי הם מקווים להשפיע? זה לא ממש משתמע מהמכתב, אבל בעקרון ניתן להעריך כי הם מקווים להשפיע בשלב הראשון על תודעתם של  מדענים בתחום, אבל יותר מזה על דעת הקהל הבינלאומית ואולי גם על הדיונים של האו"ם בנושא.

 4. על מי הם צריכים לרצות להשפיע? כמו כל דבר אחר כדאי להם לנסות להשפיע על מנהיגי מדינות מרכזיות. אם רוצים להגביל משהו ושתהיה לו אפקטיביות צריך גם החלטה וגם מנגנונים לפיקוח ובקרה, כמו שאנחנו רואים בתחום של גרעין למשל. אבל בינינו, האם אילון מאסק באמת צריך עצומה כדי להשפיע על נושא טכנולוגי בוער??? [מילה שלי לאילון מאסק: למען השם, אתה איילון מאסק, תזמין את אובמה לארוחת ערב ותשכנע אותו שזו סוגיה מרכזית לצורך השארת חותם בסוף כהונתו.]

 4. מי עוד בזירה? ארגון שדוחף כבר מספר שנים להגבלת כלי נשק אוטונומיים הוא "יומן רייטס ווטצ'" שהוציא כמה מסמכים בנושא וככל הנראה גם זה שהצליח להוביל לשני דיונים של האו"ם בנושא. אחד הדיונים התקיים לפני כחודש וסביב קיומו פרסמתי את ה"מבט על" הבא שנוגע בהרבה נקודות חשובות בטיפה פחות מ 1000 מילים ומתייחס בעיקר ל: למה לדעתי האו"ם מפספס

 5. מה קצת מאכזב במכתב הזה? שדווקא הארגון המרכזי שעוסק בהגבלה של בינה מלאכותית בכלל ולא רק אוטונומיות חמושה לא מתייחס לסוגיה הכי מסובכת לדעתי בתחום היא סוגיית: השימוש הדואלי.

זה מונח שמגיע מתחום בקרת נשק ומדבר על טכנולוגיה או חומרים שיש להם שימוש גם אזרחי וגם צבאי ולכן הפיקוח שלהם מסובך יותר. זה רלוונטי לתחומים כמו גרעין או חומרים כימיים וגם ל"מחשוב על". הארגון הזה שעד כה שם דגש על הדאגה מבינה מלאכותית פתאום מתמקד באוטונומיות חמושה וזה עשוי להוביל לדעתי האישית לפספוס כמו זה של האו"ם.

 6. למה הגבלה בתחום הזה היא כל כך מסובכת? הדבר נובע משתי סיבות מרכזיות לדעתי:

א. הזירה הבינלאומית היא זירה מסובכת קשה להגיע בה להסכמות בגלל אינטרסים של מדינות רבות (איזו מדינה תרצה בכלל להגביל תחום בעל פוטנציאל כלכלי גדול כל כך???). מעבר לזה גם אם יסכימו על  הגבלות של טכנולוגיה ושל נשק,  קשה לוודא שהדברים האלו באמת מבוצעים וצריך משאבים רבים לצורך בקרה פיקוח ואכיפה שלא לדבר על הצורך בשיתוף פעולה. כמו כן מדובר בתחום חדש שאנחנו עוד לומדים אותו ואת האתגרים שהוא טומן בחובו וקשה לדעת כיצד אם בכלל ניתן להגבילו, קצת דומה לתחום הסייבר.

 ב. במקרה הייחודי של בינה מלאכותית - שורות קוד מסוכנות שמהוות את התכנות הבסיסי של הבינה המלאכותית, יכולות להיכתב לא רק על ידי חברות גדולות או גורמים מדיניים. טכנולוגיות חדשות וגם זמינות הולכות וגוברת של טכנולוגיות משפיעות על העולם.  נכון העולם עוד לא השתנה לחלוטין ויש דברים שעדיין רק בכוחן של מדינות או גורמים בעלי עוצמה כלכלית רבה לבצע, אבל עדיין המצב החדש נותן יותר כוח בידיהם של ארגונים חלשים יחסית ואפילו בידי פרטים, יש לזה מעלות אבל יש לזה גם חסרונות רבים ותסריטים שצריכים להדיר שינה ממי שאמונים על שלומנו. 

 7. האם יש נקודת אור בקצה המנהרה? קודם כל אפילו למערכות נשק אוטונומיות יש מגוון יתרונות שהמכתב הזה כמו יוזמות אחרות מתעלם מהן לחלוטין.בתוכן: פוטנציאל לשיפור יכולת הלוחמה בארגוני טרור. פוטנציאל לצמצום הסיכון לחיי לוחמים בשדה הקרב.פוטנציאל לצמצום פגיעה בחפים מפשע בשדה הקרב ובהפרות של דין בינלאומי (כתלות בתכנות מתאים כמובן) ואולי אפילו הגדלת ההרתעה באופן שיצמצם הפעלת אלימות  והשפעות חיוביות  נוספות. נקודת אור נוספת שאסור לנו לשכוח היא: שלבינה מלאכותית יש ריבוי שימושים מחוץ לשדה הקרב מאשר בתוכו. למשל רובוטי החילוץ המתקדמים שהוצגו לפני מספר חודשים בגמר התחרות של דארפא ושימושים אזרחיים רבים נוספים שעתידים לתרום רבות לאנושות ולאיכות חייה.

מבט היסטורי על הסוגיה יגלה לנו שהרבה טכנולוגיות שפותחו לראשונה לצרכים צבאיים לאחר תקופה מסוימת הפכו זולות וזמינות לשימושים אזרחיים חיוביים כמו למשל: אינטרנט, GPS , רדיו, מיקרוגל ועוד....

 לסיכום פרסומו של המכתב מעניין משום שהוא מפנה את תשומת הלב לסוגיה חשובה שעשויה להשפיע על עתיד האנושות בצורה רדיקאלית. אולם מי שמבקש לבחון את הסוגיה בצורה ביקורתית צריך לשים לב שמדובר לא רק בסוגיות של "שחור ולבן" אלא בקשת רחבה של צבעים רבים וכדאי להבין שהנושא הרבה יותר מגוון ועשיר מאשר הזווית החשובה אך הצרה שהמכתב הזה מייצג. מעניין מה המהלך הבא בתחום...