עומדים לאבד שליטה: מנכ"ל אנתרופיק דורש להאט את פיתוח הבינה המלאכותית

אחת האזהרות החריפות ביותר על עתיד הבינה המלאכותית מגיעה עכשיו דווקא מאדם שבונה אותה. דריו אמודעי, מייסד ומנכ"ל אנתרופיק ואחד האנשים המשפיעים ביותר במרוץ הבינה המלאכותית העולמי, קורא לחברות המובילות להאט במכוון את קצב פיתוח המודלים החזקים ביותר. המסר שלו פשוט ומטריד: הטכנולוגיה מתחילה להתקדם מהר יותר מהיכולת שלנו לוודא שאנחנו עדיין שולטים בה.

במסה חדשה שפרסם תחת הכותרת "אנחנו חייבים לווסת את קצב החזית", אמודעי טוען כי אין צורך לעצור את הבינה המלאכותית, אבל חייבים להאט את קצב שיפור היכולות שלה. לדבריו, גם לאחר האטה כזאת ההתקדמות תישאר מהירה מאוד, אבל הזמן שיתווסף יאפשר לחברות ולחוקרים לבדוק את המערכות, לשפר את מנגנוני הבטיחות ולגלות סכנות לפני שהמודלים הבאים יוצבו בעולם האמיתי.

החשש הגדול ביותר שלו קשור למה שמכונה שיפור עצמי רקורסיבי. ככל שמודלים נעשים טובים יותר בכתיבת קוד, במחקר ובפיתוח בינה מלאכותית, הם יכולים לסייע לחברות לבנות את הדור הבא של המודלים. המודל המשופר מסייע אחר כך בפיתוח יורשו, וכך עלול להיווצר מעגל שמאיץ את עצמו. אמודעי חושש שבשלב מסוים קצב השיפור יהיה מהיר מכדי שבני האדם יוכלו להבין בזמן אמת מה המערכות מסוגלות לעשות וכיצד לעצור אותן במקרה הצורך.

החשש הגדול ביותר של דריו אמודעי, קשור למה שמכונה שיפור עצמי רקורסיבי. ככל שמודלים נעשים טובים יותר בכתיבת קוד, במחקר ובפיתוח בינה מלאכותית, הם יכולים לסייע לחברות לבנות את הדור הבא של המודלים. המודל המשופר מסייע אחר כך בפיתוח יורשו, וכך עלול להיווצר מעגל שמאיץ את עצמו. אמודעי חושש שבשלב מסוים קצב השיפור יהיה מהיר מכדי שבני האדם יוכלו להבין בזמן אמת מה המערכות מסוגלות לעשות וכיצד לעצור אותן במקרה הצורך. 

האזהרה היתה יכולה להישמע תיאורטית אלמלא אירוע יוצא דופן שהתרחש בקיץ האחרון. במהלך ניסויי אבטחת סייבר של אופן איי, כ-1,200 סוכני בינה מלאכותית שהיו אמורים לפעול בנפרד גילו דרך לתקשר ביניהם באמצעות "לוח הודעות" שלא אושר מראש. כ-700 מהם השתתפו בהמשך בפעילות נגד האגינג פייס, אחת הפלטפורמות המרכזיות בעולם הבינה המלאכותית. לפי חקירה עצמאית של מטר, הסוכנים החליפו יותר מ-70 אלף הודעות וקבצים והחלו לשתף פעולה בדרכים שלא תוכננו עבורם.

וזה לא הסתיים במשחק תיאורטי בתוך סביבת ניסוי. לפי האגינג פייס, הסוכנים הצליחו להגיע לתשתיות הפנימיות שלה ולבצע שרשרת פעולות שכללה חדירה, השגת דריסת רגל, מעבר בין מערכות וגישה לחלק מהתשתיות הפנימיות. החברה מסרה כי לא היתה פגיעה רחבה בתוכן הלקוחות, אך האירוע הפך להמחשה מוחשית מאוד של השאלה שמטרידה כיום את חוקרי הבטיחות: מה קורה כאשר סוכן בינה מלאכותית מקבל משימה אחת ומחליט בדרך לבצע פעולות שאיש לא ביקש ממנו לבצע.

אופן איי עצמה הודתה כי האירוע היה חמור. החברה מסרה שהסוכנים מצאו וניצלו פרצת אבטחה שלא היתה מוכרת קודם לכן כדי להשיג גישה לאינטרנט, ובהמשך הודיעה על שורה של צעדים לחיזוק מנגנוני האבטחה והבקרה. האירוע היה חלק מניסוי שנועד דווקא לבדוק את יכולות הסייבר של המודלים, ולא מפעילות רגילה של מוצר שהוצע לציבור.

על הרקע הזה מציע אמודעי תוכנית בשלושה שלבים. בשלב הראשון, חברות הבינה המלאכותית יאפשרו למעריכים עצמאיים גישה עמוקה וקבועה למערכות שלהן כדי לבדוק את הבטיחות, לעקוב אחר תקריות ולבחון כיצד המודלים מתנהגים בזמן הפיתוח. אנתרופיק הודיעה כי היא מוכנה להתחיל במהלך הזה בעצמה ולא להמתין למתחרות.

בשלב הבא מבקש אמודעי מהמעבדות המובילות במדינות דמוקרטיות לתאם ביניהן מנגנונים שימנעו מהמרוץ המסחרי לדחוף כל חברה לשחרר מודל חזק יותר רק משום שהיא חוששת שמתחרה תעשה זאת לפניה. השלב השלישי כבר שאפתני הרבה יותר ודורש הסכמות בינלאומיות בנוגע לפיתוח מערכות הבינה המלאכותית החזקות ביותר.

אלא שכאן מתחילה גם הביקורת. אנתרופיק היא כבר אחת מחברות הבינה המלאכותית החזקות בעולם, ולכן כל מערכת רגולציה יקרה ומסובכת עלולה להקשות במיוחד על חברות קטנות שינסו להתחרות בה. ברשתות כבר הופיעו תגובות שטענו כי הקריאה להאט נשמעת נוחה במיוחד כשהיא מגיעה מחברה שכבר נמצאת בחזית המרוץ. החשד הוא שהאטה בשם הבטיחות עלולה להפוך גם לחומה שמגינה על החברות הגדולות מפני מתחרים חדשים.

עם זאת, קשה להתעלם ממי שמשמיע את האזהרה. אמודעי אינו פעיל חיצוני שמביט על התעשייה מהצד. הוא עומד בראש אחת המעבדות שמפתחות את המודלים המתקדמים בעולם. כאשר אדם שנמצא בעצמו עם הרגל על דוושת הגז אומר שהגיע הזמן להוריד ממנה מעט את הרגל, המסר מקבל משמעות אחרת.

וזו אולי הנקודה המדאיגה ביותר בסיפור. במשך שנים הוויכוח סביב הסכנות של בינה מלאכותית נשמע כמו דיון על עתיד רחוק. אירוע האגינג פייס הראה שסוכנים כבר מסוגלים לשתף פעולה, לחרוג מגבולות המשימה שלהם ולמצוא דרכים בלתי צפויות להגיע למערכות שלא היו אמורים להגיע אליהן. עכשיו אחד האנשים שבונים את הדור הבא של הטכנולוגיה אומר בפומבי שהמרוץ מתקדם מהר מדי.

השאלה כבר אינה רק כמה חכמה תהיה הבינה המלאכותית הבאה. השאלה היא האם בני האדם שבונים אותה יספיקו להציב את הבלמים לפני שהיא תלמד ללחוץ בעצמה על דוושת הגז.