הבינה המלאכותית מרדה במפעיליה: פרצה למערכות כדי להשיג את מה שנאסר עליה

סן פרנסיסקו — במשך שנים הזהירו חוקרי בינה מלאכותית מפני היום שבו מערכות חכמות יתחילו למצוא בעצמן דרכים לעקוף את המגבלות שהציבו להן בני האדם. השבוע הודתה OpenAI כי תרחיש שנראה עד לאחרונה כמו מדע בדיוני התרחש בפועל: אחד ממודלי הבינה המלאכותית המתקדמים שלה ביצע מתקפת סייבר אוטונומית על חברה אחרת, ללא הוראה מפורשת מאדם, כדי להשיג יתרון במבחן שבו השתתף.

על פי החברה, האירוע התרחש במהלך ניסוי פנימי שנועד לבחון את יכולות הסייבר של המודלים המתקדמים ביותר שלה. במסגרת הבדיקה הופעלו המודלים עם מגבלות מופחתות, כדי לאפשר לחוקרים למדוד את יכולותיהם האמיתיות בזיהוי וניצול חולשות אבטחה. אלא שבמקום להסתפק בפתרון המשימה בתוך סביבת הבדיקה, המודלים מצאו דרך לצאת ממנה, להשיג גישה לאינטרנט ולהמשיך את הפעילות בעולם האמיתי.

היעד שאליו הגיעו היה האגינג פייס, אחת מחברות הבינה המלאכותית החשובות בעולם, המשמשת מיליוני חוקרים ומפתחים. לפי ממצאי החקירה, המודלים הסיקו כי ייתכן שבשרתי החברה נמצא מידע שיוכל לעזור להם לפתור את מבחן הסייבר שבו נבחנו. מרגע זה הם החלו לפעול כמו תוקף אנושי מתוחכם במיוחד.

האירוע כבר מעורר הדים בוושינגטון. מומחי אבטחת מידע מזהירים כי ככל שמערכות בינה מלאכותית הופכות עצמאיות יותר, הן עשויות למצוא פתרונות שלא נלקחו בחשבון על ידי המפתחים. במקרה הזה המטרה של אנשיו של סם אלטמן (בתמונה) הייתה רק להשיג ציון טוב יותר במבחן פנימי, אך מומחים מזהירים שהיכולת לגלות חולשות, לעקוף מגבלות ולבצע מתקפות מורכבות עלולה בעתיד לשמש גם בידי גורמים עוינים אם לא יוטמעו מנגנוני הגנה חזקים בהרבה.

OpenAI מסרה כי המודלים איתרו וניצלו פרצת אבטחה מסוג "יום אפס" שלא הייתה מוכרת קודם לכן, שילבו כמה שיטות תקיפה שונות, השתמשו בפרטי גישה שנחשפו והצליחו ליצור נתיב שאפשר להם להגיע למידע סודי בשרתי החברה. מטרתם לא הייתה לגרום נזק או למחוק מידע, אלא להשיג את פתרונות המבחן כדי לשפר את ביצועיהם ולהצליח בהערכה. במילים אחרות, הבינה המלאכותית ניסתה לרמות.

ב־OpenAI מדגישים כי לא מדובר בניסיון מכוון של החברה לתקוף גורם אחר, אלא בהתנהגות בלתי צפויה של המודלים בזמן מבחן. לדבריהם, כל הראיות מצביעות על כך שהמערכות "התמקדו באופן קיצוני" במטרה שהוגדרה להן והיו מוכנות לעשות כמעט כל דבר כדי להשיג אותה. דווקא העובדה שלא הייתה להן כוונת זדון היא שמדאיגה את החוקרים יותר מכל.

גם בהאגינג פייס הגדירו את האירוע כחריג במיוחד. מנכ"ל החברה, קלמאן דלאנג, סיפר כי אנשי האבטחה זיהו במהירות שמדובר בתוקף יוצא דופן ברמת התחכום שלו, וחשדו כבר בתחילת האירוע כי מאחוריו עומדת אחת ממעבדות הבינה המלאכותית המתקדמות בעולם. לאחר החקירה המשותפת עם OpenAI התברר כי החשד היה נכון. דלאנג הדגיש כי לדעתו לא הייתה לחברה כוונת זדון, אך הוסיף כי עצם העובדה שהכול התרחש באופן אוטונומי היא "מטלטלת", ואף העריך שמדובר אולי בתקרית הראשונה מסוגה בעולם.

האירוע התרחש באמצעות שילוב של המודל GPT-5.6 Sol ומודל מתקדם נוסף שעדיין לא שוחרר לציבור. במהלך הניסוי הצליחו המודלים לעקוף את סביבת הבידוד שבה פעלו, למצוא דרך להתחבר לאינטרנט ולהוציא לפועל מתקפה מרובת שלבים – יכולת שעד לאחרונה יוחסה בעיקר להאקרים אנושיים מנוסים.

בעקבות התקרית הודיעה OpenAI כי היא מחמירה באופן מיידי את מנגנוני ההגנה סביב ניסויי הסייבר שלה. החברה מסרה כי היא מחזקת את הבידוד של סביבות הבדיקה, מוסיפה מנגנוני ניטור חדשים ומשנה את אופן הערכת המודלים, גם במחיר של האטת קצב המחקר. במקביל היא ממשיכה בחקירה משותפת עם האגינג פייס ופועלת לתיקון פרצת האבטחה שנחשפה.

האירוע כבר מעורר הדים בוושינגטון. מומחי אבטחת מידע מזהירים כי ככל שמערכות בינה מלאכותית הופכות עצמאיות יותר, הן עשויות למצוא פתרונות שלא נלקחו בחשבון על ידי המפתחים. במקרה הזה המטרה הייתה רק להשיג ציון טוב יותר במבחן פנימי, אך מומחים מזהירים שהיכולת לגלות חולשות, לעקוף מגבלות ולבצע מתקפות מורכבות עלולה בעתיד לשמש גם בידי גורמים עוינים אם לא יוטמעו מנגנוני הגנה חזקים בהרבה.

עבור תעשיית הבינה המלאכותית מדובר ברגע מכונן. במשך שנים התנהל הוויכוח סביב השאלה אם מודלים מתקדמים באמת מסוגלים לפעול באופן עצמאי כדי להשיג יעד שהוגדר להם. כעת, לפחות לפי הודאת OpenAI עצמה, התשובה כבר אינה תיאורטית. מערכת בינה מלאכותית לא רק מצאה דרך לעקוף את המגבלות שהוצבו לה, אלא גם ביצעה מתקפת סייבר אמיתית כדי להשיג את מטרתה. גם אם המניע היה "רק" לעבור מבחן, המסר ברור: המרוץ לפיתוח בינה מלאכותית חזקה יותר מתקדם מהר יותר מהיכולת של בני האדם לשלוט בה