מתקשרים לעזרה — ועונה מכונה: ניו אורלינס מהמרת על בינה מלאכותית בקו 911

ניו אורלינס — במשך עשרות שנים היה ברור מה קורה כאשר אדם מחייג 911: בצד השני עונה בן אדם. מוקדן שומע את הקול, מנסה להבין את הפחד, שואל שאלות, מפענח רעשי רקע ומחליט אם מדובר באמבולנס, משטרה, כיבוי אש או אולי בכלל באזעקת שווא. עכשיו ניו אורלינס מכניסה לתוך הרגע הזה גורם חדש — מכונה.

מחוז התקשורת של אורלינס פאריש החל בסוף יולי להפעיל מערכת בינה מלאכותית שמסוגלת לענות לחלק משיחות החירום, לסווג אותן ולהחליט אילו מהן יש להעביר למוקדן אנושי ואילו ניתן לטפל בהן באופן אוטומטי. בכך הפכה ניו אורלינס, ככל הידוע, לעיר הגדולה הראשונה בארצות הברית שמאפשרת לבינה מלאכותית לא רק לסייע מאחורי הקלעים של מוקד 911, אלא גם לענות בפועל למתקשר.

המהלך נולד מתוך בעיה אמיתית. המוקדים בעיר מתמודדים עם יותר מאלף שיחות ביום, וחלק גדול מהן חוזרות על אירועים שכבר דווחו או אינן מחייבות תגובה מיידית. כאשר כל המוקדנים תפוסים, גם שיחה אמיתית של חיים ומוות עלולה להמתין. מבחינת מנהלי המערכת, אם בינה מלאכותית יכולה לסנן חלק מן העומס ולפנות את המוקדנים לאירועים הדחופים באמת, היא עשויה לקצר זמני תגובה ואף להציל חיים.

אלא שהמבקרים שומעים את אותו תיאור ומגיעים למסקנה הפוכה בדיוק: מערכת שמקבלת החלטה שגויה עלולה למנוע מאדם להגיע בזמן אל בן אדם.

המהלך נולד מתוך בעיה אמיתית. המוקדים בעיר מתמודדים עם יותר מאלף שיחות ביום, וחלק גדול מהן חוזרות על אירועים שכבר דווחו או אינן מחייבות תגובה מיידית. כאשר כל המוקדנים תפוסים, גם שיחה אמיתית של חיים ומוות עלולה להמתין. מבחינת מנהלי המערכת, אם בינה מלאכותית יכולה לסנן חלק מן העומס ולפנות את המוקדנים לאירועים הדחופים באמת, היא עשויה לקצר זמני תגובה ואף להציל חיים.

הכלי החדש, שמוגדר כמערכת למיון שיחות חירום באמצעות בינה מלאכותית, נוסה תחילה בקו 311 העירוני, המיועד לפניות שאינן חירום. כעת הורחב השימוש גם ל־911. לפי אנשי המחוז, הוא לא אמור להפוך למוקדן הראשי של ניו אורלינס ולא לקבל לבדו כל שיחת מצוקה. בשלב זה הוא מופעל בתנאים מצומצמים, בעיקר כאשר כל המוקדנים האנושיים עסוקים וכאשר המערכת מזהה שמתקשר נמצא סמוך מאוד לאירוע שכבר דווח, למשל תאונת דרכים שבה כבר הוזעקו כוחות.

מנהל מחוז התקשורת, קרל פסולד, מדגיש שהמטרה אינה להחליף עובדים אלא למנוע הצפה. מבחינתו, הבינה המלאכותית היא שכבת סינון נוספת: היא אמורה לזהות שיחות חוזרות, לאסוף מידע בסיסי ולשחרר בני אדם לטפל במקרים שבהם שיקול דעת אנושי הוא קריטי.

הבעיה היא שהמושג "מקרה פשוט" משתנה ברגע שאדם בפאניקה מחזיק את הטלפון.

מוקדן ותיק שהזדהה כאיש מקצוע בתחום החירום הגדיר את הרעיון כ"אחד הגרועים שאפשר להעלות על הדעת". לדבריו, שיחת 911 אמיתית כמעט לעולם אינה נשמעת כמו תסריט מסודר. אנשים מתקשרים כשהם בוכים, צועקים, מתנשפים, מדברים בלחש או אינם מסוגלים להסביר מה קורה. לעיתים הם נמצאים ליד האדם שממנו הם מנסים לברוח.

המקרה הקלאסי הוא שיחת "הפיצה": אישה הנמצאת תחת איום מתקשרת ל־911 ומעמידה פנים שהיא מזמינה אוכל כדי שלא לעורר את חשדו של התוקף. מוקדן מנוסה יכול להבין במהירות שהמשפטים אינם הגיוניים, לשמוע את הטון, לקלוט את ההיסוס ולשאול שאלות שאפשר לענות עליהן ב"כן" או "לא". מבקרי המערכת שואלים אם אלגוריתם יזהה באותה מהירות שהמילה "פיצה" בעצם פירושה "תשלחו משטרה".

אותה בעיה קיימת גם אצל אדם עם מבטא כבד, קשיש שמדבר באופן לא ברור, ילד שנבהל ואינו יודע למסור כתובת, אדם עם מוגבלות בדיבור או מתקשר שנמצא במקום רועש. במערכת רגילה, המוקדן יכול לשנות את אופן השיחה בהתאם למה שהוא שומע. כאשר התקשורת מתחילה אצל מכונה, עצם הסיווג הראשוני עלול להיות הטעות הגורלית.

וזו למעשה נקודת המחלוקת המרכזית. התומכים אומרים שהמערכת תטפל רק באירועים מוגבלים וברורים. המבקרים משיבים שאף אחד אינו יודע אם השיחה ברורה עד שמישהו באמת מבין אותה.

גם הטכנולוגיה עצמה עדיין רחוקה משלמות. מערכות בינה מלאכותית קוליות השתפרו במהירות עצומה בשנים האחרונות, אך הן עדיין יכולות לפרש לא נכון מילים, להשלים פרטים שלא נאמרו או להציג מסקנה שגויה בביטחון רב. במערכת רגילה, טעות של צ'טבוט יכולה לגרום למשתמש לקבל תשובה לא נכונה. במוקד חירום, אותה טעות יכולה לקבוע אם אמבולנס יוצא לדרך.

חשוב גם להבחין בין שני סוגים שונים של בעיות. האחת היא זיהוי קולי: האם המערכת הבינה נכון את מה שנאמר. השנייה היא שיקול הדעת: גם אם היא תמללה את המשפטים במדויק, האם היא הבינה את משמעותם. אדם יכול לומר "אני בסדר" כאשר ברור לחלוטין מהקול שלו שהוא אינו בסדר. הוא יכול לומר שאין נשק בזמן שמוקדן שומע צעקות ורעש מתכתי ברקע. כאן נכנס אותו מרכיב שקשה לכמת — אינטואיציה אנושית שנבנתה מתוך ניסיון.

אנשי החירום גם חוששים ממה שמכונה "הטיית אוטומציה": כאשר מערכת מחשב מסווגת שיחה כבלתי דחופה, עובד אנושי עלול לתת לסיווג הזה משקל רב מדי, גם כאשר מופיעים סימנים שמצביעים אחרת. הבינה המלאכותית אינה צריכה להיות זו שמבצעת את הטעות האחרונה כדי להשפיע על התוצאה. די בכך שהיא תקבע את הרושם הראשון.

לכל אלה מתווסף נושא אבטחת הסייבר. מערכות קוליות מבוססות בינה מלאכותית אינן חסינות מפני מניפולציה, והמחקר בתחום כבר הראה שניתן לגרום למודלים להגיב באופן שונה באמצעות קלט מתוכנן בקפידה. במוקד 911, האפשרות שמישהו ינסה להציף, לשבש או להטעות מערכת אוטומטית אינה תרחיש שאפשר להתעלם ממנו. מערכת חירום היא יעד אטרקטיבי במיוחד למי שמבקש לגרום כאוס.

החשש אינו אומר שהמוקדים היום בטוחים לחלוטין. גם בני אדם טועים. מוקדנים יכולים לא להבין מבטא, לפספס פרט או לקבל החלטה שגויה תחת עומס. אבל כאשר אדם טועה, אפשר לבדוק את השיחה, את ההכשרה שקיבל ואת שיקול הדעת שהפעיל. כאשר אלגוריתם טועה, שאלת האחריות נעשית מסובכת יותר: האם האשמה בעירייה, בחברה שפיתחה את המערכת, במי שאימן אותה או במוקדן שהסתמך עליה?

מי שיישא במחיר, לעומת זאת, יהיה ברור מאוד.

ניו אורלינס אינה העיר היחידה שמכניסה בינה מלאכותית לעולם החירום. אטלנטה משתמשת בטכנולוגיה כדי לסייע באיתור מתקשרים ובתמיכה במוקדנים. ערים אחרות משתמשות במערכות אוטומטיות לתמלול, איתור מיקום או סיווג ראשוני של פניות. בסיאטל נעשה שימוש בטכנולוגיה כדי לסייע בקביעת קדימות של מתקשרים. ההבדל בניו אורלינס הוא המעבר מן המסך שמול המוקדן אל הקול ששומע האזרח.

זה הבדל קטן מבחינה טכנית, אבל עצום מבחינה פסיכולוגית.

כאשר אדם מתקשר לשירות לקוחות ושומע רובוט, הוא יכול להתעצבן ולבקש נציג. כאשר הוא מתקשר ל־911, ייתכן שהוא מתקשר פעם אחת בלבד בחייו — וברגע הגרוע ביותר בחייו. זה לא הרגע שבו הוא רוצה ללמוד כיצד לדבר עם מערכת אוטומטית.

מצד שני, גם המציאות של מוקדי החירום אינה רומנטית. אלה מקומות שעובדים בלחץ מתמשך, עם מחסור בעובדים, שחיקה נפשית ושיחות רבות שאינן באמת מצבי חירום. אם בינה מלאכותית יכולה לזהות עשרות מתקשרים המדווחים על אותה תאונה שכבר טופלה ולאפשר למוקדן לענות בזמן לאדם שעובר התקף לב, יש לכך ערך ממשי.

מכאן גם נובע שהוויכוח אינו באמת "אדם נגד מכונה". השאלה היא היכן מציבים את המכונה.

מעטים יתנגדו למערכת שמציגה למוקדן כתובת במהירות, מתמללת שיחה בזמן אמת או מתריעה שנשמע ברקע קול ירי. השאלה משתנה כאשר האלגוריתם הופך לשומר הסף ומחליט מי זוכה להגיע לבן אדם.

בעירייה מאמינים שאפשר לצמצם את הסיכון באמצעות גבולות ברורים, פיקוח אנושי, בדיקות ביצועים ואבטחת מידע. אם המערכת תישאר מוגבלת לשיחות חוזרות או לאירועים שכבר דווחו, ייתכן שהיא אכן תהפוך לכלי שימושי במקום לסכנה. אבל כדי להוכיח זאת, לא יספיק להראות שהיא מצליחה ברוב המקרים. במערכת חירום, גם הכישלונות הנדירים ביותר הם בדיוק אלה שיישארו בכותרות.

המהלך בניו אורלינס הוא לכן הרבה יותר מניסוי מקומי. אם המערכת תצליח, ערים אחרות שסובלות מעומס ומחסור במוקדנים כמעט בוודאות יבחנו מודלים דומים. אם היא תיכשל באופן פומבי — במיוחד אם טעות תיקשר לפציעה או למוות — היא עלולה להפוך לסמל של מה שקורה כאשר ההתלהבות מבינה מלאכותית מקדימה את הזהירות.

במשך שנים נשאלה השאלה אילו מקצועות הבינה המלאכותית תוכל לבצע. עכשיו ניו אורלינס שואלת שאלה קשה הרבה יותר: אילו החלטות אנחנו מוכנים לתת לה לקבל.

יש הבדל בין בוט שכותב אימייל לבין מערכת שמחליטה אם קול רועד בצד השני של הטלפון הוא עוד דיווח על תאונה שכבר ידועה — או אדם שעומד למות.

וזה מה שהופך את הניסוי בניו אורלינס לכל כך משמעותי. לא מפני שעיר אחת נתנה לרובוט לענות לטלפון, אלא מפני שהיא הזיזה את הבינה המלאכותית אל המקום שבו לטעות אין כפתור "נסה שוב".

בפעם הבאה שתושב ניו אורלינס יחייג 911 בזמן שכל המוקדנים האנושיים עסוקים, הוא עלול לשמוע בצד השני קול רגוע, מנומס וברור לחלוטין.

רק דבר אחד יהיה שונה: האדם שהוא מתחנן בפניו לעזרה אולי אינו אדם כלל.