הצ'אטבוט שהתחזה לפסיכולוג: עכשיו מיליוני שיחות של ילדים עלולות להימכר

שלח

הרשמה לקבלת הניוזלטר היומי ועדכונים חשובים

Phone

שלח

By submitting this form and signing up for texts, you consent to receive news notification text messages from HebrewNews.com at the number provided, including messages sent by autodialer. Consent is not a condition of purchase. Msg & data rates may apply. Msg frequency varies. Unsubscribe at any time by replying STOP. Text HELP for help. Privacy Policy & Terms Of Use

התובעת הכללית של ניו יורק, לטישיה ג'יימס, יחד עם 39 תובעים כלליים ממדינות נוספות, פנתה ב-14 באוקטובר לבית המשפט במסגרת הליך פשיטת הרגל של Character.AI. הרשויות מבקשות להבטיח שמיליוני שיחות אישיות שנצברו בפלטפורמה, ובהן שיחות של ילדים ובני נוער על מצב נפשי, יחסים, מיניות ופחדים אישיים, לא יעברו באופן אוטומטי לידיו של רוכש חדש.

בלב הפרשה נמצאת לא רק שאלת הפרטיות אלא גם האופן שבו חלק מהצ'אטבוטים פעלו מול קטינים. לפי התובעים הכלליים, בדיקות וחקירות חשפו דמויות שנבנו כך שנראו או הציגו את עצמן כפסיכולוגים ומטפלים מורשים, אף שלא היו כאלה ולא פעלו תחת פיקוח מקצועי.

במקרים אחרים, לפי הרשויות, נוהלו עם קטינים שיחות מיניות או שיחות שכללו תכנים מסוכנים. הטענה החמורה ביותר היא שחלק מהבוטים לא רק הגיבו לילדים אלא גם עודדו התנהגויות בעייתיות במקום לעצור את השיחה, להפנות לעזרה או לזהות שמדובר במשתמש צעיר.

עבור הורים, הסיפור הזה משנה את השאלה הבסיסית סביב צ'אטבוטים. עד היום הוויכוח התמקד בעיקר במה שהמערכת אומרת לילד בזמן אמת. עכשיו עולה שאלה נוספת: מה קורה לכל מה שהילד אומר לה.

אחת הבדיקות שמצוטטות על ידי הרשויות מצאה 669 אינטראקציות שהוגדרו מזיקות בתוך 50 שעות בלבד. עבור התובעים הכלליים, הנתון הזה ממחיש שהבעיה אינה מקרה בודד של צ'אט שהתנהל בצורה לא ראויה, אלא חשש למערכת שעלולה הייתה לחשוף ילדים שוב ושוב לתכנים שלא נועדו להם.

החשש מקבל עכשיו ממד חדש בגלל פשיטת הרגל. בעולם הטכנולוגיה, מאגרי מידע יכולים להיות בין הנכסים היקרים ביותר של חברה. במקרה של Character.AI, הרשויות חוששות שהנכס הזה כולל לא רק נתוני משתמשים רגילים אלא שיחות אינטימיות מאוד שנכתבו מתוך הנחה שהן נשארות בתוך המערכת.

ילד שכתב לבוט שהוא בדיכאון, מפחד מהוריו, סובל מחרם, מתמודד עם שאלות מיניות או שוקל לפגוע בעצמו אולי כלל לא הבין שהשיחה הזאת עלולה יום אחד להפוך לחלק מנכס שנמכר בהליך משפטי.

זו בדיוק הנקודה שהתובעים הכלליים מבקשים מבית המשפט לעצור. מבחינתם, מידע כזה אינו דומה לרשימת לקוחות של חנות, להיסטוריית רכישות או לכתובת דוא"ל. מדובר במידע נפשי רגיש במיוחד, שחלקו נמסר בידי קטינים והתקבל במסגרת שיחה שיכולה להרגיש למשתמש כמו שיחה עם אדם אמיתי.

הבעיה חמורה עוד יותר כאשר הבוט מוצג כדמות טיפולית. ילדים ובני נוער יכולים לייחס סמכות לדמות שמציגה את עצמה כפסיכולוג, יועץ או מטפל, גם אם מאחורי הדמות אין אדם מקצועי, אין רישיון ואין מערכת שמפקחת על איכות העצות.

הרשויות חוששות גם מהשאלה מה יקרה לאחר מכירת החברה. רוכש חדש עשוי לקבל גישה למאגרי השיחות, לנתח אותם, להשתמש בהם לאימון מערכות נוספות או לשלב אותם במודלים מסחריים אחרים, אלא אם בית המשפט יציב מגבלות מפורשות.

עבור הורים, הסיפור הזה משנה את השאלה הבסיסית סביב צ'אטבוטים. עד היום הוויכוח התמקד בעיקר במה שהמערכת אומרת לילד בזמן אמת. עכשיו עולה שאלה נוספת: מה קורה לכל מה שהילד אומר לה.

הבעיה אינה ייחודית ל-Character.AI. בשנים האחרונות ילדים ובני נוער משתמשים יותר ויותר בצ'אטבוטים לצורך שיחה, תמיכה רגשית, עצות על זוגיות, בית ספר ומשפחה ולעיתים גם בשאלות נפשיות רציניות. בחלק מהמקרים הם מרגישים נוח יותר לשתף מערכת מלאכותית מאשר הורה, מורה או מטפל.

בדיוק משום כך המידע שנאסף יכול להיות רגיש במיוחד. שיחה עם בינה מלאכותית אינה בהכרח שקולה לשיחה חסויה עם פסיכולוג, גם כאשר הממשק גורם לה להרגיש כך. כללי החיסיון, הגנת הפרטיות וחובות האתיקה שחלים על אנשי מקצוע אינם חלים אוטומטית על צ'אטבוט.

הפנייה לבית המשפט אינה קביעה ש-Character.AI הפרה חוק בכל אחד מהמקרים שהוזכרו, והטענות עדיין לא הוכרעו. אלא שהקואליציה החריגה של 40 תובעים כלליים מעידה עד כמה הרשויות מתייחסות ברצינות לשילוב בין בינה מלאכותית, קטינים ומידע נפשי.

בית המשפט יצטרך כעת להכריע באילו תנאים, אם בכלל, ניתן להעביר את מאגרי המשתמשים במסגרת המכירה. מבחינת הרשויות, המטרה היא למנוע מצב שבו ילדים סיפרו למכונה את הדברים שלא העזו לספר לאיש - ואז גילו שהסודות האלה עברו יחד עם החברה לבעלים חדשים.

עבור הורים, זו אולי האזהרה החשובה ביותר בפרשה: גם כאשר צ'אטבוט נשמע אמפתי, רגוע ומקצועי, הוא עדיין מוצר טכנולוגי. ומה שילד מספר למוצר טכנולוגי עלול להפוך בסופו של דבר גם לנכס עסקי.