במשחק “נחש מה?”, שנוצר על ידי חוקרי אוניברסיטת סטנפורד האמריקאית, מטפל מבוגר מחזיק סמארטפון ליד המצח ומבקש מילד לחקות תמונה המוצגת על המסך. זה יכול להיות קוף, שחקן כדורגל, פרצוף שמח או עצוב ועוד. לאחר מכן המבוגר מנחש מה הילד מחקה ומסמן תשובות נכונות על ידי הטיית הטלפון קדימה ותשובות שגויות על ידי הטייתו לאחור.
לילדים עם אוטיזם, המשחק מספק מנה מהירה של למידה טיפולית בסביבה ביתית. הוא עוזר להם ליצור קשר עין עם המטפלים שלהם, וכן עוזר להם לקשר רגשות ספציפיים להבעות פנים שונות.
אבל הערך של “נחש מה?” הולך הרבה יותר רחוק. כל סשן משחק בן 90 שניות מוקלט בווידאו וניתן להגיש אותו (עם הסכמות מתאימות והגנת הפרטיות) לחוקרי סטנפורד, ממוסדות האקדמיה הנחשבים בעולם. “אם נפעיל את המצלמה ונוכל לתת הנחיות שימושיות לילד, לאתגר אותו ולעזור לו ללכוד מידע תוך כדי תנועה”, מסביר דניס וול, פרופ’ לרפואת ילדים, פסיכיאטריה, מדעי ההתנהגות ומדעי הנתונים הביו-רפואיים ב-Stanford Medicine.
כבר כמה שנים שוול ועמיתיו אוספים את הקלטות הווידאו הביתיות של “נחש מה?” ומשתמשים בהן לפיתוח דרכים חדשות לאבחון אוטיזם מרחוק, לשיפור מערכי נתונים לזיהוי רגשות, למעקב אחר התקדמות הילדים בזיהוי רגשות, ובסופו של דבר לשיפור הטיפולים באוטיזם. העבודה שלהם עושה שימוש בראייה ממוחשבת וגם בצורות אחרות של בינה מלאכותית.
היתרון של הסמארטפון
ילדים עם אוטיזם מתקשים בדרך כלל ביצירת קשר עין ובהדדיות חברתית-רגשית – הלוך ושוב של אינטראקציה חברתית הדורשת הבנה של רמזים לא מילוליים, כולל, בין היתר, זיהוי של רגשות בפנים של אחרים. כדי לטפל בבעיות אלה, וול ועמיתיו פיתחו תוכנית לטיפול באוטיזם שמשתמשת בציוד לביש של מציאות רבודה – במיוחד גוגל גלאס – כדי לספק לילדים רמזים לגבי הרגשות של אנשים איתם הם מקיימים אינטראקציה. למרות שגישת Google Glass זכתה לתשומת לב בעיתונות והוכחה כיעילה בניסוי אקראי מבוקר, כלי מציאות רבודה עדיין לא אומצו באופן נרחב, מספר וול.
כדי להתגבר על המגבלה הזו, וול והצוות שלו פיתחו את “נחש מה?”, שנשען על כלי נפוץ יותר – הסמארטפון. “לרוב האנשים בכל המגזרים של מעמד סוציו-אקונומי, גזע ומוצא אתני יש סמארטפון”, אומר וול. “זה הופך אותו לכלי חזק לסיוע בניהול הבריאות ובמתן טיפולים”.
אבל לוול הייתה גם מטרה נוספת בראש: איסוף סרטונים ביתיים של ילדים אוטיסטים ושאינם אוטיסטים. על ידי יצירת משחק שמקל על משפחות לשתף סרטונים בבטחה עם חוקרים, הם קיוו לאסוף מערך נתונים גדול מספיק כדי לקדם את תחום האבחון והטיפול באוטיזם. והמאמצים האלה מתחילים להניב פרי.
האבחון עדיין מאוחר מדי
חוקרים יודעים שהתערבות מוקדמת מועילה לילדים עם אוטיזם, אך בארצות הברית האבחון נמשך בדרך כלל כשנתיים וגיל האבחנה הממוצע הוא כמעט 4 וחצי, אומר וול. בנוסף, שירותי אוטיזם אינם מופצים באופן אחיד ברחבי המדינה: יותר מ-83% ממחוזות ארה”ב אינם מציעים שירותי אבחון אוטיזם כלל.
כדי להשלים את הפער הזה בשירות, הצוות של וול משתמש בסרטוני “נחש מה?”, שיוכלו לאפשר בסופו של דבר אבחון חצי אוטומטי מרחוק של אוטיזם. ויש סיבה טובה לחשוב שהם יכולים להצליח. בעבודה קודמת, וול וחבריו גילו שאנשים שאינם מומחים בתחום טובים באותה מידה כמו קלינאים בבדיקת סרטונים של ילדים ובתיוג מאפיינים משמעותיים של אוטיזם (סוגים מסוימים של דיבור חוזר, חוסר קשר עין, תנועות ראש מסוימות או שימוש אידיוסינקרטי של אצבעות, כגון איסוף אצבעות). יתרה מזאת: באמצעות הסרטונים המסומנים האלה הם בנו מודל לחזות בדיוק גבוה (מעל 90%) אילו ילדים הם נוירוטיפיקלים ואילו הם אוטיסטים.
בהמשך, הצוות מקווה שהמודלים שלו יהפכו בהדרגה לחכמים מספיק כדי לאבחן ילד עם אוטיזם ללא סיוע אנושי. עם זאת, כדי לבצע את הקפיצה הזו, הם זקוקים למלאי עצום של סרטונים ביתיים לשימוש לאימון מודלים. זה המקום בו “נחש מה?” נכנס לתמונה.
79% דיוק בסרטוני אודיו
במאמר שפורסם לאחרונה, הצוות בדק את הרעיון של שימוש רק בחלק האודיו של “נחש מה?”, מבלי להסתמך על אף אדם שיתייג תכונות רלוונטיות. אודיו רלוונטי לאבחון אוטיזם מכיוון שידוע כי ילדים רבים עם אוטיזם משמיעים קול שונה מילדים נוירוטיפיקלים, מסבירים החוקרים. לדוגמה, לעיתים קרובות הם מהדהדים את המילים שבהן משתמשים אחרים, מדברים במונוטוני או בגובה טון לא טיפוסי, ומדגישים את דבריהם בדרכים יוצאות דופן.
באמצעות יישום שיטות למידה עמוקה מבוססות אודיו על 850 קטעי אודיו של 58 ילדים (20 מתוכם עם אוטיזם), הצוות השיג 79% דיוק בהבחנה בין ילדים נוירוטיפקלים מאלו עם אוטיזם, אומרים בצוות. ולמרות שזה לא מספיק מבחינה קלינית, הם מסבירים, חשוב לזכור שבגלל שאוטיזם מופיע בדרכים רבות אצל אנשים שונים, לא ניתן לצפות שהקלטות אודיו לבדן יספיקו לאבחון.
בשלבים הבאים, הצוות יתחיל לשלב את אות האודיו עם סוגים אחרים של מידע התנהגותי בסרטונים כמו זיהוי רגשות, תנועות ידיים וכו’. “אנו מעוניינים לפתח מודלים מולטי-מודאליים המשלבים מספר מקורות נתונים לאבחון אחד שניתן להסביר. מערכת”, אומרים החוקרים. “יהיה שימושי לדעת כמה אבחנה אוטומטית יוחסה למשל לזיהוי רגשות או קשר עין לעומת התנהגות אחרת כמו דיבור”.
לא רק שהחוקרים מקווים שהמשחק שלהם יעזור לאבחן אוטיזם מוקדם, הם גם מקווים שהוא יסייע לילדים ללמוד ולהכיר את רגשותיהם של אחרים. כאשר ילדים מסתכלים על פניו של אדם אחר באמצעות מערכת האוטיזם גוגל גלאס שפותחה על ידי וול וצוותו, הזכוכית תספר להם איזה רגש האדם השני מביע. כדי שהמערכת תעשה זאת בצורה מדויקת ומהימנה, נדרש מודל מאומן על מערכי נתונים של הבעות פנים מסומנות.
“הבנה מתמשכת של אוטיזם, והכל ממשחק”
בעבודות האחרונות, וול ועמיתיו חילצו תמונות של הבעות פנים של ילדים ממבחר גדול של “נחש מה?”. לאחר מכן הם יצרו משחק שאיפשר ללא מומחים לסקור במהירות ולתייג את התמונות ברגשות שונים. לדוגמה, המתייגים יכולים לסמן חלק שלם של תמונות כמשמחות או עצובות במקום ללחוץ על כל תמונה. התוצאה: מודל שאומן עם מערך הנתונים המסומן הזה הצליח יותר מכל מודל קיים אחר בזיהוי רגשות במערך נתונים סטנדרטי של הבעות פנים של ילדים.
מערך הנתונים של “נחש מה?” צפוי להפיק מידע שניתן יהיה להזין בחזרה למשחק כדי לשפר את היעילות שלו ככלי הוראה וטיפול, אומר וול. במקביל, וול להוט לעשות שימוש במודלים של אוטיזם של הצוות כדי לעקוב אחר מצבם של ילדים עם אוטיזם לאורך זמן. למשל, האם הם משתפרים בזיהוי רגשות או לא? האם יש שינויים בתנועות הראש, בתנועות האצבעות ובקשר העין שלהם או לא?
“חבר את המידע הזה יחד ופתאום יש לך פוטנציאל להבנה מכניסטית אורכית מתמשכת של התקדמות הפנוטיפ של אוטיזם, שהוא מחליף משחק מוחלט”, הוא אומר. “פתאום יש לך קבוצה של נתוני סדרות זמן, הכל ממשחק”.
למשחק “נחש מה” >>> https://guesswhat.stanford.edu/
