מדור “שווים סיפור” מתפרסם בחסות מפעל הפיס
בגיל 30 עברה אן ג’ונסון שבץ מוחי שהותיר אותה משותקת לחלוטין. היא איבדה שליטה על כל השרירים בגופה, ולא הצליחה אפילו לנשום. נסיבות השבץ נותרו חידה עד היום. במשך חמש השנים הבאות היא הלכה לישון כל לילה בפחד שתמות בשנתה. שנים של פיזיותרפיה נדרשו לה עד שהצליחה להזיז את שרירי פניה כדי לצחוק או לבכות. ובכל זאת, השרירים שהיו מאפשרים לה לדבר נותרו חסרי תנועה.
“בן לילה הכל נלקח ממני”, כתבה אן באמצעות מכשיר המאפשר לה להקליד על מסך מחשב עם ראשה. “התחתני לפני שנתיים, הייתה לי תינוקת בת שנה ובן חורג בן שמונה”. כיום אן כבר בת 48, ועוזרת לחוקרים באוניברסיטת קליפורניה בסן פרנסיסקו ובאוניברסיטת ברקלי לפתח טכנולוגיית מחשב-מוח חדשה שיכולה יום אחד לאפשר לאנשים כמוה לתקשר בצורה טבעית יותר באמצעות אוואטאר דיגיטלי בצורת בן אדם.
“לשחזר תקשורת באופן מלא”
זו הפעם הראשונה שדיבור או הבעות פנים מסונתזים מאותות מוח. המערכת גם יכולה לפענח את האותות האלו לטקסט במהירות של כמעט 80 מילים לדקה – שיפור עצום לעומת המערכת הנוכחית בה היא משתמשת, שמאפשרת לה לייצר רק 14 מילים לדקה.
ד”ר אדוארד צ’אנג, ראש תחום כירורגיה נוירולוגית באוניברסיטת קליפורניה, שעבד על פיתוח הטכנולוגיה החדשה במשך יותר מעשור (הידועה כממשק מוח-מחשב או: BCI), מקווה שפריצת הדרך המחקרית תקבל את אישור ה-FDA כבר בעתיד הקרוב. “המטרה שלנו היא לשחזר תקשורת באופן מלא”, הסביר צ’אנג. “ההתקדמות הזו מקרבת אותנו להפיכת הטכנולוגיה לפתרון אמיתי עבור מטופלים”.
עזרו לנו להמשיך לעבוד בשבילכם. מוזמנים לעגל לטובה לעמותת שווים. רק 4 שקלים בממוצע בחודש. הקליקו >>> bit.ly/Shavvim-igul-letova
אן הייתה מורה למתמטיקה בתיכון בקנדה לפני השבץ שעברה ב-2005. ב-2020 היא תיארה את חייה במאמר שכתבה. “תסמונת ה-LIS משאירה אותך מודעת לחלוטין, יש לך תחושה מלאה, כל חמשת החושים עובדים, אבל את כלואה בתוך הגוף והשרירים לא פועלים. למדתי שוב לנשום לבד, להזיז את הצוואר, גם הצחוק שלי חזר ואני יכולה לבכות ולקרוא. עם השנים גם החיוך שלי חזר, ואני מסוגלת לקרוץ ולומר כמה מילים”. כשהיא התאוששה, היא הבינה שהיא יכולה להשתמש בחוויות שלה כדי לעזור לאחרים, וכעת היא שואפת להיות יועצת במוסד לשיקום פיזי. “אני רוצה שהמטופלים שם יראו אותי ויידעו שחייהם לא הסתיימו עכשיו”, כתבה. “אני רוצה להראות להם שנכויות לא צריכות לעצור אותנו או להאט אותנו”.
ממירים תנועות מוח – למילים
היא למדה על המחקר של צ’אנג ב-2021 לאחר שקראה על אדם משותק בשם פנצ’ו, שעזר לצוות לתרגם את אותות המוח שלו לטקסט בזמן שהוא ניסה לדבר. הוא עבר שבץ מוחי שנים רבות קודם לכן, ולא היה ברור אם המוח שלו עדיין יכול לאותת על תנועות הדיבור. זה לא מספיק רק לחשוב על משהו – אדם צריך באמת לנסות לדבר כדי שהמערכת תקלוט את זה. פנצ’ו הפך לאדם הראשון שחי עם שיתוק, שהוכיח שאפשר לפענח אותות דיבור-מוח למילים מלאות.
עם אן הצוות של צ’אנג ניסה משהו שאפתני אפילו יותר: פיענוח אותות המוח לדיבור יחד עם תנועות פניו של אדם במהלך השיחה. לשם כך, החוקרים השתילו מלבן דק מנייר של 253 אלקטרודות על פני השטח של מוחה של אן, באזורים שהם גילו בעבר שהם קריטיים לדיבור. האלקטרודות קלטו את אותות המוח, שאלמלא השבץ היו עוברים לשרירים בשפתיים שלה, בלשון, בלסת, בגרון ובפנים. כבל המחובר לראשה של אן חיבר את האלקטרודות לקבוצה של מחשבים.
במשך שבועות אן עבדה עם הצוות כדי לאמן את האלגוריתמים של הבינה המלאכותית של המערכת, כדי שיזהו את אותות המוח הייחודיים שלה לדיבור. זה כלל חזרה על ביטויים שונים מאוצר מילים של 1,024 מילים, שיחות חוזרות ונשנות, עד שהמחשב זיהה את דפוסי פעילות המוח הקשורים לכל צלילי הדיבור הבסיסיים. “זה היה מרגש לראות אותה יוצאת מ’אנחנו הולכים פשוט לנסות לעשות את זה’, ואז לראות את זה קורה מהר יותר ממה שכנראה מישהו חשב”, סיפר בעלה של אן, ביל, שנסע איתה מקנדה כדי להיות איתה במהלך המחקר. “נראה שהם דוחפים אחד את השני לראות כמה רחוק הם יכולים להגיע עם זה”.
במקום לאמן את הבינה המלאכותית לזהות מילים שלמות, החוקרים יצרו מערכת שמפענחת מילים ממרכיבים קטנים יותר הנקראים “פונמות”. אלו הן תת-יחידות הדיבור היוצרות מילים מדוברות באותו אופן שבו אותיות יוצרות מילים כתובות. באמצעות גישה זו, המחשב היה צריך ללמוד רק 39 פונמות כדי לפענח כל מילה באנגלית. זה גם שיפר את הדיוק של המערכת וגם הפך אותה למהירה פי שלושה.
“הדיוק, המהירות ואוצר המילים הם קריטיים”, מדגיש שון מצגר, שפיתח את מפענח הטקסט יחד עם אלכס סילבה, שניהם סטודנטים לתארים מתקדמים בתוכנית הביו-הנדסה המשותפת של אוניברסיטת קליפורניה ואוניברסיטת ברקלי. “זה מה שנותן לאן את הפוטנציאל, עם הזמן, לתקשר כמעט מהר כמונו, ולנהל שיחות הרבה יותר טבעיות ונורמליות”. כדי לסנתז את הנאום של אן, הצוות הגה אלגוריתם לסינתזה של דיבור, שאותו התאימו כך שיישמע כמו קולה לפני הפציעה.
“הבת שלי לא ידעה איך אני נשמעת”
“המוח שלי מרגיש מצחיק כשהוא שומע את הקול המסונתז שלי”, כתבה אן בתשובה לשאלה. “זה כמו לשמוע חבר ותיק”. עכשיו היא מצפה ליום שבו בתה – שמכירה רק את הקול הבלתי-אישי של מכשיר התקשורת הנוכחי שלה – תוכל לשמוע גם את קולה האמיתי. “הבת שלי הייתה בת שנה כשנפגעתי. זה כאילו היא לא מכירה אותי. אין לה מושג איך אני נשמעת”.
במקביל, הצוות הנפיש את האוואטאר של אן בעזרת תוכנה המדמה תנועות שרירים של הפנים. החוקרים יצרו תהליכי למידה מותאמים אישית של מכונה, שאפשרו לתוכנת החברה להשתלב באותות שנשלחים ממוחה של אן בזמן שהיא מנסה לדבר ולהמיר אותם לתנועות על פני האוואטאר שלה. דבר זה גרם ללסת להיפתח ולהיסגר, לשפתיים לבלוט, ללשון לעלות ולרדת, וגם לתנועות הפנים להקרין אושר או עצב או הפתעה.
“אנחנו מפצים על הקשרים בין המוח שלה לדרכי הקול שניתקו בעקבות השבץ”, מסבירה קיילו ליטלג’ון, סטודנטית לתואר שני שעובדת עם צ’אנג. “כשאן השתמשה לראשונה במערכת כדי לדבר ולהזיז את פניו של האוואטאר, ידעתי שזה הולך להיות משהו שתהיה לו השפעה אמיתית”. השלב החשוב הבא עבור הצוות הוא יצירת גרסה אלחוטית שלא תחייב את אן להיות מחוברת ל-BCI. “ליכולת של אן ואנשים במצבה לשלוט בחופשיות במחשבים ובטלפונים שלהם באמצעות טכנולוגיה יש השפעות עמוקות על עצמאותם ועל האינטראקציות החברתיות שלהם”, אומר ד”ר דיוויד מוזס, אחד ממובילי המחקר.
מה שבטוח, עבור אן הסיוע בפיתוח הטכנולוגיה כבר שינה את החיים. “כשהייתי בבית החולים המרפאה בדיבור לא ידעה מה לעשות איתי”, היא כתבה. “להיות חלק מהמחקר הזה נתן לי תחושת מטרה. אני מרגישה שאני תורמת לחברה. זה מרגיש כאילו יש לי עבודה שוב. המחקר הזה אפשר לי לחיות באמת בזמן שאני עדיין בחיים”.
