McGurk אפקט: למה העיניים שלך עשויות להשפיע על מה אתה שומע?

כשאתה מסתכל מדובב סרט זר קשה, קל מאוד לראות כי הצלילים נפלטים מפיהם של השחקנים אינם תואמים תנועות השפות שלהם.

במילים אחרות, גם כאשר העיניים והאוזניים שלנו הם גירוי בו זמנית במהלך הסרט, המוח שלנו חייב לבצע עבודה ממש טובה, לשים לב התאמת תנועות שפתיים וצלילים.

מהי השפעת McGurk

אבל המוח יכול ללכת שולל גם. בשנת אשליה מסקרן המכונה אפקט McGurk, תצפית של תנועות השפתיים אדם יכול להערים על המוח כדי לשמוע את הצליל הלא נכון.

McGurk אפקט מתרחש כאשר קיימת התנגשות בין דיבור החזותי, כלומר, התנועה של הפה והשפות של מישהו, ודיבור שמיעה המיוצג נשמעת שאדם שומע. וזה יכול להוביל לתפיסה של הודעה שונה לחלוטין.

מחקר באמצעות מודל ממוחשב

במסגרת המחקר החדש, חוקרי מוח מן "ביילור" המכללה לרפואה ביוסטון ניסו להציע הסבר כמותי של השפעת סיבות McGurk. הם פתחו מודל ממוחשב הצליח לחזות במדויק מתי השפעת McGurk צריכה או לא צריכה להתרחש אצל בני אדם, על פי תוצאות שפורסמו ב -16 בפברואר ב ביולוגית חישובית PLoS העת.

השפעת McGurk ההפגנה השתמשה במחקר, משתתפים התבקשו לעזוב בעיניים עצומות תוך כדי ההאזנה בסרטון המציג אדם, מה שהופך אותו הצליל "בה-בה-בה". ואז, המשתתף התבקש לפתוח את העיניים שלהם ולהסתכל מקרוב בפתחו של אדם בסרטון, אך לא שמע. אפקטים חזותיים משתתף נראה כאילו האיש אמר "חה-חה-חה." בשלב האחרון של הניסוי שוחזר באותו וידאו, אבל פעם הקול היה מופעל המפלגה הציעה לו מבט. רגיש לעם אפקט McGurk דיווח כי הפעם השלישית שהם שמעו את הצליל "דה-דה-דה," אשר לא מתאים לכל אותות שמיעתיים או חזותיים, ראו בעבר.

זה קורה בגלל שהמוח מנסה להחליט מה, לדעתו, את הצליל קרוב למה שהוא רואה ויזואלית. כאשר המשתתף עוצם את עיניו שוב, מדענים לשכפל את הצליל של וידאו, שמע שוב את הקול המקורי "בה-בה-בה".

ההשפעה תוארה לראשונה ניסוי שנערך ב 1976 על ידי פסיכולוג הארי Mc Gurk וג'ון מקדונלד. הוא הראה כי המידע החזותי מסופק על ידי התנועות של הפה, יכול להשפיע ולהגדיר מחדש את הדרך בה אדם חושב שהוא שומע.

אשלית חיזוי

"אפקט McGurk - היא אשליה עוצמה, רב-חושית - אמר מחבר המחקר שיתוף ג'ון Magnotti, דוקטורנט במחלקה הנוירוכירורגית ב" ביילור ". - המוח תופס את הנאום בצורה חזותית וקולית, משלב אותם כדי ליצור משהו חדש ".

כאשר אנשים מתקשרים פנים אל פנים, המוח עוסק בפעילויות מורכבות, כפי שהוא מנסה להחליט איך לשלב תנועת שפות עם צלילי דיבור כי הם שמעו, אמר Magnotti.

במסגרת המחקר, חוקרים ניסו להבין מדוע המוח מסוגל עדיף לשים כמה הברות לפרש צליל נשמע נכון, אבל אחרים לא.

מסקנה סיבתית

כדי להבין זאת, הם הסתמכו על הרעיון של מודל, המכונה למסקנה סיבתי, או התהליך שבו המוח האנושי מחליט אם נאום אודיו ויזואלי נשמע המיוצר על ידי אותו המקור. חוקרים אחרים פתחו מודל כדי לחזות מתי יכול להתרחש אפקט McGurk, אבל מחקר חדש זה הוא ראשון כולל קשר סיבתי בחישוב שלהם, אמר Magnotti. פקטורינג היסק סיבתי עשוי לשפר את הדיוק של הדגם החדש לעומת הקודמים, אשר היו גם לחזות את האשליה.

כדי לאמת את הדיוק של תחזיות המודל שלהם, החוקרים גייסו 60 משתתפים ובקשו מהם להקשיב כמה נאום שמיעתי וחזותי מרמקול יחיד. ואז, התבקשו המשתתפים להחליט איזה סוג של צליל ששמעו :. "Ba," "דה" ו- "GA"

התוצאות הראו כי המודל שפותח יכול לחזות באופן מהימן כאשר רוב המשתתף בניסוי יבדוק את השפעת McGurk. אבל, כצפוי בחישוב שלהם, זה זוהה אנשים שלא היו רגישים זו משותפת Magnotti.

מעניין, כאשר אותו המבחן נערך עם סטודנטים בסין, לא בארצות הברית, זה הוכח כי השפעת McGurk עובדת בשפות אחרות.

יישום מעשי של מודלים ממוחשבים בשימוש

Magnotti אמר כי, לדעתו, מודל המחשב שפותח במחקר זה גם יכול להיות שימוש מעשי. לדוגמה, מודל זה עשוי להיות שימושי עבור חברות שיוצרים מחשבים המסייעים לזהות אותו, כגון הבית של Google או אמזון אקו.

אם טכנולוגיות אלה היו מצלמות, הם יוכלו לשלב אנשים בתנועה של השפות, הם אומרים, כדי לשפר את הדיוק של מערכות זיהוי דיבור שלה.

המודל עשוי גם לעזור לילדים עם שתלי שבלול, שיפור ההבנה של המנגנון על ידי חוקרים כמו ויזואלית זה משפיע מה ששומע, אמר Magnotti.