Het McGurkeffect: woorden horen met je ogen?

Door het McGurkeffect zorgen de hersenen ervoor dat we tijdens het liplezen een onuitgesproken lettergreep horen. Is dit positief of negatief? Kunnen we profiteren van dit fenomeen?

Geschreven en geverifieerd door de psycholoog Maria Fatima Seppi Vinuales.

Laatste update: 20 september, 2023

Huid zien en de zachtheid in het lichaam voelen. Een bord eten zien en die smaak oproepen, het gevoel hebben dat we het eten werkelijk proeven. Op dezelfde manier vertelt het McGurkeffect ons dat het eigenlijk mogelijk is om met onze ogen te luisteren. Laten we eens kijken waar het over gaat.

Wat is het McGurkeffect?

Het McGurkeffect is de integratie tussen auditieve en visuele stimuli in mondelinge taal. Om te begrijpen wat het is, denken we aan een voorbeeld. We staan voor een persoon die de lettergreep “pa” steeds herhaalt. Dat is het geluid dat onze hersenen bereikt, vergezeld van een lipbeweging.

De persoon blijft vervolgens de lettergreep “pa” herhalen. Wat onze hersenen echter interpreteren is dat wat hij of zij nu zegt “fa” is. Wat is er gebeurd?

Het McGurkeffect is opgetreden! Wat de persoon nu ziet is een andere lipbeweging die overeenkomt met de tweede lettergreep, ook al zegt de persoon nog steeds de eerste lettergreep. Als we onze ogen zouden sluiten, zouden we het juiste horen.

Wat we in het voorbeeld eigenlijk doen is liplezen. Het uiteindelijke geluid zou worden gegeven of geleid door een mengsel van liplezen en eerdere ervaring.

Waar is het naar genoemd?

Het McGurkeffect is zo genoemd omdat het in 1976 voor het eerst werd voorgesteld door de psychologen Harry McGurk en John MacDonald, toen ze verschillende experimenten uitvoerden. Daarin bestudeerden ze de imitatiepatronen die kinderen volgden bij het leren van spraak.

In dat geval kwamen ze tot de conclusie dat de visuele informatie soms de overhand had bij de interpretatie, en de informatie die via de auditieve paden kwam negeerde. Met andere woorden, wat we zien beïnvloedt wat we horen.

Op hun beurt melden veel onderzoekers dat de hersenen in bepaalde omstandigheden werken volgens een principe van causale inferentie. Dat wil zeggen, het interpreteert contextuele signalen (het weet of associeert dat een bepaalde lipbeweging overeenkomt met een bepaald geluid), waarbij het de waarschijnlijkheid berekent dat bepaalde boodschappen samen worden gepresenteerd.

Kenmerken van het McGurkeffect

Een van de kenmerken van het McGurkeffect is die van anticipatie, waardoor we een zekere economie van het denken hebben. Dat wil zeggen dat de hersenen hun eerdere visuele ervaringen beschikbaar stellen om te begrijpen waarover gesproken wordt en wat er gehoord wordt.

Liplezen kan soms nuttig zijn, vooral in een lawaaierige omgeving. Het kan echter ook tot verwarring leiden, omdat de hersenen ons zouden misleiden door te geloven dat we iets horen op basis van lipbeweging alleen. Veel van deze perceptuele verschijnselen of misleidingen komen ook voor bij optische illusies.

Een ander bekend feit is dat het McGurkeffect, met betrekking tot audiovisuele waarneming, in de loop van de ontwikkeling afneemt. Omdat bijvoorbeeld het hersengebied dat zich bezighoudt met auditieve informatie zich eerder ontwikkelt dan het gebied dat zich bezighoudt met visuele waarneming, vertrouwen kinderen meer op geluiden dan volwassenen.

Daarom zijn kinderen minder vatbaar voor de verwarringen van het betreffende effect. Dat wil zeggen, in de loop van de groei varieert de manier waarop zintuiglijke informatie wordt verwerkt.

Ook zijn enkele van de beïnvloedende factoren visuele afleiding, vertrouwdheid en lettergreepstructuur. Sommige ziekten kunnen ook een negatieve rol spelen, zoals afasie, de ziekte van Alzheimer en specifieke taalstoornissen.

Ten slotte is er nog een merkwaardig aspect aan het McGurkeffect bij talen. Het optreden ervan varieert afhankelijk van de geanalyseerde taal (Engelse link).

Het visuele en het auditieve werken samen

Door de studie van de hersenen is het mogelijk te weten dat het visuele en het auditieve systeem hand in hand evolueerden om de ontwikkeling van de spraak te vergemakkelijken. Naast het belang ervan op zich, is het visuele systeem een belangrijke bondgenoot en bemiddelaar van het auditieve systeem, dat samenwerkt bij het begrijpen van boodschappen.

Het helpt bijvoorbeeld bij het herkennen van geluiden die moeilijk te onderscheiden zijn. Het stelt ons ook in staat de ontvangen informatie aan te vullen, waardoor we meer zekerheid en vertrouwen krijgen in wat we horen.

Het auditieve en visuele systeem werken samen als een team. Het ene versterkt en ondersteunt de werking van het andere.

Het belang om te weten hoe de hersenen werken is essentieel om het gebruik ervan te verbeteren, en om te kunnen communiceren en ons aan te passen aan bepaalde contexten, en om te kunnen omgaan met verschijnselen die de waarneming beïnvloeden, zoals veroudering.