Is de helft van het psychologie-onderzoek goed voor de vuilnisbak?
Een internationaal team van onderzoekers heeft honderd recente psychologische studies opnieuw uitgevoerd. Meer dan de helft van die replicaties leverde andere resultaten op. Vooral bij verrassende resultaten kunnen vraagtekens worden geplaatst.
De wetenschap heeft al jaren te kampen met een betrouwbaarheidscrisis. In 2012 bracht wetenschapsblad Eos al aan het licht dat een op de twaalf Vlaamse medische wetenschappers wel eens data manipuleert. Maar vooral psychologisch onderzoek heeft een slechte naam. Studies zijn vaak kleinschalig en niet te herhalen. De grootschalige fraude van sociaal psycholoog Diederik Stapel van de universiteit van Tilburg, die vier jaar geleden aan het licht kwam, ontketende een crisis in het vakgebied.
Het cliché wil dat elke crisis kansen biedt, en dat is hier ook het geval. De kritische geluiden leidden tot nieuwe initiatieven om het blazoen opnieuw op te poetsen. Zo startte Brian Nosek, hoogleraar psychologie aan de University of Virginia, met het Reproducibility Project: Psychology. Hij kon onderzoekers uit de hele wereld, onder wie wetenschappers van de KU Leuven en Tilburg University – de voormalige universiteit van fraudeur Stapel – bewegen om samen honderd psychologische studies te herhalen. De bewuste studies waren allemaal in 2008 gepubliceerd in drie bekende vakbladen.
Onbetrouwbaar?
Deze week verschijnen de resultaten van de grote replicatiestudie in Science. Opvallend: de onderzoekers slaagden er weliswaar in om de meeste originele experimenten te herhalen. Maar dat leverde niet altijd de originele resultaten op. Verre van zelfs. Bij nog niet de helft van de studies kwamen ze tot dezelfde conclusies als de oorspronkelijke onderzoekers. Dat betekent nog niet dat de originele studies rijp zijn voor de vuilnisbak, benadrukt het team in Science. Maar het roept wel ernstige twijfels op. Ofwel vond de originele studie ten onrechte een effect – en was ze dus onbetrouwbaar. Ofwel is het herhaalonderzoek, ondanks het scrupuleuze opzet van het replicatieproject, niet exact hetzelfde uitgevoerd als het originele onderzoek en kwam het daardoor tot andere resultaten. Ofwel faalde het herhaalonderzoek door een of andere toevalligheid.
‘Al jaren is er bezorgdheid over de reproduceerbaarheid van wetenschappelijke resultaten, maar er was weinig direct, systematisch bewijs. Dit project is het eerste in zijn soort en het voegt substantieel bewijs toe dat de bezorgdheden reëel zijn en een antwoord kunnen krijgen’, zegt Brian Nosek.
Nosek en de 270 andere onderzoekers die aan het project meewerkten, probeerden ook te achterhalen welke studies het best te reproduceren zijn. De ervaring en expertise van de originele onderzoekers deed er weinig toe, zo bleek. Wel belangrijk was: hoe significanter de originele resultaten, hoe vaker ze bij herhaalonderzoek opnieuw uit de bus kwamen. Over het algemeen waren verrassende bevindingen moeilijker te reproduceren dan wat in de lijn der verwachtingen ligt. Ten slotte waren sommige studies simpelweg te moeilijk om exact te herhalen. Dat laatste getuigt overigens ook niet van deugdelijk onderzoek. De bevindingen van een studie zijn voor de wetenschap immers pas ‘waar’ als ze verschillende keren zijn herhaald met dezelfde uitkomst.
Publicatiedruk
De opzet van psychologisch onderzoek kan dus vaak beter. Zodat herhaalonderzoek ten minste kan nagaan of we waarheid kunnen hechten aan bepaalde conclusies. Helaas stimuleert de wetenschappelijke wereld het herhaalonderzoek niet, zegt Nosek. “Wetenschappers proberen betrouwbare kennis aan te dragen, maar tegelijk moeten ze zeker zijn van publicaties in vakbladen, omdat ze vooral door publicaties hun job als onderzoeker veiligstellen. En vooral nieuwe, onverwachte of opwindende bevindingen zijn makkelijk te publiceren.”
Eerder onderzoek wees al uit dat vakbladen vooral studies publiceren die effecten vinden (en geen studies die de onderzochte effecten niet vinden), en dat herhaalonderzoek niet populair is bij de uitgevers. Daardoor doen wetenschappers liever vernieuwend onderzoek dat hun carrière ten goede komt, zelfs als dat ten koste gaat van de reproduceerbaarheid van hun resultaten, meent Nosek.
