Waar of niet waar? Kies zelf maar. Waarom is onderzoek niet altijd betrouwbaar

Stel, je ontdekt dat vrouwen vaker ziek zijn dan mannen. Maar hoe weet je of dit ook echt waar is? Misschien zijn toevallig de vrouwen die meededen aan jouw onderzoek wat ziekelijk, maar geldt dit niet voor alle vrouwen. Om je te helpen bij het vinden van het goede antwoord, kun je statistiek gebruiken. Zo kun je uitrekenen hoe groot de kans is dat je ontdekking toeval is. Je moet dan wel op allerlei zaken letten. Hoeveel mensen heb je onderzocht? Zijn deze mensen allemaal even oud? Waar komen ze vandaan? Enzovoorts. Hoe groter en ingewikkelder het onderzoek, des te meer zaken je moet meenemen in je berekening (zie ook kader ‘de heilige vijf procent’).

Rekenkracht

De kracht van je berekening wordt groter als je zorgvuldig te werk gaat. Je doet bijvoorbeeld veel metingen, of verwacht een duidelijke ontdekking te doen. Maar dat lukt niet altijd even goed. Misschien was het lastig om genoeg proefpersonen te vinden, of waren de meetresultaten niet zo duidelijk te interpreteren. En dus zijn de conclusies van onderzoek niet allemaal even betrouwbaar. “Sterke statistiek is de basis van goede wetenschap,” zegt Jelle Goeman, sinds 2013 hoogleraar statistiek bij het Radboudumc. Hij onderzoekt op welke manier wetenschappers statistiek het bestre kunnen toepassen in hun onderzoek. “Het is niet altijd makkelijk. Onderzoeksvragen zijn complex en de metingen leveren tegenwoordig enorme hoeveelheden gegevens op. Dat maakt goede methoden vaak een enorme uitdaging. ”

Vinden na lang zoeken

Voor wetenschappers hoort statistiek er gewoon bij. Zo ook voor neurowetenschapper Martin Dresler van de afdeling Cognitive Neuroscience. Hij raakte geïnteresseerd in de invloed van volle maan op slaap. Veel studies daarover spraken elkaar namelijk tegen, of waren nooit gepubliceerd omdat er niets uitkwam. Onder de streep bleef er van die invloed weinig over. “Een groot probleem in dit type onderzoek is dat er zo ontzettend veel is waar je op moet letten: leeftijd, geslacht, opleidingsniveau, moment van de dag, wel of geen licht, etc. Met zoveel onzekerheden is de kans groot dat je toevallig iets ontdekt. Maar heel degelijk is dit allemaal niet.” Zijn collega Christian Beckmann vult aan: “Je weet pas dat je iets gevonden hebt, als je het nog een keer kunt vinden. Maar replicatie, oftewel het overdoen van onderzoek, gebeurt heel weinig.”

Jaren ploeteren

Waarom wordt onderzoek eigenlijk weinig over gedaan? Het antwoord is vrij simpel. “De wetenschappelijke tijdschriften zien het als oud nieuws,” zegt Martin Dresler, “Zodra iets één keer is aangetoond, wordt het over het algemeen als waar beschouwd.” Daar komt bij dat niemand graag tot de conclusie komt dat jaren ploeteren niets hebben opgeleverd. Een ontdekking heeft ook betere kansen om gepubliceerd te worden en levert meer geld op voor vervolgonderzoek. “Dit soort factoren speelden inderdaad mee in het slaaponderzoek,” zegt Martin Dresler. “Veel onderzoek was niet gepubliceerd, voornamelijk omdat er geen duidelijke relatie tussen volle maan en slaap uitkwam. Daardoor bleven alleen de studies over waarin zo’n relatie wel was gevonden. Dat levert op zijn minst een rooskleurig beeld van de werkelijkheid op.”

Of erger. “De wetenschap wordt hierdoor overschat,” vult Christian Beckmann aan , “of krijgt een verkeerd imago. Hoewel bij dit laatste veel mensen direct denken aan fraude. Gevallen zoals dat van Diederik Stapel krijgen ook veel aandacht. Het ironische is dat regelrechte fraude, zoals het verzinnen van gegevens, juist erg zeldzaam is. In de meeste gevallen gaat het om kleine dingen: een paar afwijkende metingen uit je data halen, stoppen met meten als je mooie resultaten hebt, of juist net zo lang doorrekenen tot je een significant resultaat hebt.” (zie kader ‘Wie zoekt zal vinden)

Waarheid boven tafel

Aan de invloed van onderzoekers op hun eigen gegevens is wel iets te doen volgens Jelle Goeman: “Een wild idee zou zijn om onderzoekers niet hun eigen data te laten analyseren, maar die van anderen. Als je met andermans data aan de slag moet, kun je ook geen belang hebben bij de uitkomst. Wat ook kan is om wetenschappelijke tijdschriften te vragen om onderzoek te accepteren voordat het is uitgevoerd en niet als het helemaal is uitgevoerd. Zo beoordeel je het onderzoek op de methoden, maar niet op de uitkomst. Onderzoekers zouden elkaar voortdurend moeten uitdagen. Probeer maar eens samen te werken met iemand die niet in jouw onderzoeksidee gelooft. Die zal altijd proberen om alles wat je beweert onderuit te halen. Pas als dat niet meer lukt, weet je dat je de waarheid boven tafel hebt gekregen.”

Publish or perish

Als wetenschappers dus anders gaan werken, gaat de kwaliteit van onderzoek omhoog. Was het maar zo makkelijk. Onderzoekers hebben vaak weinig keus. Zij zijn economisch afhankelijk van veel publicaties. En dus van positieve resultaten. Die leiden tot betere beoordelingen en hogere kansen voor onderzoekssubsidies. En die bepalen weer of je als onderzoeker aan het werk kunt blijven. Jelle Goeman: “Hoe verder je in je carrière komt, hoe meer publiceren lijkt te gaan om geld en voortbestaan. Maar wat er nu precies in al die publicaties staat, krijgt eigenlijk opvallend weinig aandacht. We zijn veel aan het zenden , maar we luisteren te weinig.”

Naar de nieuwe betrouwbaarheid

Gelukkig ontstaat in de wetenschappelijke wereld het idee dat het zo niet langer kan. Het landelijke initiatief Science in Transition verzet zich tegen de publicatiedwang. Onderzoekers die zich bij dit initiatief aansluiten vinden dat de beoordeling van wetenschap moet gaan om kwaliteit en inhoud. En dat wetenschappers de ruimte moeten krijgen om negatieve resultaten te publiceren. En de eisen aan de statistische methodes moeten omhoog. Hier kan Jelle Goeman het alleen maar mee eens zijn. “Wat ik binnen het Radboudumc wil bereiken is dat er een sfeer ontstaat waarbij het vanzelfsprekend is om bij methodologen advies in te winnen,” zegt hij, “Het is goed als we een reputatie krijgen van goede methodologische kwaliteit. Uiteindelijk zijn daar vooral patiënten bij gebaat. Zij hebben alleen maar iets aan goede en betrouwbare onderzoeksresultaten.”

• Meer weten over deze onderwerpen? Klik dan via onderstaande buttons door naar meer nieuws.

  Nieuws homepage Patientenzorg en Nieuws en verhalen