Meerdere kleine studies beter dan één grote Medisch onderzoek kan beter onderbouwd worden

Heterogeniteit

In de praktijk hebben verschillende studies naar het effect van dezelfde behandeling vaak een andere uitkomst. Deelnemers aan verschillende studies verschillen immers van elkaar, bijvoorbeeld in leeftijd en gewicht. Als deze verschillen groter zijn dan verwacht, dan heb je te maken met heterogeniteit. Deze wordt ook verklaard door andere factoren, zoals verschillen in de samenstelling van de onderzoeksgroepen, cultuurverschillen en invloed van het feit dat positieve studieresultaten vaker worden gepubliceerd dan negatieve resultaten. Vooral bij onderzoek waarbij subjectieve uitkomstmaten worden gemeten, bijvoorbeeld het effect van een behandeling op sociaal welbevinden, is de heterogeniteit groot. Joanna in ’t Hout ontdekte daarnaast dat de heterogeniteit tussen kleinere studies groter is dan tussen grote studies.

Studies combineren

Een van de belangrijkste manieren om informatie te destilleren uit meerdere heterogene studies is een meta-analyse: een statistische analyse van de resultaten van verschillende studies tegelijkertijd. In de praktijk zijn er echter vaak weinig studies beschikbaar voor de meta-analyse. Een andere probleem is de oververtegenwoordiging van positieve publicaties. Joanna in ‘t Hout toonde desondanks aan dat een meta-analyse betrouwbaarder informatie oplevert dan het doen van een nieuwe studie. Joanna in ’t Hout: “Op basis van meerdere, zelfs kleine studies kun je betere universele uitspraken doen dan op basis van één grote homogene studie. Je dekt hiermee meer nuanceverschillen tussen mensen af. Het probleem in de praktijk is echter dat significante resultaten van een enkele kleine studie soms ook al als de waarheid worden gepresenteerd.”

Figuur 1: Een forest plot is een veelgebruikte manier om het gezamenlijke effect van meerdere studies in beeld te brengen. In de bovenste lijnen staan de gemiddelde uitkomsten en spreiding van de individuele studies weergegeven. De ruit is het totale gemiddelde effect. Daaronder wordt het predictie-interval weergegeven. Wie een nieuwe studie uitvoert, kan verwachten dat de uitkomst daarvan ergens in dit gebied komt te liggen. Hoe smaller het predictie-interval, hoe minder variatie in het effect van een bepaalde behandeling.

Reproduceerbaarheid

Als de heterogeniteit tussen studies groot is, worden gevonden resultaat van een studie vaak niet teruggevonden als de studie wordt overgedaan. De reproduceerbaarheid van onderzoek wordt beter als onderzoek methodologisch goed wordt uitgevoerd: voldoende grote onderzoeksgroepen, zorgvuldige metingen en het vermijden van publicatiebias. Joanna in ’t Hout: “Er is veel te doen over de slechte reproduceerbaarheid van onderzoek. Een minder vaak genoemde belangrijke oorzaak hiervoor is de heterogeniteit. Het opnemen van een predictie-interval bij meta-analyses geeft een goede maat voor de heterogeniteit en dus voor de verwachte uitkomst van een nieuwe studie. Hoe groter dit interval is, des te meer verschil in effect een bepaalde behandeling kan hebben op mensen.“

• Meer weten over deze onderwerpen? Klik dan via onderstaande buttons door naar meer nieuws.

  Nieuws homepage Patientenzorg en Nieuws en verhalen