Een groep van onderzoekers merkten iets vreemds in bepaalde wetenschappelijke artikelen met betrekking tot kleine knaagdieren (zoals ratten of muizen): het aantal dieren gemeld bij de start van een experiment vaak niet overeen met het aantal dieren aan het einde. Dit kan een aanzienlijke invloed hebben op experimentele resultaten, en toch blijkt verrassend vaak voor.
Een nieuw papier in PLOS Biology neemt een kijkje op de inspanningen van een team van wetenschappers, geleid door Ulrich Dirnagl op Charité Universitätsmedizin in Berlijn, Duitsland, om achter de vele knaagdieren die verloren gaan van lab-studies—tenminste op papier.
Het heet “uitputtingsslag.” Een dier ziek wordt en sterft ten gevolge van oorzaken die niet gerelateerd zijn aan de studie, of het gedraagt zich op een bepaalde manier, dat maakt het een onmogelijk onderwerp. Het probleem komt wanneer er te veel wrijving, vooringenomen wrijving, of niet gemelde uitputting—en door hun inspanningen het duitse team is gekomen om te geloven dat veel van deze lab-studies worden geplaagd door alle drie.
De groep liep simulaties van studies uitgevoerd met groepen van acht behandelde dieren en acht van de onbehandelde controle-dieren—ongeveer wat iemand zou doen voor een vooronderzoek. Vervolgens simuleerden zij de fouten die een studie zou kunnen maken door willekeurige verloop en vooringenomen uitputtingsslag. Bevooroordeeld verloop is niet per se bewust bedrog of liegen. Eerlijk onderzoekers die willen of verwachten, om een resultaat af te schrijven bijwerkingen van een geneesmiddel als gedragsproblemen, of belangrijke sterfgevallen als willekeurig.
De onderzoekers vonden dat de random verloop niet stimuleren een vals positief resultaat, maar in sommige gevallen kan het steunen op een vals negatief resultaat. Dat komt omdat dit soort studies: begin klein. Gooi dieren en hun statistische power—dat is, van hun vermogen om het detecteren van een effect—neemt snel af.
Gesponsord
Bevooroordeeld verloop steeg de positieve detectie, in de meest ernstige gevallen, van 37 procent naar 80 procent. Het loont om te gooien “uitschieters” gegevens die niet tonen onderzoekers wat ze willen zien.
Dus hoe groot is de kans dat we worden geleid door vooringenomen uitputtingsslag? We hebben geen idee. De onderzoekers keken bij een groep van studies gedaan naar kanker en beroerte onderzoek, het sorteren in categorieën. Meer dan de helft van het papier afgesloten op in de “onduidelijk” categorie, wat betekent dat het niet duidelijk of het aantal dieren dat wordt beschreven in de sectie “methode” overeen met de nummer in de “resultaten” sectie.
Naast de meest voorkomende is de “matching” category—waarin het aantal dieren duidelijk op elkaar afgestemd voor de beide secties. Tenslotte kwam er de “wrijving,” categorie, waarbij het duidelijk was dat sommige dieren werden geëlimineerd. Deze moest verder worden onderverdeeld in “legde hij uit,” en “onverklaarbare”, omdat alleen wat papieren uitgelegd waarom dieren had geëlimineerd.
Ten slotte, hebben de onderzoekers gekeken naar de vraag of de behandelde groep dieren uiteindelijk beter af zijn dan de onbehandelde groep. In alle categorieën het deed, met de “matching” categorie met het grootste effect voor zowel kanker en beroerte, de Uitputting komen op de tweede plaats voor de grootte van het effect voor kanker en de derde voor een beroerte, en Onduidelijk komen op de tweede plaats voor een beroerte en een derde voor kanker.
De onderzoekers niet zeker bent over de ‘gematchte’ categorie. Zij kan alleen door wat in de kranten, en kan er niet zeker van dat de “matching” categorie was niet winnowed naar beneden voordat het experiment begon.
Wat ook het geval, het feit dat zo veel van de experimenten viel in de onduidelijke categorie is een probleem. Niet alleen betekent het dat de resultaten onnauwkeurig kunnen zijn, het is zelfs niet mogelijk om echt te controleren.
[Experimenteel Onderzoek op het gebied van Kanker en Beroerte]
Afbeeldingen via Wikimedia