En gruppe forskere har bemærket noget mærkeligt i visse videnskabelige artikler, der involverer små gnavere (som rotter eller mus): antallet af dyr, der rapporterede ved starten af et eksperiment ofte ikke stemmer overens med antallet af dyr i den sidste ende. Dette kan have en betydelig indvirkning på eksperimentelle resultater, og dog, det viser sig at være overraskende almindeligt.
Et nyt papir i PLOS Biology tager et kig på den indsats af et hold forskere, ledet af Ulrich Dirnagl på Charité Universitätsmedizin i Berlin, Tyskland, for at opsnuse de mange gnavere, der forsvinder fra lab studier—i det mindste på papiret.
Det hedder “nedslidning.” Et dyr bliver syg og dør som følge af årsager, der ikke er relateret til den undersøgelse, eller den opfører sig på en måde, der gør at det er et umuligt emne. Problemet kommer, når der er for meget slid, forudindtaget nedslidning, eller urapporteret nedslidning—og gennem deres indsats for det tyske hold er kommet til at tro, at mange af disse laboratoriestudier er plaget af alle tre.
Gruppen kørte simuleringer af undersøgelser, der er gennemført ved hjælp af grupper af otte behandlede dyr og otte ubehandlet kontrol af dyr—groft, hvad nogen ville gøre for en forundersøgelse. Så de simulerede den fejl, at en undersøgelse kan gøre på grund af tilfældige nedslidning og forudindtaget nedslidning. Forudindtaget nedslidning er ikke nødvendigvis bevidst snyd eller liggende. Ærlige forskere, der ønsker eller forventer, at se et resultat kan afskrive bivirkninger af et lægemiddel, som adfærdsmæssige problemer, eller væsentlige dødsfald som tilfældig.
Forskerne fandt, at tilfældige nedslidning ikke øge et falsk positivt resultat, men i nogle tilfælde kan det støtte et falsk negativt resultat. Det skyldes, at disse typer af undersøgelser starte i det små. Smid dyr og deres statistiske power—det er, deres evne til at påvise en effekt—aftager hurtigt.
Sponsoreret
Forudindtaget nedslidning øget positiv opdagelse i de mest alvorlige tilfælde, fra 37 procent til 80 procent. Det betaler sig at smide ud “outlier” data, som ikke viser forskerne, hvad de ønsker at se.
Så hvor sandsynligt er, at vi bliver styret af en forudindtaget nedslidning? Vi har ingen idé. Forskerne så på en gruppe af undersøgelser udført på kræft og slagtilfælde forskning, sortere dem i kategorier. Mere end halvdelen af de papirer, der endte i “uklart” – kategorien, hvilket betyder, at det ikke var klart, at hvis antallet af dyr, der er beskrevet i afsnittet “metode” afsnit matchede nummeret i “resultater”.
Næste mest almindelige var “matches” category—hvor antallet af dyr, der klart matchede til begge dele. Endelig, der kom “slid,” kategori, hvor det var klart, at nogle dyr blev fjernet. Disse måtte være yderligere opdelt i “forklaret” og “uforklarlig”, fordi kun nogle papirer, forklarede, hvorfor dyr, der var blevet elimineret.
Endelig har forskerne set på, om den behandlede gruppe af dyr, der endte med at blive bedre stillet end den ubehandlede gruppe. I alle de kategorier, det gjorde, med de “matches” kategori, der har den største effekt for både kræft og slagtilfælde, Nedslidning kommer i anden række for størrelsen af den effekt mod kræft og for det tredje for slagtilfælde, og Uklart, kommer i anden række for slagtilfælde og for det tredje for kræft.
Forskerne er ikke sikre på, om de “matches” kategori. De kan kun gå ved, hvad der er i aviserne, og man kan ikke være sikker på, at den “matches” kategori var ikke spredt ned, før forsøget startede.
Uanset hvad, er det faktum, at så mange af de eksperimenter, som faldt i den uklare kategori er et problem. Ikke kun betyder det, at resultaterne kan være unøjagtige, det er ikke engang muligt at kontrollere dem.
[Eksperimentel Forskning i Kræft og Slagtilfælde]
Billeder via Wikimedia