Foto: Jamie McDonald (Getty Images)
De seneste bestræbelser på at gengive videnskabelige resultater, denne gang i forbindelse med social sciences, har produceret lunkent resultater.
Hvis den resulterer i en offentliggjort undersøgelse kan ikke blive gentaget i de efterfølgende eksperimenter, hvordan kan du stole på, hvad du læser i videnskabelige tidsskrifter? En international gruppe af forskere er godt klar over dette reproducerbarhed krise, og har bestræbt sig på at holde forskere ansvar. For deres seneste test, de forsøgte at reproducere 21 undersøgelser fra to af de førende videnskabelige tidsskrifter, Science og Nature, som blev udgivet mellem 2010 og 2015. Kun 13 af de gengivelser, der er produceret de samme resultater som den oprindelige undersøgelse.
Men bestræbelserne på at gengive ældre undersøgelser, synes at være under forandring videnskab til det bedre. De udfordringer i disse 21 papirer, og dem, belyst ved andre reproducerbarhed undersøgelser, der kan føre til ændring af “politikker og praksis i social-behavioral sciences,” ifølge en e-mail, der sendes til journalister, af Brian Nosek, en psykologi professor ved University of Virginia og administrerende direktør for Center for Videnskab.
Målet for den videnskabelige metode er at lære noget nyt om verden ved at teste en hypotese gennem et eksperiment. Men hvis forsøget ikke kan gentages, hvis hypotesen er forudindtaget af data, eller hvis resultaterne er forskellige, når en anden person udfører de test, så vi har ikke rigtig lært noget. Forskere har indset dette, og der er bestræbelser i gang for at genskabe tidligere eksperimenter for at se, om resultaterne er virkelig reproducerbar.
Mens der er ingen standard for kriterier til at afgøre, om en undersøgelse er blevet en succes gentages, var forskerne i stand til at gentage syv af de 21 studier med præcis de samme metoder; 12 af de undersøgelser, der med små afvigelser i de metoder; en undersøgelse med utilsigtede forskelle i metoder, og en undersøgelse, hvor billedog lavet en fejl i indsamlingen af data. Alle 21 gengivelser havde større sample størrelser end originalerne. Forskerne derefter udføres en række statistiske tests for at se, om de oprindelige undersøgelser’ konklusioner afholdt.
Forskerne succes har kopieret og vist lignende konklusioner for 13 af de undersøgelser, som er bedre end tidligere reproduktion forsøg i psykologi og på niveau med en anden nylig indsats i eksperimentel økonomi. Selv for de 13 vellykket replikationer, resultaterne af den første undersøgelse bedre støttes hypotesen om end resultaterne af reproduktion gjorde.
Blandt de mislykkedes undersøgelser, “der var stort set ikke er nogen beviser for de oprindelige resultater,” i henhold til det papir, der er offentliggjort i dag i Naturen er Menneskelig Adfærd.
Disse blev primært menneskers adfærdsmæssige undersøgelser. En undersøgelse, som ikke er gengivet, for eksempel fundet, at kigge på billeder af Rodin skulptur “Tænkeren” sænket “selv-rapporteret religiøse overbevisninger.” En anden “viste, at deltagerne får til opgave at læse litterære noveller klarede sig bedre end dem, der er tildelt til at læse faglitteratur på en test af teori om sindet.”
Forskerne fandt også en undersøgelse af næsten 400 forskere inden for samfundsvidenskab, der spørger, om de mente, at den medfølgende papirer ville være reproducerbar. Undersøgelsens resultater generelt at forudse, hvilke undersøgelser skal være reproducerbare, og som ikke ville være, hvilket tyder på, at “forskersamfundet kunne forudsige, hvilke resultater vil kopiere, og at manglende evne til at replikere var ikke resultatet af en chance alene”, ifølge papiret.
Disse resultater er vigtige. “Det tyder på, at resultaterne af de undersøgelser, der er offentliggjort i høj-impact-tidsskrifter, der er lige så usandsynligt at blive gentaget med succes, så impact factor journal, hvor arbejdet blev offentliggjort, er ingen garanti for, at resultaterne er sande,” neurolog Malcolm R. Macleod, fra University of Edinburgh i STORBRITANNIEN, skrev i en Art Menneskelig Adfærd kommentar.
Hver af de hold, hvis resultater ikke gengivet tilbudte svar. Det ene hold stod ved deres oprindelige resultater, der peger på andre succesfulde replikationer. En anden pegede på potentielle faktorer, der kan have skævvredet de første resultater. Det ene hold gik så langt som til at kopiere flere af deres undersøgelser på menneskers økonomiske adfærd, og der er aftalt med replikation undersøgelse, at den pågældende undersøgelse var en falsk positiv. De bemærkes, at undersøgelser skal gentages endnu, før de vises i et tidsskrift, noget, som de nu ville ønske, de havde gjort.
Der var nogle begrænsninger til denne replikation undersøgelse—selvfølgelig er det en lille prøve fra top-tidsskrifter, og den top-tidsskrifter er måske ikke typisk for hele området. Derudover replikationer kun testet en hypotese, så papirer med flere hypoteser, ikke fuldt ud testet.
Men det falder i tråd med et større mønster af gentagelse indsats, og den viser, at der virkelig er en reproducerbarhed problem i videnskaben.
Ting synes at være under forandring, Nosek skrev. Han påpegede, at ud af 33 psykologi tidsskrifter, som tidligere havde ingen gennemsigtighed politikker i 2013, 24 har nu vedtaget nogle, mens 19 har vedtaget “temmelig selvbevidst politik.” Flere forskere nu dele deres data og præregistrer dig nu, hvilket betyder, at de forpligter sig til et eksperimentelt design forud for indsamling af data.
Nosek skrev: “Denne kulturelle forandring, forudser, at reproducerbarhed priser vil stige over tid.” Og forhåbentlig vil de fortsætte med at ændre sig, fordi vi har brug for at styrke tilliden til videnskaben nu mere end nogensinde.
[Art Menneskelig Adfærd]