Foto: Jamie McDonald (Getty Images)
Ultimi sforzi per riprodurre le scoperte scientifiche, questa volta nel campo delle scienze sociali, ha prodotto tiepida risultati.
Se i risultati in uno studio pubblicato non può essere replicata in esperimenti successivi, come fai a fidarti di quello che leggi sulle riviste scientifiche? Un gruppo internazionale di ricercatori è ben consapevole di questa riproducibilità crisi, e ha fatto di tutto per tenere gli scienziati responsabili. Per la loro prova più recenti, che hanno tentato di riprodurre 21 studi due dei principali riviste scientifiche, la Scienza e la Natura, che sono stati pubblicati tra il 2010 e il 2015. Solo 13 delle riproduzioni prodotto gli stessi risultati di un studio originale.
Ma gli sforzi per riprodurre vecchi studi non sembrano cambiare scienza per il meglio. I problemi affrontati in questi 21 carte, e quelli chiarito da altri studi sulla riproducibilità, può portare alla modifica di “pratiche e politiche sociali-scienze del comportamento”, secondo una e-mail inviata ai giornalisti da Brian Nosek, un professore di psicologia presso l’Università della Virginia e direttore esecutivo del Centro per la Scienza Aperta.
L’obiettivo del metodo scientifico è quello di imparare qualcosa di nuovo sul mondo da prova di un’ipotesi attraverso un esperimento. Ma se l’esperimento non può essere ripetuto, se l’ipotesi è influenzato dai dati, o se i risultati sono diversi, quando qualcuno effettua il test, quindi non abbiamo davvero imparato qualcosa. Gli scienziati hanno capito questo, e ci sono gli sforzi in corso per ricreare il passato esperimenti per vedere se i risultati sono davvero riproducibile.
Mentre non vi è alcuna criteri standard per determinare se uno studio è stato replicato con successo, i ricercatori sono stati in grado di ripetere sette del 21 studi con la stessa modalità; 12 di studi con piccole deviazioni nei metodi; uno studio con involontaria differenze nei metodi; e uno studio in cui i riproduttori fatto un errore nella raccolta dei dati. Tutti i 21 riproduzioni aveva campioni di dimensioni più grandi rispetto a quelle originali. I ricercatori hanno poi effettuato diversi test statistici per verificare se gli studi originali conclusioni tenuto.
I ricercatori hanno replicato con successo e ha dimostrato conclusioni simili per 13 degli studi, che è migliore rispetto alle precedenti tentativi di riproduzione in psicologia e alla pari con un altro recente impegno in economia sperimentale. Anche per il 13 di successo le repliche, i risultati di un primo studio di meglio supportato l’ipotesi che i risultati di riproduzione ha fatto.
Tra il fallito studi, “non c’è stata praticamente alcuna prova per i risultati originali”, secondo il documento pubblicato oggi nella Natura del Comportamento Umano.
Questi erano principalmente umani studi comportamentali. Uno studio che non è riuscito a essere riprodotta, per esempio, ha scoperto che guardando le immagini della scultura di Rodin “Il Pensatore” abbassato “auto-riferito credenze religiose.” Un altro “ha trovato che i partecipanti assegnati a leggere letterario di racconti brevi risultati migliori rispetto a quelli assegnati a leggere le non-fiction su un test di teoria della mente.”
I ricercatori hanno anche preso un sondaggio di circa 400 ricercatori in scienze sociali, chiedendo se hanno pensato che le relazioni sarebbe riproducibile. I risultati dell’indagine generalmente previsto che gli studi sarebbero riproducibili e che non sarebbe, suggerendo che “la comunità di ricerca potrebbe prevedere che i risultati si replica e che i fallimenti di replicare non erano frutto del caso, da solo,” secondo il giornale.
Questi risultati sono importanti. “Si suggerisce che i risultati degli studi sono pubblicati in alta-impatto delle riviste sono altrettanto improbabile che essere replicato con successo; quindi, il fattore di impatto della rivista in cui lavoro è stato pubblicato è alcuna garanzia che i risultati sono vere,” neurologo Malcolm R. Macleod, presso l’Università di Edimburgo nel regno UNITO, ha scritto in una Natura Umana Comportamento commento.
Ciascuna delle squadre i cui risultati non sono stati riprodotti offerto risposte. Una squadra in piedi dai loro risultati iniziali, che puntano al successo delle repliche. Un’altra punta per i potenziali fattori che possono avere falsato i risultati iniziali. Una squadra è andato anche oltre, per replicare molte delle loro studi sull’uomo comportamento finanziario e concordate con la replica di studio che quel particolare studio è stato un falso positivo. Essi hanno osservato che gli studi devono essere replicato anche prima che si manifestino in una rivista di ricerca scientifica, qualcosa che ora il desiderio che avevano fatto.
Ci sono alcune limitazioni di questo studio di replica—ovviamente è un piccolo esempio dalle migliori riviste, e la parte superiore riviste potrebbero non essere tipici di tutto il campo. Inoltre, le repliche testato solo una ipotesi, carte di ipotesi diverse, non sono completamente testati.
Ma cade in linea con un più ampio modello di replica sforzi, e dimostra che c’è davvero un riproducibilità problema nella scienza.
Le cose non sembrano cambiare, Nosek scritto. Egli ha sottolineato che, di 33 riviste di psicologia, che in precedenza non aveva trasparenza le politiche nel 2013, 24 anni, hanno ormai adottato alcuni, mentre il 19 hanno adottato la “abbastanza assertivo politiche.” Più gli scienziati ora di condividere i dati e pre, il che significa che si impegnano a un progetto sperimentale prima di raccogliere qualsiasi tipo di dati.
Nosek ha scritto: “Questo cambiamento culturale anticipa che la riproducibilità dei tassi aumenteranno nel tempo.” E speriamo che continuano a cambiare, perché abbiamo bisogno di sostenere la fiducia nella scienza, ora più che mai.
[La Natura Del Comportamento Umano]