Foto: Jamie McDonald (Getty Images)
Die neuesten Bemühungen zu reproduzieren, die wissenschaftlichen Erkenntnisse dieser Zeit in den Bereich der Sozialwissenschaften, produziert hat lauwarmen Ergebnisse.
Wenn die Ergebnisse in einer veröffentlichten Studie können nicht repliziert werden, die in nachfolgenden Experimenten, wie können Sie Vertrauen, was Sie Lesen, in wissenschaftlichen Fachzeitschriften? Eine internationale Gruppe von Forschern ist sich bewusst, diese Reproduzierbarkeit Krise, und bemüht hat, halten die Wissenschaftler zur Rechenschaft zu ziehen. Für Ihren letzten test, Sie versucht zu reproduzieren, 21 Studien aus zwei der top-Fachzeitschriften, Science und Nature, veröffentlicht wurden, zwischen 2010 und 2015. Nur 13 der Reproduktionen produziert die gleichen Ergebnisse wie der original-Studie.
Aber die Bemühungen zu reproduzieren ältere Studien scheinen zu ändern von Wissenschaft zum besseren. Die Herausforderungen in diesen 21 Papiere, und diejenigen aufgeklärt, die von anderen Reproduzierbarkeit der Untersuchungen führen kann, zu ändern “- Politiken und Praktiken in sozialen Verhaltens-Wissenschaften”, die nach einer E-Mail an Journalisten geschickt werden, die von Brian Nosek, ein Psychologie-professor an der Universität von Virginia und executive director des Center for Open Science.
Das Ziel der wissenschaftlichen Methode ist, etwas neues zu lernen über die Welt mit dem Test einer Hypothese durch ein experiment. Aber wenn das experiment kann nicht wiederholt werden, wenn die Hypothese ist voreingenommen durch die Daten, oder wenn die Ergebnisse unterschiedlich sind, wenn jemand führt den test, dann haben wir nicht wirklich etwas gelernt. Wissenschaftler haben dies erkannt, und es sind Bemühungen im Gange, um neu Vergangenheit Experimente, um zu sehen, ob die Ergebnisse wirklich reproduzierbar.
Zwar gibt es keine standard-Kriterien, um zu bestimmen, ob eine Untersuchung erfolgreich repliziert wurden, waren die Forscher in der Lage, zu wiederholen, sieben von den 21 Studien mit den gleichen Methoden; 12 Studien mit kleinen Abweichungen in den Methoden; eine Studie mit unbeabsichtigten Unterschiede in den Methoden; und eine Studie, wo die Zuchttiere machte einen Fehler in der Datenerhebung. Alle 21 Reproduktionen hatten größere Fallzahlen als die Originale. Die Forscher führten dann mehrere statistische tests, um zu sehen, ob die original-Studien Schlussfolgerungen statt.
Die Forscher erfolgreich repliziert und gezeigt, ähnliche Schlussfolgerungen für die 13 Studien, die besser ist als die Vorherige Reproduktion versuche in der Psychologie und auf Augenhöhe mit anderen aktuellen Bemühungen in der experimentellen ökonomie. Auch für die 13 erfolgreichen Replikationen der Ergebnisse der ersten Studie besser unterstützt die Hypothese, als die Ergebnisse der Reproduktion hat.
Unter den gescheiterten Studien, “es war im Grunde keine Beweise für die ursprünglichen Erkenntnisse”, so das Papier, heute veröffentlicht in der Natur Menschlichen Verhaltens.
Diese wurden vor allem die menschliche Verhaltensstudien. Eine Studie konnte nicht reproduziert werden, zum Beispiel, fand, dass der Blick auf Bilder von Rodin-Skulptur “Der Denker” abgesenkt “selbst-berichtet religiösen überzeugungen.” Ein weiteres “festgestellt, dass die Teilnehmer zugewiesen, Lesen kurze literarische Geschichten besser abgeschnitten als diejenigen, die zugeordnet zu Lesen, nicht-Fiktion auf einen test der Theorie des Geistes.”
Die Forscher nahmen auch eine Befragung von fast 400 Forscher in den Sozialwissenschaften, und gefragt, ob Sie dachte, dass die enthaltenen Papiere wäre reproduzierbar. Die Ergebnisse der Umfrage in der Regel Voraus, welche Studien würden reproduzierbar sein und was nicht sein würde, was darauf hindeutet, dass “die Forschung Vorhersagen könnten, die Ergebnisse zu replizieren und, um Ausfälle zu replizieren, waren nicht das Ergebnis des Zufalls allein”, so das Papier.
Diese Ergebnisse sind wichtig. “Es deutet darauf hin, dass Ergebnisse von Studien veröffentlicht, die in high-impact Zeitschriften sind ebenso unwahrscheinlich, dass Sie erfolgreich repliziert, sodass der impact factor der Zeitschrift, in der Arbeit veröffentlicht wurde, ist keine Garantie, dass die Ergebnisse wahr sind,” Neurologe Malcolm R. Macleod von der Universität Edinburgh in Großbritannien, schrieb in einem Natur-das Menschliche Verhalten-Kommentar.
Jedes der teams, deren Ergebnisse nicht reproduziert angeboten Antworten. Eine Mannschaft Stand, die von Ihren ersten Ergebnissen, zeigen andere erfolgreiche Replikationen. Ein anderer wies auf mögliche Faktoren, die möglicherweise verzerrt haben die ersten Ergebnisse. Ein team ging sogar so weit zu replizieren mehrere Ihrer Studien auf die menschliche finanziellen Verhalten, und vereinbarten mit der Replikations-Studie, dass diese Studie war ein false positive. Sie stellten fest, dass Studien repliziert werden sollten, noch bevor Sie erscheinen in einer wissenschaftlichen Zeitschrift, etwas, was Sie sich jetzt wünschte, Sie getan hatte.
Es gab einige Einschränkungen dieser Replikation der Studie—ist es natürlich, eine kleine Probe aus der top-Zeitschriften, und die top-Zeitschriften vielleicht nicht typisch für den gesamten Bereich. Darüber hinaus werden die Replikationen nur eine Hypothese getestet, also Papiere mit mehreren Hypothesen sind nicht vollständig getestet.
Aber es fällt im Einklang mit einem größeren Muster der Replikation Bemühungen und zeigt, dass es wirklich eine Reproduzierbarkeit problem in der Wissenschaft.
Die Dinge scheinen sich zu ändern, Nosek schrieb. Er wies darauf hin, dass von 33 Psychologie-Zeitschriften, die zuvor keine Transparenz-Politik im Jahr 2013, 24 haben jetzt angenommen, einige, während 19 angenommen haben “ziemlich durchsetzungsfähige Politik.” Mehr Wissenschaftler nun Ihre Daten teilen und preregister, das heißt, Sie Begehen, um ein experimentelles design vor der Erfassung von Daten.
Nosek schrieb: “Diese kulturelle Veränderung erwartet, dass die Reproduzierbarkeit Tarife Laufe der Zeit zu erhöhen.” Und ich hoffe Sie wird sich weiter verändern, denn wir müssen uns stärken, Vertrauen in die Wissenschaft jetzt mehr als je zuvor.
[Die Natur Menschlichen Verhaltens]