Ytukyg

Ein oder eine Peer-Review (englisch von Peer, Gleichrangiger und Review, Gutachten) ist ein Verfahren zur Qualitätssicherung einer Arbeit durch unabhängige Gutachter aus dem gleichen Fachgebiet. Peer-Review ist im Wissenschaftsbetrieb von herausragender Bedeutung, um die Eignung eines wissenschaftlichen Textes zur Veröffentlichung zu beurteilen. Dadurch soll die Qualität von wissenschaftlichen Publikationen gewährleistet werden.^[1] Viele wissenschaftliche Fachzeitschriften nutzen ein Peer-Review, häufig in Form eines Doppelblindgutachtens. Ebenso wird die Qualität von Anträgen zur Förderung von Forschungsprojekten mittels Peer-Review beurteilt.

In anderen gesellschaftlichen Bereichen außerhalb des Wissenschaftsbetriebs wird die Methode des Peer-Reviews ebenso zur Qualitätssicherung verwendet. Der entsprechende deutsche Begriff Kreuzgutachten wird kaum verwendet.

Akademisch-wissenschaftlicher Bereich |

Definition |

Im akademisch-wissenschaftlichen Bereich sind Peer-Reviews von Zeitschriftenartikeln (und zunehmend auch von Monographien) üblich, bei denen einer oder mehrere Experten des entsprechenden Gebietes die zur Veröffentlichung vorgeschlagene Studie bewerten. Üblicherweise schickt der Autor seinen Artikel als Manuskript an einen Verantwortlichen (z. B. den Herausgeber) einer Zeitschrift oder Schriftenreihe. Wenn dieser den Text für grundsätzlich geeignet hält, wählt er Gutachter aus, die nach inhaltlicher Prüfung ein Votum abgeben, ob der Artikel in der eingereichten Form veröffentlicht, zur Überarbeitung an den Autor zurückgeschickt oder endgültig abgelehnt werden sollte. Diese auch Reviewer oder Referee genannten Experten dürfen beim Peer-Review nicht aus dem Umfeld des Autors stammen. Die Unabhängigkeit des Gutachters vom zu bewertenden Objekt ist das wesentliche Kriterium eines Peer-Reviews.

Anonymität des Gutachters ist dabei nicht unbedingt erforderlich, aber oftmals gegeben. Bleiben sowohl Gutachter als auch Begutachteter anonym, so wird von Doppelblindgutachten gesprochen. Die Autoren sind dann gehalten, im Text Passagen zu vermeiden, die der Anonymität zuwiderlaufen könnten (z. B. Selbstzitierungen in der ersten Person, Hinweise auf die eigene Forschungseinrichtung). In vielen Fällen können jedoch anhand der Referenzen, der experimentellen Möglichkeiten etc. die Autoren trotzdem erraten werden, zumal wenn das betreffende Spezialgebiet von einer überschaubaren Anzahl von Leuten beforscht wird. Daher und aus anderen Gründen wird in vielen Fächern auf die Verdeckung der Autorennamen verzichtet.

Die Anonymität dient dazu, dem Gutachter das Äußern von Kritik und den Hinweis auf Mängel der Publikation zu ermöglichen, ohne dass er die Revanche des möglicherweise hierarchisch oder an Reputation und Einfluss höher stehenden Autors fürchten muss. Das soll eine gründliche und unvoreingenommene Überprüfung ohne Ansehen der Person des Autors sichern und letztlich ein höheres wissenschaftliches Niveau erreichen lassen. Das Prinzip der Anonymität des Gutachters ist nicht unumstritten.^[2]

Das Peer-Review ist nicht als Methode gedacht, um Plagiate, Fälschungen oder in betrügerischer Absicht gemachte Experimente aufzudecken. Es bedeutet auch nicht, dass die wissenschaftliche Arbeit frei von Fehlern ist. Der Gutachter kann nur im Rahmen seiner Möglichkeiten die Signifikanz und Aktualität der Fragestellung, die Originalität und Validität des Lösungsansatzes und die Plausibilität der Resultate im Kontext überprüfen sowie auf methodische Fehler hinweisen.

Der Sinn der Begutachtung liegt vor allem in einer Bewertung der Qualität eines eingereichten Manuskripts, die dem Herausgeber der Fachzeitschrift Anhaltspunkte liefert, ob dieses als Artikel darin veröffentlicht werden kann. Durch die hohe Anzahl von wissenschaftlichen Fachzeitschriften und Fachgebieten sind die Bewertungsmaßstäbe oft sehr unterschiedlich und richten sich nach dem Leserkreis und der Reputation des Fachjournals. In der Regel wird der Gutachter das Manuskript nach offensichtlichen Defiziten oder Verbesserungsmöglichkeiten bewerten und nur gelegentlich auf Rechtschreibfehler oder sprachliche Unzulänglichkeiten hinweisen. Sehr detaillierte Gutachten, inklusive Prüfung der verwendeten Methoden, werden vor allem von Artikeln verlangt, die Themen in umstrittenen oder prestigeträchtigen Fachgebieten (z. B. Stammzellenforschung) behandeln oder von außerordentlich hohem Interesse für einen großen Leserkreis sind (z. B. in Nature oder Science).

Geschichte |

Einer Legende nach^[3] sah sich Henry Oldenburg, Herausgeber der seit 1665 in London erscheinenden Philosophical Transactions, als Theologe nicht in der Lage, die Qualität eingereichter Aufsätze zu naturwissenschaftlichen Themen selbst angemessen zu beurteilen.
Er delegierte diese Aufgabe daher an andere Wissenschaftler, die zum jeweiligen Thema als fachkompetent galten. Dieses Verfahren wurde später von anderen wissenschaftlichen Zeitschriften übernommen.^[4]
Melinda Baldwin zufolge entstand die Legende 1971.^[3]

Verbreitung |

Weltweit gibt es etwa 21.000 Zeitschriften, die verschiedene Arten von Peer-Review einsetzen. Sie veröffentlichen jährlich etwa 1 Million Aufsätze. Es gibt allerdings auch viele wissenschaftliche Zeitschriften, die lediglich mit editorial review arbeiten.

Peer-Review-Publikationen haben aufgrund der mit der Begutachtung verbundenen Qualitätsprüfung einen besseren Ruf als andere Formen der Veröffentlichung wie etwa Kongressbeiträge oder Fachzeitschriften ohne Peer-Review. Die Anzahl solcher Veröffentlichungen wird als Maß für die Produktivität und den Einfluss der Autoren auf ein Wissensgebiet angesehen.

Kritik |

Das Peer-Review-Verfahren wird aus mehreren Gründen kritisiert:^[5]

1. Es dauert meist etliche Monate, in manchen Fällen sogar Jahre, bis ein Fachartikel erscheint.


2. Die Neutralität der Gutachter ist nicht garantiert. Es gibt keine Gewähr, dass die Gutachter nicht ihren eigenen Standpunkt zu strittigen Fragen als Entscheidungsgrundlage heranziehen.

Vereinzelt wird kritisiert, dass es überzogenes, destruktives Kritisieren begünstige. Etablierte Experten eines Teilgebiets der Wissenschaft könnten durch unfundiert-abwertende Gutachten das Eindringen von Konkurrenten in ihre „Nische“ verhindern, und müssten sich bei Anonymität dafür nicht namentlich rechtfertigen. Die Anonymität der Gutachter fördere so das „Revierverhalten“ und behindere einen effizienten Qualitätswettbewerb.

Anonymität des Gutachters kann zu Beurteilungen führen, die aus Zeitmangel, ungenügendem Interesse oder Unwissen nicht gewissenhaft genug erstellt wurden. So kann ein schlechter Artikel im Begutachtungsverfahren für gut befunden werden, ohne dass der Gutachter um seinen guten Ruf in der Wissenschaftsgemeinde fürchten muss.

Eine Studie von John P. A. Ioannidis aus dem Jahr 2005 über das Peer-Review-Modell in medizinischen Veröffentlichungen hat ergeben, dass in fast einem Drittel der Studien zwischen 1990 und 2003, die nach einer Begutachtung veröffentlicht wurden, die Resultate entweder übertrieben waren oder später als widersprüchlich erkannt wurden.^[6] Von den untersuchten Artikeln erhielten 16 % keine Zustimmung, und weitere 16 % wurden in Folgestudien nicht bestätigt. Ioannidis räumte ein, dass viele Faktoren, wie andere oder bessere Versuchsanordnungen der zu wiederholenden Untersuchungen, die Unstimmigkeiten begünstigt haben könnten. Der Prozess des Reviews ist unter den 10.000 medizinischen Zeitschriften weltweit nicht standardisiert. Die Ergebnisse der Studie ließen Zweifel an der Zuverlässigkeit des Peer-Reviews aufkommen. Die in der Regel externen und nicht bezahlten Gutachter bewerten die Stichhaltigkeit des Artikels, ihre Kommentare und Identität werden jedoch vertraulich gehalten. Einige Herausgeber befürworteten daraufhin, die Gutachter öffentlich beim Namen zu nennen und zu bezahlen, andere versichern hingegen, dass das aktuelle Peer-Preview-Modell die Veröffentlichung vor fehlerhaften Details und unsicheren medizinischen Anweisungen bewahrt.

Peer-Reviews sind wiederholt Gegenstand von Verschwörungstheorien mit naturwissenschaftlichem Bezug geworden, wie sie in den letzten Jahrzehnten häufiger auftraten, etwa im Zusammenhang mit der Leugnung der menschengemachten globalen Erwärmung: Darin wurde ihnen unterstellt, sie würden insgeheim einer politischen Agenda folgen oder hätten sonst etwas zu verbergen. Der amerikanische Soziologe Ted Goertzel plädiert daher dafür, sie transparenter zu gestalten: Die Zusammensetzung der Review-Panels solle nicht mehr anonym sein, sämtliche Daten der Forscher müssten ihnen zugänglich gemacht werden, Spezialisten müsse die Gelegenheit gegeben werden, auch alternative Sichtweisen darzustellen, soweit sie auf einer angemessenen Datenbasis beruhten. Gänzlich ausschließen lassen würden sich verschwörungstheoretische Verdächtigungen gegen Peer-Reviews aber wohl nie.^[7]

Vincent Calcagno et al. stellten in einer 2012 in Science veröffentlichten Studie fest, dass Aufsätze, die zunächst von einer Zeitschrift abgelehnt, dann bei einer anderen Zeitschrift eingereicht und schließlich veröffentlicht wurden, tendenziell öfter zitiert werden als andere Aufsätze in dieser Zeitschrift. Das kann daran liegen, dass in dem Aufsatz ein kontroverses Thema behandelt oder eine neue Methode angewandt wird, die von einem Gutachter kritisch gesehen wird, aber dennoch für die Fachwelt von Interesse ist.^[8]

2015 stellten Forscher in Nature eine Methode zum Bewerten der Reproduzierbarkeit von psychologischen Studien vor. Dabei konnten Gutachter in einem börsenbasierten Modell auf bestimmte Studien wetten. Dies erzielte deutlich bessere Ergebnisse als die Bewertung durch einzelne Gutachter.^[9]

Alternativen zum traditionellen Peer-Review |

In Zusammenhang mit der Zeitschriftenkrise und dem elektronischen Publizieren entwickeln sich neue Qualitätssicherungsverfahren. Ein Pionier auf diesem Gebiet ist Stevan Harnad. Seine Vorschläge, die etwas an ein Wiki erinnern, haben sich jedoch noch nicht durchgesetzt, und es sind kaum Erfahrungswerte darüber bekannt.

2006 startete eine Wissenschaftler-Gruppe aus Großbritannien das Online-Journal Philica^[10], bei dem sie die Probleme des traditionellen Peer Review zu lösen versuchten. Anders als sonst üblich werden alle eingereichten Artikel zuerst publiziert, und der Open-Peer-Review-Prozess startet erst danach. Die Gutachter werden dabei nicht von den Herausgebern ausgesucht, sondern jeder Forscher, der das möchte, kann den Artikel kritisieren. Der Gutachter bleibt dabei anonym. Die Gutachten werden am Ende jedes Artikels angehängt, und geben dem Leser so eine Einschätzung der Qualität der Arbeit. Der Vorteil dieses Systems ist, dass auch unorthodoxe Forschungsansätze publiziert werden, und nicht, wie im klassischen Peer-Review, von etablierten Experten unterdrückt werden können.

Ein ähnliches Projekt ist Dynamic-Peer-Review der Webseite Naboj.^[11] Der Unterschied zu Philica besteht darin, dass Naboj kein vollständiges Online-Journal ist, sondern ein Forum für Gutachten von Preprint-Artikeln der Seite arXiv.org. Das System ist dem Beurteilungssystem von Amazon.com nachempfunden, und bietet den Benutzern die Möglichkeit, sowohl die Artikel, als auch die einzelnen Reviews zu bewerten. Dadurch bietet das System den Vorteil (bei einer genügend großen Zahl von Benutzern und Gutachtern), dass die Qualität demokratisch beurteilt wird.

Im Juni 2006 begann Nature mit einem Versuch namens parallel open peer review. Einige Artikel, die für einen traditionellen Review-Prozess eingereicht wurden, wurden parallel dazu auch öffentlich zugänglich gemacht, um kommentiert zu werden.
Der Versuch wurde im Dezember 2006 als erfolglos bewertet und eingestellt.^[12]

Angesichts einer immer größeren Zahl von elektronischen Online-Journalen mit Open Access, die gleichwohl häufig behaupteten, eine Art Peer Review durchzuführen (viele angesiedelt in den Vereinigten Staaten und Indien, viele verlangen Druckkostenbeiträge von den Autoren), testete der Journalist John Bohannon^[13] diese 2013 mit einer gefälschten klinischen Studie eines Krebsmedikaments, die ganz offensichtliche schwere Fehler enthielt (unter anderem versprachen die Autoren, Patienten ohne Abwarten weiterer Ergebnisse mit dem Medikament zu behandeln). Es wurden mehrere Versionen der Studie an 304 Online-Journale versandt, von denen 255 antworteten und 106 einen Review durchführten. Rund 70 % (insgesamt 156) akzeptierten den Aufsatz (nicht mehr erscheinende Zeitschriften wurden dabei nicht mitgerechnet; berücksichtigt man auch diese, waren es rund 60 %). Nur eine Zeitschrift (PLOS one) führte einen genauen Review durch, um den Aufsatz dann wegen des schweren Verstoßes gegen Ethikregeln abzulehnen. Bohannon veröffentlichte seine Ergebnisse in Science, das die Ergebnisse als deutliches Plädoyer für etablierte Zeitschriften mit seriösem Peer Review wertete.^[14] Einige der betroffenen Online-Journale stammten allerdings aus international angesehenen großen Verlagshäusern. Für Online-Journale mit unseriösen Praktiken prägte Jeffrey Beall den Begriff Raubtierjournale (Predatory Journals).

Eine zunehmende Anzahl von Fachzeitschriften geht mittlerweile zum Format des registrierten Berichts (engl. registered report) über, um wissenschaftlichem Fehlverhalten wie HARKing und p-Hacking entgegenzutreten.^[15] Bei einem registrierten Bericht erstellen Autoren einer Studie einen Antrag, der den theoretischen und empirischen Hintergrund, Forschungsfragen und Hypothesen sowie ggf. Pilotdaten enthält. Nach Einsendung bei der Fachzeitschrift wird der Antrag begutachtet, noch bevor die eigentlichen Daten erhoben werden. Im Falle einer positiven Begutachtung wird das nach Datenerhebung zu erstellende Manuskript unabhängig von den Studienergebnissen automatisch veröffentlicht.^[16]

Begutachtung von Anträgen |

Im Wissenschaftsbetrieb findet Peer-Review nicht nur bei Zeitschriftenveröffentlichungen statt, sondern auch bei der Bewilligung von Messzeiten an Großforschungseinrichtungen und von Projektfinanzierungen.

Qualitätssicherung in Unternehmen |

Unternehmen setzen Peer-Review zur Qualitätssicherung ein. So führen Unternehmen, die im Bereich Wirtschaftsprüfung oder Beratung tätig sind, sogenannte Peer-Review durch. Dabei wird ein Projekt (Wirtschaftsprüfung oder Beratungsprojekt) eines Unternehmens durch einen Experten oder ein Expertenteam eines anderen Unternehmens derselben Branche anhand von Projektunterlagen und Arbeitspapieren überprüft. Diese geben dann in einem Gutachten eine Bewertung über die Güte des Projektes ab. Durch die Wahl eines Fremdunternehmens als Prüfer wird die Unabhängigkeit von Prüfer und Prüfling in hohem Maße sichergestellt. Damit erhält das Peer-Review bei Unternehmen in der Qualitätssicherung mehr Gewicht als z. B. ein Inter-Office-Review (Gutachter einer anderen Niederlassung) oder Local-Office-Review (Gutachter derselben Niederlassung).

Für Wirtschaftsprüfer und Wirtschaftsprüfungsgesellschaften ist eine regelmäßige externe Qualitätskontrolle (Peer-Review) inzwischen gesetzlich vorgeschrieben. Derzeit muss die Begutachtung alle drei Jahre durchgeführt werden. Bis zum 31. Dezember 2005 musste eine erstmalige externe Qualitätskontrolle erfolgen. Mit der Siebten WPO-Novelle (Berufsaufsichtsreformgesetz) wird die Befristung der Teilnahmebescheinigung über eine durchgeführte Qualitätskontrolle für WP/vBP-Praxen, die keine börsennotierten Unternehmen prüfen, berufsrechtlich von drei auf sechs Jahre verlängert.

Qualitätssicherung im Gesundheitsbereich |

Das Peer-Review-Verfahren wird im Rahmen des Qualitätssicherungsprogrammes der gesetzlichen Rentenversicherung durchgeführt. Zielsetzung ist die Sicherung der Prozessqualität in den von der gesetzlichen Rentenversicherung belegten Rehabilitationseinrichtungen. Hierbei wird ein durch wissenschaftliche Untersuchungen belegter Zusammenhang zwischen Prozessqualität während der Rehabilitation und der Qualität der medizinischen Entlassungsberichte zu Grunde gelegt. Konkret bedeutet das Peer-Review-Verfahren, dass Chefärzte und Leitende Oberärzte mit langjähriger Erfahrung im Bereich der Rehabilitationsmedizin und Zusatzkenntnissen im Bereich der Sozialmedizin („Peers“) nach dem Zufallsprinzip ausgewählte, anonymisierte medizinische Entlassungsberichte anderer Rehabilitationseinrichtungen (zumeist 20–25 pro Durchgang) nach bestimmten, vorher definierten Kriterien beurteilen. Beurteilt werden sechs für den Rehabilitationsprozess wichtige Teilkategorien (Anamnese, Diagnostik, Therapieziele und Therapie, Klinische Epikrise, Sozialmedizinische Epikrise sowie Weiterführende Maßnahmen und Nachsorge) nach dem Vorhandensein von Mängeln (keine Mängel, leichte Mängel, deutliche Mängel, gravierende Mängel) sowie mit einer zu vergebenden Punktzahl (10 Punkte = sehr gut, 0 Punkte = sehr schlecht). Aus den zusammenfassenden Bewertungen der Teilbereiche ergibt sich die zusammenfassende Bewertung des gesamten Rehabilitationsprozesses. Das Peer-Review-Verfahren findet sowohl in den somatischen Indikationsbereichen (Gastroenterologie, Kardiologie, Neurologie, Onkologie, Orthopädie / Rheumatologie, Pneumologie, Dermatologie) als auch für psychosomatische Erkrankungen und Abhängigkeitserkrankungen statt und sollte alle ein bis zwei Jahre auf Veranlassung der Deutschen Rentenversicherung Bund durchgeführt werden.^[17][18]

Literatur |

• Ann C. Weller: Editorial Peer Review: Its Strengths and Weaknesses. asis&t, 2001, ISBN 1-57387-100-1 (Übersicht von Studien über das Kreuzgutachtensystem aus verschiedenen Fachbereichen von 1945 bis 1997).


• 
  Thomas Gold: New Ideas in Science. In: Journal of Scientific Exploration. Band 3, 1989, Nr. 2, S. 103–112.^[19]
  


• Gerhard Fröhlich: “Informed Peer Review” – Ausgleich der Fehler und Verzerrungen? In: Von der Qualitätssicherung der Lehre zur Qualitätsentwicklung als Prinzip der Hochschulsteuerung. Hochschulrektorenkonferenz, Bonn 2006, S. 193–204 (PDF).


• Gerhard Fröhlich: Peer Review auf dem Prüfstand der Wissenschaftsforschung. In: medizin-bibliothek-information Band 3, 2003, Nr. 2, S. 33–39 (PDF) (Memento vom 11. Januar 2005 im Internet Archive).


• Stefan Hornbostel, Meike Olbrecht: Peer Review in der DFG: Die Fachkollegiaten. iFQ-Working Paper No 2, Bonn 2007, ISSN 1864-2799 (PDF).


• Stefan Hornbostel, Dagmar Simon (Hrsg.): Wie viel (In-)Transparenz ist notwendig? – Peer Review Revisited. iFQ-Working Paper No 1. Bonn 2006, ISSN 1864-2799 (PDF).


• Heinrich Zankl: Fälscher, Schwindler, Scharlatane: Betrug in Forschung und Wissenschaft. Wiley-VCH, Weinheim 2003, ISBN 3-527-30710-9.


• 
  Science between Evaluation and Innovation: A Conference on Peer Review (= Max-Planck-Forum. Band 6). München 2003 (Dokumentation einer Tagung der Max-Planck-Gesellschaft und der Deutschen Forschungsgemeinschaft).


• 
  Hans-Hermann Dubben, Hans-Peter Beck-Bornholdt: Unausgewogene Berichterstattung in der medizinischen Wissenschaft. Institut für Allgemeinmedizin des Universitätsklinikums Hamburg-Eppendorf, Hamburg 2004 (PDF) (Memento vom 31. Januar 2012 im Internet Archive).


• Wissenschaftsrat: Begutachtungen im Wissenschaftssystem. Positionspapier, Berlin 2017.

Rundfunkberichte |

• 
  Thekla Jahn: WISSENSCHAFTSETHIK – Heute sorgt vor allem eine Geschichte für Kopfschütteln, die das Fachmagazin Nature in sei, in Deutschlandfunk – „Forschung aktuell“ vom 27. Februar 2014

Weblinks |

• 
  What is peer review?, Elsevier-Verlag (englisch)


• 
  Martina Lenzen-Schulte: Freibrief zum Missbrauch oder Schutzschild? In: FAZ.net. 9. Januar 2011, abgerufen am 27. Dezember 2014. 
  


• Vera Zylka-Menhorn: Forschungsbetrug: Fachjournale in der Kritik. In: Deutsches Ärzteblatt. Band 103, Nr. 5. Deutscher Ärzte-Verlag, 3. Februar 2006, S. A-234 / B-203 / C-199. 
  


• 
  Center for Scientific Review (NIH) – Seite des National Institutes of Health sowohl für Reviewer, als auch für Applikanten (englisch)


• 
  Nature’s peer review debate (englisch)


• 
  Peer Review – eine Entscheidungsfrage für kleine Zeitschriften Blog LIBREAS, Juni 2012


• 
  Klanner, Robert: Vortrag auf der DPG-Tagung am 3. März 2009 zu den Erfahrungen als Herausgeber der Zeitschrift Nuclear Instruments and Methods A (Elsevier; PDF; 153 kB)


• Milka Kostic: I still remember my first peer review, in: Cell, 31. Oktober 2016.


• Caspar Hirschi: Wie die Peer Review die Wissenschaft diszipliniert, in Merkur Heft 832, September 2018

Einzelnachweise |

1. 
   ↑ Maria Gutknecht-Gmeiner: Externe Evaluierung durch Peer Review: Qualitätssicherung und -entwicklung in der beruflichen Erstausbildung, Springer-Verlag, 2008. https://books.google.co.uk/books?id=CoNxvRwPCOEC
   


2. 
   ↑ Ronald N. Kostoff: Research Program Peer Review: Purposes, Principles, Practices, Protocols (PDF; 852 kB). Office of Naval Research, Arlington, VA, (Report) 2004, S. 23.
   


3. 
   ↑ ^ab volltext.merkur-zeitschrift.de: Caspar Hirschi: Wie die Peer Review die Wissenschaft diszipliniert
   


4. 
   ↑ Irving E. Rockwood: Peer review: more interesting than you think. In: Choice 44.2007,9, S. 1436.
   


5. 
   ↑ Alfred Kieser: Die Tonnenideologie der Forschung. Akademische Rankings. In: Frankfurter Allgemeine Zeitung. 11. Juni 2010, abgerufen am 9. Januar 2012. 
   


6. 
   ↑ John P. A. Ioannidis: Contradicted and Initially Stronger Effects in Highly Cited Clinical Research. In: Journal of the American Medical Association. 13. Juli 2005, doi:10.1001/jama.294.2.218, PMID 16014596 (englisch, jamanetwork.com). 
   


7. 
   ↑ T. Goertzel: Conspiracy theories in science. In: EMBO reports. Band 11, Nummer 7, Juli 2010, S. 493–499, doi:10.1038/embor.2010.84, PMID 20539311, PMC 2897118 (freier Volltext).
   


8. 
   ↑ Ruth Williams: The Benefits of Rejection, The Scientist, 11. Oktober 2012
   


9. 
   ↑ Reproduzierbarkeit von Studien: Der Psychologen-Markt erkennt gute Forschung. In: spektrum.de. Abgerufen am 27. Februar 2016. 
   


10. 
    ↑ Offizielle Website von Philica.
    


11. 
    ↑ Offizielle Website von Naboj.
    


12. 
    ↑ Overview: Nature’s trial of open peer review. In: nature.com. Abgerufen am 11. Juni 2009 (englisch). 
    


13. 
    ↑ Bohannon, Who’s Afraid of Peer Review?, Science, Band 342, 2013, S. 60–65, Online
    


14. 
    ↑ Dan Vergano: Fake Cancer Study Spotlights Bogus Science Journals. National Geographic, 4. Oktober 2013.
    


15. 
    ↑ Promoting reproducibility with registered reports. In: Nature Human Behaviour. 1, 2017, S. 0034, doi:10.1038/s41562-016-0034.
    


16. 
    ↑ https://www.ejp-blog.com/blog/2017/2/3/streamlined-review-and-registered-reports-coming-soon
    


17. 
    ↑ Deutsche Rentenversicherung – Peer Review-Verfahren. In: deutsche-rentenversicherung.de. Abgerufen am 27. Februar 2016. 
    


18. 
    ↑ Peer Review. In: Bundesärztekammer. Abgerufen am 27. Februar 2016. 
    


19. 
    ↑ (online) (Memento vom 9. Oktober 2010 im Internet Archive). (Anstelle konformitätsfördernder Anonymität von Spezialisten zur Begutachtung fordert Gold einen science court mit Wissenschaftlern aus unterschiedlichen Fachgebieten von einer Fakultät)