Tento článek se zabývá recenzním řízením vědeckých prací. O obecném společenském schválení kolegy viz: o vzájemném hodnocení
Recenzent v Národním ústavu zdraví hodnotí návrh grantu.
Recenzování (v některých akademických oborech známé jako refereeing) je proces, při kterém je vědecká práce nebo myšlenky autora podrobena kontrole jiných odborníků v daném oboru. Využívají ho především redaktoři při výběru a kontrole předložených rukopisů a financující agentury při rozhodování o udělení grantů. Cílem recenzního řízení je, aby autoři splňovali standardy svého oboru a vědy obecně. Na publikace a ocenění, které neprošly recenzním řízením, budou vědci a odborníci v mnoha oborech pravděpodobně pohlížet s nedůvěrou. I v recenzovaných časopisech se však objevují chyby, podvody a další nedostatky, které zpochybňují jejich nárok na publikování solidní vědy.
V případě rukopisů předá editor rukopisy přijaté k vydání vydavateli, který je zodpovědný za organizaci redakčních služeb, tisk a distribuci publikace. V případě odborných akademických (vědeckých) časopisů je editor (nebo stále častěji skupina editorů) obvykle uznávaným akademickým pracovníkem v daném oboru a vydává časopis jménem učené společnosti nebo komerčního vydavatele. Některé časopisy mají profesionální redaktory zaměstnané vydavatelem (např. Nature) nebo charitativní organizací (např. Science), která časopis vlastní. Editor je v konečném důsledku odpovědný za kvalitu a výběr rukopisů vybraných k publikování, přičemž obvykle vychází z recenzního řízení, ačkoli za obsah každého rukopisu vždy odpovídají autoři. Redaktor neprovádí revize a opravy pravopisu, gramatiky a formátování – tento proces provádí redaktor kopií, ačkoli redaktor kontroluje kvalitu tohoto procesu.
Důvodem pro vzájemné hodnocení je skutečnost, že jednotlivý autor nebo výzkumný tým jen zřídkakdy odhalí všechny chyby nebo nedostatky ve složité práci. Není tomu tak proto, že by nedostatky představovaly jehlu v kupce sena, ale proto, že v novém a možná eklektickém intelektuálním produktu může příležitost ke zlepšení vyniknout pouze u někoho se speciálními znalostmi nebo zkušenostmi. Jak pro získání grantu, tak pro publikaci ve vědeckém časopise je obvykle také podmínkou, aby práce byla nová a podstatná. Ukázat práci ostatním proto zvyšuje pravděpodobnost, že budou identifikovány nedostatky a s radou a povzbuzením odstraněny. Anonymita a nezávislost recenzentů má podpořit nezkreslenou kritiku a odradit od kamarádíčkování při rozhodování o financování a publikování. Jak je však uvedeno níže v následujícím oddíle, vládní směrnice USA upravující vzájemné hodnocení pro federální regulační agentury vyžadují, aby byla za určitých okolností identita recenzenta zveřejněna.
Vzhledem k tomu, že recenzenti jsou obvykle vybíráni z odborníků v oborech, o nichž článek pojednává, je proces vzájemného hodnocení považován za rozhodující pro vytvoření spolehlivého souboru výzkumu a znalostí. Vědci, kteří čtou publikované články, mohou být odborníky pouze v omezené oblasti; do jisté míry se spoléhají na to, že proces vzájemného hodnocení poskytne spolehlivý a důvěryhodný výzkum, na němž mohou stavět následný nebo související výzkum. V důsledku toho dochází ke značnému skandálu, když se zjistí, že autor zfalšoval výzkum obsažený v článku, protože na tento výzkum se mohlo spoléhat mnoho dalších vědců i samotný obor (viz níže Peer review a podvody).
V případě navrhovaných publikací zasílá editor předběžné kopie autorových prací nebo myšlenek výzkumným pracovníkům nebo vědcům, kteří jsou odborníky v daném oboru (tzv. „recenzenti“ nebo „recenzenti“), obvykle e-mailem nebo prostřednictvím webového systému pro zpracování rukopisů. Obvykle se jedná o dva nebo tři recenzenty. Každý z těchto recenzentů zašle redakci hodnocení práce včetně návrhů na zlepšení. Většinu připomínek recenzentů obvykle nakonec vidí autor. Vědecké časopisy tuto konvenci dodržují všeobecně. Redaktor, který obvykle sám rozumí oboru rukopisu (i když ne do takové hloubky jako recenzenti, kteří jsou specialisté), pak vyhodnotí připomínky recenzentů, svůj vlastní názor na rukopis a kontext rozsahu časopisu nebo úrovně knihy a čtenářů a poté předá rozhodnutí zpět autorovi (autorům), obvykle s připomínkami recenzentů.
Hodnocení recenzentů obvykle obsahuje výslovné doporučení, jak s rukopisem nebo návrhem naložit, často vybrané z nabídky časopisu nebo financující agentury. Většina doporučení je následujícího typu:
Během tohoto procesu mají recenzenti poradní hlas a editor není formálně povinen názory recenzentů akceptovat. Kromě toho při vědecké publikaci rozhodčí nejednají jako skupina, nekomunikují spolu a obvykle neznají svou identitu. Obvykle se nevyžaduje, aby rozhodčí dosáhli konsensu. Skupinová dynamika se tedy podstatně liší od dynamiky poroty. V situacích, kdy se rozhodčí neshodnou na kvalitě
díla, existuje řada strategií, jak dosáhnout rozhodnutí.
Pokud editor obdrží velmi pozitivní a velmi negativní recenze na stejný rukopis, často si vyžádá jednu nebo více dalších recenzí jako rozhodující. Jako další strategii v případě nerozhodného výsledku mohou redaktoři vyzvat autory, aby odpověděli na kritiku recenzenta, a povolit přesvědčivé vyvrácení, aby se nerozhodný výsledek zlomil. Pokud se editor necítí jistý, aby zvážil přesvědčivost vyvrácení, může požádat o odpověď rozhodčího, který vznesl původní kritiku. Ve výjimečných případech redaktor zprostředkuje komunikaci mezi autory a rozhodčím tam a zpět, čímž jim v podstatě umožní diskutovat o daném bodu. Ani v těchto případech však redaktoři neumožňují rozhodčím, aby se mezi sebou radili, a cílem tohoto procesu výslovně není dosáhnout konsenzu nebo někoho přesvědčit, aby změnil svůj názor. Některé lékařské časopisy však (obvykle podle modelu otevřeného přístupu) začaly na internetu zveřejňovat historii každého jednotlivého článku před jeho zveřejněním, od původního podání přes zprávy recenzentů, připomínky autorů až po revidované rukopisy.
Tradičně zůstávali recenzenti pro autory anonymní, ale to se pomalu mění. V některých akademických oborech nyní většina časopisů nabízí recenzentům možnost zůstat v anonymitě nebo ne, případně se recenzent může rozhodnout recenzi podepsat, a tím se anonymity vzdát. Publikované práce někdy v sekci poděkování obsahují poděkování anonymním nebo jmenovitě uvedeným recenzentům, kteří pomohli práci zlepšit.
Ve vydavatelství časopisů nebo knih je výběr recenzentů obvykle úkolem editora. Když přijde rukopis, editor požádá o recenze vědce nebo jiné odborníky, kteří již mohli, ale nemuseli projevit ochotu být recenzenty daného časopisu nebo knižní divize. Grantové agentury obvykle vybírají panel nebo výbor recenzentů s předstihem před příchodem žádostí.
Vněkterých oborech existují recenzovaná místa (např. konference a semináře). Aby mohli vědci a odborníci vystoupit, musí předem předložit příspěvky (zpravidla krátké, často do 15 stran). Tyto příspěvky posuzuje „programový výbor“ (obdoba redakční rady), který si zpravidla vyžádá příspěvky od recenzentů. Pevné termíny stanovené konferencemi obvykle omezují možnosti přijetí nebo odmítnutí příspěvku.
Obvykle nejsou recenzenti vybíráni z řad blízkých kolegů, studentů nebo přátel autorů. Recenzenti mají informovat redaktora o případném střetu zájmů. Časopisy nebo jednotliví redaktoři často vyzývají autory rukopisu, aby jmenovali osoby, které považují za kvalifikované pro recenzování své práce. Autoři jsou někdy také vyzváni, aby jmenovali přirozené kandidáty, kteří by měli být diskvalifikováni, a v takovém případě mohou být požádáni o zdůvodnění (obvykle vyjádřené ve smyslu střetu zájmů). V některých oborech nesmějí vědci uvedení v sekci „poděkování“ působit jako recenzenti (proto se občas používá tato sekce k diskvalifikaci potenciálně negativních recenzentů).
Redakce žádá autory o vyjádření při výběru recenzentů, protože akademické psaní je obvykle velmi specializované. Redaktoři často dohlížejí na mnoho specializací a nemusí být odborníky v žádné z nich, protože redaktoři mohou být profesionálové na plný úvazek a nemají čas na vědeckou práci. Poté, co editor vybere recenzenty z řady kandidátů, je však obvykle povinen neprozradit identitu recenzentů autorům a ve vědeckých časopisech ani sobě navzájem. Zásady týkající se těchto záležitostí se v jednotlivých vědních oborech liší.
Najímání recenzentů je politickým uměním, protože recenzenti a často ani redaktoři nejsou obvykle placeni a recenzování jim zabírá čas, který věnují svým hlavním činnostem, jako je vlastní výzkum. Ve prospěch budoucího náboráře hovoří skutečnost, že většina potenciálních recenzentů jsou sami autoři nebo alespoň čtenáři, kteří vědí, že publikační systém vyžaduje, aby odborníci věnovali svůj čas. Rozhodčí mají také možnost zabránit publikování prací, které neodpovídají standardům oboru, což je pozice do jisté míry zodpovědná. Editoři jsou ve zvláštní výhodě při získávání vědce, pokud dohlíželi na publikování jeho práce nebo pokud se jedná o vědce, který doufá, že v budoucnu předloží rukopisy do publikace tohoto editora. Grantové agentury mají podobně tendenci hledat referenty mezi svými současnými nebo bývalými příjemci grantů. Práce recenzenta může být dokonce podmínkou udělení grantu nebo členství v profesní asociaci.
A konečně, anonymita přispívá k obtížím při hledání recenzentů dalším způsobem. Ve vědeckých kruzích je důležitý kredit a reputace, a přestože být recenzentem prestižního časopisu je považováno za čest, omezení anonymity znemožňuje veřejně uvést, že někdo byl recenzentem konkrétního článku. Pověření a pověst se však v zásadě získávají na základě publikací, nikoliv na základě rozhodování; v některých oborech navíc rozhodování nemusí být anonymní.
Proces recenzního řízení nekončí poté, co článek projde recenzním řízením. Po odevzdání do tisku a poté, co „zaschne inkoust“, proces recenzního řízení v časopiseckých klubech pokračuje. Zde skupiny kolegů hodnotí literaturu a diskutují o její hodnotě a důsledcích. Časopisecké kluby často posílají dopisy redakci časopisu nebo si s redakcí dopisují prostřednictvím on-line časopiseckého klubu. Tímto způsobem mohou všichni „kolegové“ nabídnout recenzi a kritiku publikované literatury.
Různé styly hodnocení
Peer review může být přísné, pokud jde o vynaložené dovednosti, aniž by bylo velmi přísné. Například agentura může mít dostatek peněz na rozdávání nebo časopis může mít na výběr jen málo působivých rukopisů, takže motivace k výběru může být malá. Naopak, pokud jsou omezené buď finanční prostředky, nebo publikační prostor, může být peer review použito k výběru extrémně malého počtu návrhů nebo rukopisů.
Rozhodnutí o tom, co se považuje za „dostatečně dobré“, je často zcela na redaktorovi nebo organizátorovi recenze. V jiných případech se o tom rozhoduje každý z recenzentů, přičemž koordinátor pouze obecně určí, jakou přísnost je třeba uplatnit.
Velmi obecné časopisy, jako jsou Science a Nature, mají velmi přísné normy pro publikování a odmítají články, které informují o kvalitní vědecké práci, ale podle jejich názoru nejsou v daném oboru průlomové.
Tyto časopisy mají obvykle dvoustupňový systém recenzování. V prvním stupni členové redakční rady ověřují, zda by výsledky článku – pokud by byly správné – byly natolik průlomové, aby si zasloužily zveřejnění v časopise Science nebo Nature. Většina článků je v této fázi zamítnuta. Práce, které projdou tímto „předběžným hodnocením“, jsou zaslány k hloubkovému posouzení externím recenzentům. I poté, co všichni recenzenti doporučí publikaci a všechny kritické připomínky/návrhy na změny byly splněny, mohou být práce vráceny autorům ke zkrácení, aby splňovaly limity časopisu. S příchodem elektronických vydání časopisů mohou být přetékající materiály uloženy v online archivu elektronických podpůrných informací časopisů.
Podobný důraz na novinky je kladen i v časopisech pro všeobecnou oblast, jako je Journal of the American Chemical Society (JACS). Tyto časopisy však zpravidla zasílají všechny články (kromě zjevně nevhodných) k recenznímu řízení více recenzentům. Recenzenti jsou konkrétně dotazováni nejen na vědeckou kvalitu a správnost, ale také na to, zda jsou výsledky zajímavé pro čtenáře z široké oblasti (chemiky všech oborů, v případě JACS), nebo pouze pro odbornou podskupinu. V druhém případě se obvykle doporučuje publikace v odbornějším časopise. Editor může autorům nabídnout možnost, aby rukopis i s recenzemi postoupili do takového časopisu se stejným vydavatelem (např. v uvedeném příkladu Journal of Organic Chemistry, Journal of Physical Chemistry, Inorganic Chemistry,…). pokud recenzní posudky takové rozhodnutí odůvodňují (tj. zúží se na „Skvělá práce, ale příliš specializovaná pro JACS: publikujte v …“), může editor takového časopisu postoupený rukopis přijmout bez dalšího recenzování.
Některé odborné časopisy, jako například Physical Review Letters, mají přísná omezení délky. Jiné, jako například JACS, mají sekce Letters a Full Papers: sekce Letters mají přísné omezení délky (v případě JACS dvě strany časopisu) a zvláštní požadavky na novost. Naproti tomu časopisy, které vycházejí pouze online, nemusí mít žádná prostorová omezení .
Specializovanější vědecké časopisy, jako jsou výše zmíněné chemické časopisy, Astrophysical Journal a řada Physical Review, používají recenzní řízení především k tomu, aby odfiltrovaly zjevné chyby a nekompetentnost, stejně jako plagiátorství, příliš odvozené práce a jednoduché aplikace známých metod. Rozdílná míra publikování odráží tato různá kritéria: V časopise Nature je publikováno asi 5 % přijatých prací, zatímco v časopise Astrophysical Journal je publikováno asi 70 % prací. Rozdílná míra publikování se odráží také ve velikosti časopisů. Časopis PLoS ONE založila Public Library of Science v roce 2006 s cílem „soustředit se spíše na technické než subjektivní problémy“ a publikovat články z celé vědy bez ohledu na obor.
Prověřování kolegy může být v závislosti na oboru více či méně laissez-faire. Například fyzici mají tendenci se domnívat, že rozhodnutí o hodnotě článku je nejlepší ponechat na trhu. Přesto i v rámci takové kultury slouží vzájemné hodnocení k zajištění vysokých standardů toho, co je publikováno. Jsou odhalovány zjevné chyby a autoři dostávají jak úpravy, tak návrhy.
V zájmu zachování integrity recenzního řízení nemusí být autoři informováni o tom, kdo jejich práci posuzuje; někdy dokonce nemusí znát ani totožnost zástupce editora, který je za práci odpovědný. V mnoha případech, alternativně nazývaných „maskované“ nebo „dvojitě maskované“ recenzování (nebo „slepé“ či „dvojitě slepé“ recenzování), je identita autorů před recenzenty skryta, aby znalost autorství nezkreslila jejich recenzi; v takových případech však spolupracovník editora odpovědný za článek ví, kdo je jeho autorem. Někdy se scénář, kdy recenzenti vědí, kdo jsou autoři, nazývá „single-masked“, aby se odlišil od „double-masked“ procesu. Při dvojnásobně maskovaném recenzním řízení jsou autoři povinni odstranit všechny odkazy, které by mohly poukazovat na ně jako na autory článku.
Zatímco anonymita recenzentů je téměř všeobecně zachována, dvojí maskované recenzování (kdy jsou autoři anonymní i pro recenzenty) se používá jen zřídka.
Kritici procesu double-masked poukazují na to, že navzdory dodatečnému redakčnímu úsilí o zajištění anonymity tento proces často selhává, protože určité přístupy, metody, zápisy atd. mohou ukazovat na určitou skupinu lidí ve výzkumném proudu, a dokonce na konkrétní osobu .
Zastánci dvojího maskovaného hodnocení tvrdí, že funguje přinejmenším stejně dobře jako to tradiční a že vytváří lepší vnímání spravedlnosti a rovnosti v globálním financování vědy a publikování
Zastánci procesu s jednou maskou argumentují tím, že pokud se recenzenti článku navzájem neznají, může spolupracující redaktor odpovědný za článek snadno ověřit objektivitu recenzí. Jednomaskované recenzování je tedy silně závislé na dobré vůli účastníků.
Jednou z nejčastějších stížností na recenzní řízení je, že je pomalé a že obvykle trvá několik měsíců, v některých oborech dokonce několik let, než se předložený článek objeví v tisku. V praxi se většina sdělení o nových výsledcích v některých oborech, jako je astronomie, již neuskutečňuje prostřednictvím recenzovaných článků, ale spíše prostřednictvím preprintů zasílaných na elektronické servery, jako je arXiv.org.
Přestože je ve vědecké komunitě absolvování recenzního řízení často považováno za potvrzení platnosti, není bez problémů. Drummond Rennie, zástupce šéfredaktora časopisu Journal of the American Medical Association, je organizátorem Mezinárodního kongresu o peer review a biomedicínských publikacích, který se koná každé čtyři roky od roku 1986 . Poznamenává: „Zdá se, že neexistuje žádná studie, která by byla příliš roztříštěná, žádná hypotéza příliš triviální, žádná literatura příliš tendenční nebo příliš egoistická, žádný design příliš pokřivený, žádná metodologie příliš zpackaná, žádná prezentace výsledků příliš nepřesná, příliš nejasná a příliš rozporuplná, žádná analýza příliš samoúčelná, žádný argument příliš kruhový, žádný závěr příliš malicherný nebo příliš neodůvodněný a žádná gramatika a syntax příliš urážlivé, aby článek skončil v tisku.“
Obvinění z podjatosti a potlačování
Někteří sociologové vědy navíc tvrdí, že recenzní řízení činí možnost publikovat náchylnou ke kontrole ze strany elit a k osobní závisti. Proces peer review může potlačovat nesouhlas s „mainstreamovými“ teoriemi. Recenzenti bývají obzvláště kritičtí k závěrům, které jsou v rozporu s jejich vlastními názory, a shovívaví k těm, které jsou s nimi v souladu. Zároveň je pravděpodobnější, že elitní vědci budou vyhledáváni jako recenzenti, zejména vysoce prestižními časopisy nebo vydavateli, než méně uznávaní vědci. V důsledku toho se tvrdí, že myšlenky, které jsou v souladu s názory elity, mají větší šanci, že se dočkají tisku a objeví se v předních časopisech, než myšlenky obrazoborecké nebo revoluční, což odpovídá známým postřehům Thomase Kuhna týkajícím se vědeckých revolucí.
Jiní však poukazují na to, že existuje velké množství vědeckých časopisů, v nichž lze publikovat, což ztěžuje kontrolu informací. Navíc rozhodovací proces recenzního řízení, v němž každý recenzent vydává své stanovisko samostatně a bez konzultace s ostatními recenzenty, má některé z těchto problémů zmírnit. Na to poukazují i jiní:
K selhání recenzního řízení dochází tehdy, když recenzovaný článek obsahuje zjevné zásadní chyby, které zpochybňují alespoň jeden z jeho hlavních závěrů. Peer review se nepovažuje za selhání v případech úmyslného podvodu ze strany autorů. Dopisy redakci, které opravují zásadní chyby v článcích, jsou běžným příznakem selhání peer review. Mnohé časopisy nemají žádný postup, jak se vypořádat s neúspěšným peer review, kromě zveřejňování dopisů. Některé dokonce dopisy vůbec nezveřejňují. Autor sporného článku má možnost publikovat odpověď na kritický dopis. Ani dopis, ani odpověď nejsou obvykle recenzovány a autor obvykle opravy vyvrací. Čtenářům je tedy ponecháno, aby sami rozhodli, zda došlo k selhání peer review. V jednotných požadavcích Mezinárodního výboru redaktorů lékařských časopisů na rukopisy zasílané do biomedicínských časopisů se však uvádí, že „pokud byl publikován podvodný článek, musí časopis otisknout retrakci“ , a uvádí pokyny pro vyšetřování údajných podvodů. Členové Výboru pro publikační etiku (COPE) se sídlem ve Velké Británii mají povinnost vyšetřovat údajná pochybení .
Centrum pro regulační účinnost se pokusilo použít proces dopisu redakci, když zjistilo, že v komentáři zveřejněném v časopise Journal of the American Medical Association (JAMA), který je významným recenzovaným časopisem, je podle jejich názoru řada faktických chyb. CRE zaslala časopisu JAMA dopis, v němž údajně opravila všechny věcné chyby. JAMA odmítla dopis v této podobě zveřejnit. Redakce časopisu JAMA trvala na změnách na základě omezení délky a obsahu. CRE tvrdila, že dodržení těchto omezení vylučuje opravu všech věcných chyb. CRE proto svůj opravný dopis stáhla.
Mezi věcné chyby, které společnost CRE uvádí, patří následující. CRE tvrdí, že komentář nesprávně uvádí základ pro zákaz herbicidu atrazinu v EU, kterým byla politika, nikoli věda. CRE tvrdí, že komentář nesprávně uvádí klasifikaci atrazinu podle IARC, pokud jde o karcinogenitu. CRE tvrdí, že komentář nesprávně uvádí, že testy atrazinu provedené Dr. Tyronem Hayesem byly přesné a spolehlivé, ačkoli ve skutečnosti testy Dr. Hayese neprošly odborným hodnocením. CRE tvrdí, že komentář nesprávně uvádí, že zákon IQA nemá žádnou legislativní historii, zatímco ve skutečnosti má podstatnou legislativní historii. Společnost CRE tvrdí, že komentář zkresluje několik žádostí o opravu podle zákona o kvalitě údajů, které společnost CRE podala.
CRE tvrdí, že používání komentářů, které nejsou recenzovány odborníky, může v kombinaci s omezením délky a počtu stran opravných dopisů způsobit, že v recenzovaných časopisech budou zveřejňovány neobjektivní a nesprávné vědecké informace.
Známým neúspěchem při recenzním řízení byl článek o dodovi a klíčení semen z roku 1977 v časopise Science, který kromě jiných závažných nedostatků neobsahoval požadovanou kontrolní proceduru pro hlavní experiment. Dalším zjevným selháním při recenzním řízení byl článek o Jeanu Baptistovi van Helmontovi v časopise Bioscience z roku 1993. Obsahoval několik závažných faktických chyb a žádné odkazy na tato údajná fakta. Bioscience odmítla uveřejnit dopis upozorňující na faktické chyby a neuvažovala o uveřejnění recenzovaného článku, který by původní článek opravil.
Dynamické a otevřené vzájemné hodnocení
Bylo naznačeno, že tradiční anonymní peer review postrádá odpovědnost, může vést ke zneužití ze strany recenzentů a může být vedle dalších nedostatků neobjektivní a nedůsledné. V reakci na tuto kritiku byly navrženy jiné systémy vzájemného hodnocení.
V roce 1996 začal vycházet časopis Journal of Interactive Media in Education s využitím otevřeného recenzního řízení. Jména recenzentů jsou zveřejněna, a proto jsou za své recenze zodpovědní, ale zároveň je jejich příspěvek uznán. Autoři mají právo na odpověď a ostatní výzkumní pracovníci mají možnost se před zveřejněním vyjádřit. V roce 1999 přešel časopis British Medical Journal na systém otevřeného recenzního řízení, který autorům odhalil totožnost recenzentů , a v roce 2000 začaly používat otevřené recenzní řízení lékařské časopisy z řady BMC s otevřeným přístupem, které vydává společnost BioMed Central. Stejně jako v případě BMJ jsou jména recenzentů uvedena v recenzních posudcích. Pokud je článek publikován, jsou navíc zprávy zpřístupněny online jako součást „historie před publikací“.
Několik dalších časopisů vydávaných skupinou BMJ umožňuje nepovinné otevřené recenzní řízení, stejně jako PLoS Medicine, vydávaný Public Library of Science , a Journal of Medical Internet Research.
Důkazy o vlivu otevřeného recenzního řízení na kvalitu recenzí, jejich vyznění a čas strávený recenzováním jsou různé, ačkoli se zdá, že v rámci otevřeného recenzního řízení více těch, kteří jsou vyzváni k recenzování, odmítne recenzovat.
V červnu 2006 zahájil časopis Nature s vysokým impaktem experiment s paralelním otevřeným recenzním řízením – některé články, které byly předloženy v běžném anonymním procesu, byly rovněž k dispozici online pro otevřené, identifikované veřejné komentáře. Výsledky nebyly příliš povzbudivé – pouze 5 % autorů souhlasilo s účastí v experimentu a pouze 54 % těchto článků obdrželo připomínky . Redakce vyslovila domněnku, že výzkumní pracovníci mohli být příliš zaneprázdněni, aby se zúčastnili, a zdráhali se zveřejnit svá jména. Vědomí, že články jsou současně podrobovány anonymnímu recenznímu řízení, mohlo mít také vliv na účast.
V roce 2006 založila skupina britských akademiků online časopis Philica, který se snaží napravit mnohé problémy tradičního recenzního řízení. Na rozdíl od běžného časopisu jsou všechny články zaslané do časopisu Philica okamžitě zveřejněny a recenzní řízení probíhá až poté. Recenze jsou stále anonymní, ale místo toho, aby recenzenty vybíral editor, může článek recenzovat každý vědec, který si to přeje. Recenze se zobrazují na konci každého článku, a slouží tedy spíše ke kritice nebo poradenství čtenářů ohledně práce, než k rozhodování o tom, zda bude článek zveřejněn, či nikoli. To znamená, že recenzenti nemohou potlačit myšlenky, pokud s nimi nesouhlasí. Čtenáři se podle recenzí řídí tím, co čtou, a zvláště populární nebo nepopulární díla lze snadno identifikovat.
Dalším přístupem, který je podobného ducha jako Philica, je dynamický web pro vzájemné hodnocení Naboj. Na rozdíl od portálu Philica není Naboj plnohodnotným online časopisem, ale spíše poskytuje uživatelům možnost psát peer review na preprinty na arXiv.org. Recenzní systém je vytvořen po vzoru Amazonu a uživatelé mají možnost hodnotit recenze i články. Tímto způsobem by při dostatečném počtu uživatelů a recenzentů mělo dojít ke konvergenci směrem k vyšší kvalitě recenzního řízení. Stránkou, která je podobná webu Naboj, ale je aplikována na biologickou a lékařskou literaturu, je JournalReview.org.
V únoru 2006 založili Eugene Koonin, Laura Landweberová a David Lipman časopis Biology Direct, který představuje další alternativu k tradičnímu modelu recenzního řízení. Pokud autoři najdou tři členy redakční rady, z nichž každý vrátí posudek, nebo si sami vyžádají externí recenzi, článek bude publikován. Stejně jako v případě časopisu Philica nemohou recenzenti potlačit zveřejnění, ale na rozdíl od časopisu Philica nejsou žádné recenze anonymní a žádný článek není zveřejněn, aniž by byl recenzován. Autoři mají možnost svůj článek stáhnout, přepracovat jej v reakci na recenze nebo jej publikovat bez revize. Pokud autoři pokračují v publikaci svého článku navzdory kritickým připomínkám, čtenáři mohou jasně vidět všechny negativní připomínky spolu se jmény recenzentů .
Rozšířením recenzního řízení po datu publikace je otevřené recenzní řízení, kdy jsou k publikovaným článkům vyžádány odborné komentáře a autoři jsou vyzváni, aby na ně reagovali. Rychlé reakce časopisu BMJ umožňují průběžnou diskusi a kritiku po zveřejnění . V roce 2005 redakce zjistila, že je nutné přísněji prosazovat kritéria pro přijetí Rychlých odpovědí, aby se vyřadily „nudné“ .
Peer review je prubířským kamenem moderní vědecké metody teprve od poloviny dvacátého století. Do té doby bylo jeho uplatňování laxní. Například převratné články Alberta Einsteina „Annus Mirabilis“ v časopise Annalen der Physik z roku 1905 nebyly recenzovány. Šéfredaktor časopisu (a otec kvantové teorie) Max Planck uznal, že je výhodné publikovat takové obskurní myšlenky, a jednoduše je nechal zveřejnit; žádný z článků nebyl zaslán recenzentům. O zveřejnění rozhodoval výhradně buď šéfredaktor, nebo spoluredaktor Wilhelm Wien – oba jistě „kolegové“ (kteří později získali Nobelovu cenu za fyziku), což však neodpovídá definici „peer review“, jak je v současnosti chápána. V té době existovala politika, která autorům po jejich první publikaci ponechávala velkou volnost. V nedávném úvodníku v časopise Nature bylo uvedeno, že „v tehdejších časopisech bylo důkazní břemeno obecně spíše na oponentech než na zastáncích nových myšlenek“.
Peer review ve vědeckých časopisech předpokládá, že recenzovaný článek byl napsán poctivě, a tento proces není určen k odhalování podvodů. Recenzenti obvykle nemají úplný přístup k údajům, na jejichž základě byl článek napsán, a některé prvky je třeba brát s důvěrou. Pro recenzenta obvykle není praktické reprodukovat autorovu práci, pokud se článek nezabývá čistě teoretickými problémy, které může recenzent sledovat krok za krokem.
Počet a podíl článků, které jsou odhaleny jako podvodné ve fázi recenzního řízení, není znám. Některé případy zjevných vědeckých podvodů a vědeckých pochybení prošly recenzním řízením a byly odhaleny až poté, co se jiné skupiny pokusily publikované výsledky zopakovat a neuspěly. Příkladem může být případ Jana Hendrika Schöna, kdy bylo po obvyklém recenzním řízení přijato k publikaci v nejlépe hodnocených časopisech Nature a Science celkem patnáct článků. Všech patnáct prací bylo shledáno jako podvodné a následně byly staženy. Podvod byl nakonec odhalen nikoliv při recenzním řízení, ale až po zveřejnění, kdy se jiné skupiny pokusily výsledky článku reprodukovat a neuspěly.
Nedávno norský vědec Jon Sudbø publikoval v časopise The Lancet podvodné články. V současné době je vyšetřován.
Ačkoli se často tvrdí, že podvody nelze odhalit během recenzního řízení, časopis Journal of Cell Biology používá proces kontroly obrázků, který podle něj mohl odhalit zjevně zmanipulované údaje zveřejněné v časopise Science Woo-Suk Hwangem.
Vzájemné hodnocení a plagiátorství
Několik případů plagiátorství historiků bylo široce medializováno. Průzkum mezi 3 247 vědci financovaný americkým Národním institutem zdraví zjistil, že 0,3 % přiznalo falšování dat, 1,4 % přiznalo plagiátorství a 4,7 % přiznalo autoplagiátorství. Autoplagiátorství spočívá v tom, že autor znovu publikuje stejný materiál nebo údaje, aniž by uvedl svou předchozí práci. Autor často využívá autoplagiátorství k doplnění seznamu svých publikací. Někdy recenzenti odhalí případy pravděpodobného plagiátorství a upozorní na ně redakci. Recenzenti obvykle nemají přístup k nezpracovaným datům, ale vidí celý text rukopisu. Mají tedy lepší možnost odhalit plagiátorství nebo autoplagiátorství prózy než podvodná data.
Ačkoli je to častější než plagiátorství, časopisy ani zaměstnavatelé často autory za autoplagiátorství netrestají. Autoplagiátorství je v rozporu s pravidly většiny recenzovaných časopisů, které obvykle vyžadují předkládání pouze nepublikovaných materiálů.
Zneužití důvěrných informací recenzenty
Související formou profesního pochybení, které je někdy hlášeno, je použití dosud nezveřejněných informací z rukopisu nebo žádosti o grant recenzentem pro osobní nebo profesní prospěch. Četnost, s jakou k tomu dochází, samozřejmě není známa, ale Úřad pro integritu výzkumu Spojených států amerických sankcionoval recenzenty, kteří byli přistiženi při využívání poznatků, které získali jako recenzenti.
Vzájemné hodnocení a vývoj softwaru
Technika vzájemného hodnocení se používá také ke zlepšení vládní politiky. Evropská unie ji využívá zejména jako nástroj „otevřené metody koordinace“ politik v oblasti zaměstnanosti a sociálního začleňování.
Program vzájemných hodnocení v oblasti aktivní politiky trhu práce byl zahájen v roce 1999 a v roce 2004 na něj navázal program v oblasti sociálního začleňování. Každý program sponzoruje přibližně osm vzájemných hodnocení v každém roce, na nichž „hostitelská země“ předkládá danou politiku nebo iniciativu k posouzení půl tuctu dalších zemí a příslušných nevládních organizací na evropské úrovni. Tato setkání trvají obvykle dva dny a jejich součástí jsou i návštěvy na místních místech, kde se lze s danou politikou seznámit v praxi. Setkání předchází vypracování odborné zprávy, k níž zúčastněné „partnerské země“ předkládají připomínky. Výsledky jsou zveřejněny na internetu.
Vládní politiky USA v oblasti vzájemného hodnocení
Většina federálních regulačních agentur ve vládě Spojených států musí splnit zvláštní požadavky na vzájemné hodnocení předtím, než agentury veřejně šíří určité vědecké informace. Tyto požadavky byly zveřejněny v Bulletinu o vzájemném hodnocení, který vydal Úřad pro řízení a rozpočet Bílého domu (dále jen „OMB“) a který stanoví „celovládní standardy týkající se toho, kdy je vzájemné hodnocení vyžadováno, a pokud je vyžadováno, jaký typ procesů vzájemného hodnocení je vhodný“.
Bulletin OMB o vzájemném hodnocení vyžaduje, aby federální regulační agentury USA podrobily všechny „vlivné vědecké informace“ vzájemnému hodnocení před jejich veřejným šířením. Bulletin definuje „vědecké informace“ jako:
V bulletinu OMB o vzájemném hodnocení jsou „vlivné vědecké informace“ definovány jako
Jak je uvedeno v předchozí citaci, je třeba bulletin Peer Review číst ve spojení s „pokyny OMB pro kvalitu informací pro celou vládu a pokyny pro kvalitu informací dané agentury“. Tyto pokyny upravují kvalitu všech informací šířených většinou vládních regulačních agentur USA. Tyto pokyny jsou vyžadovány zákonem USA přijatým v roce 2001, který se nazývá Zákon o kvalitě dat a je známý také jako Zákon o kvalitě informací („IQA“). OMB uvádí, že tento věstník pro vzájemné hodnocení připravil na základě pravomoci OMB podle zákona o kvalitě informací.
V Bulletinu pro vzájemné hodnocení jsou uvedeny podrobné pokyny pro vzájemné hodnocení vlivných vědeckých informací. Bulletin uplatňuje přísnější požadavky na vzájemné hodnocení „vysoce vlivných vědeckých hodnocení“.
Přestože se zde nebudeme podrobně zabývat konkrétními pokyny pro recenzní řízení v Bulletinu, je třeba poznamenat, že se tyto pokyny v několika ohledech liší od tradičních postupů recenzního řízení ve většině časopisů. Bulletin například vyžaduje zveřejnění totožnosti recenzentů, pokud recenzují vysoce vlivná vědecká hodnocení. Shrnutí některých z těchto požadavků v Bulletinu je uvedeno níže:
Bulletin o recenzním řízení se konkrétně zabývá účinkem publikace v recenzovaném vědeckém časopise, jakož i odchylkami a omezeními při recenzním řízení: