Neponovljivi hype se rad citira

Že nekaj časa je znano, da družboslovne znanosti pesti kriza ponovljivosti oziroma replikacije. Gre za problem neponovljivosti rezultatov znanih eksperimentov, objavljenih v psiholoških, ekonomskih in splošnih znanstvenih revijah. V nedavni raziskavi, objavljeni v reviji Science Advances, pa sta raziskovalki pokazali, da znanstvena skupnost pogosteje citira raziskave, ki jih ni mogoče replicirati, kot tiste, ki jih je. 

Trije večji projekti so se doslej lotili poskusa replikacije rezultatov družboslovnih raziskav, objavljenih v najpomembnejših revijah psihologije in ekonomije ter v revijah Science in Nature. Avtorici raziskave sta rezultate teh projektov uporabili za analizo korelacije med ponovljivostjo študij in njihovo citiranostjo. Zanimalo ju je tudi, ali se je citiranje neponovljivih študij po objavi rezultatov o ponovljivosti oziroma neponovljivosti kaj spremenilo. V raziskavi sta upoštevali citiranost na portalu Google Scholar od časa publikacije do konca leta 2019. Poleg tega sta v obzir vzeli tudi napovedi o tem, katera raziskava bo ponovljiva in katera ne, ki so jih podali strokovnjaki pred objavo rezultatov replikabilnosti.

Neponovljive študije so bile, žal, citirane pogosteje kot tiste, ki so jih bili raziskovalci in raziskovalke zmožni replicirati. Razmerje med ponovljivostjo eksperimenta in citiranostjo je ostalo enako tudi ob upoštevanju različnih značilnosti eksperimenta, kot so število avtorjev in avtoric, delež moških avtorjev, jezik, obravnavano področje in tako dalje. Citiranost je ostala enaka tudi po objavi študije o neponovljivosti eksperimentov. Poleg tega je bilo le v 12 odstotkih člankov, v katerih so bile citirane primarne neponovljive raziskave, zabeležena nezmožnost ponovitve rezultatov. 

Zanimivo je tudi, da so strokovnjaki, ki so ocenjevali ponovljivost študije pred izvedbo glavnih treh projektov replikabilnosti, dokaj pravilno napovedali, katero raziskavo bo mogoče ponoviti in katere ne. To pomeni, da so bili recenzenti in uredniki pri sprejemanju raziskav za objavo bolj popustljivi kot strokovnjaki, ki so oceno podali neodvisno od postopka recenzije. Za tem lahko stojijo različni interesi. Poleg tega objava neponovljive študije trenutno nima večjega vpliva na ugled revije in urednika, ki je objavo odobril.

Citiranost je osnovno merilo, ki se pogosto uporablja za oceno vpliva in dometa določene študije. Avtorici v diskusiji zapišeta, da imajo recenzenti študij morda pri zanimivejših eksperimentih nižje standarde ocenjevanja. Poseganje znanstvenikov in znanstvenic po spektakularnih raziskovalnih rezultatih pa ni zelo presenetljivo, saj se akademske kariere v trenutnem sistemu gradijo na številu citatov. Eden izmed potencialnih pristopov k zmanjševanju učinka zanimivih rezultatov na recenzentski postopek je recenziranje zasnove študije še pred pridobivanjem podatkov.