Predprijave pod drobnogledom

V današnjem ZbritOFFu povzemamo študijo ameriške raziskovalne ekipe, ki je preiskovala proces predprijave raziskovalnega protokola. Poročajo, da so odstopanja od predprijave pogosta ter da lahko močno vplivajo na napačno potrjevanje hipotez. Predprijava oziroma angleško preregistration je praksa prijave raziskovalnih hipotez ter načina zbiranja in analize podatkov, preden raziskavo dejansko izvedemo. Tako ločimo proces oblikovanja hipotez od njihovega preverjanja, kar lahko pripomore k večji verodostojnosti znanstvenih izsledkov.

S prakso predhodnega prijavljanja raziskovalnega protokola lažje prepoznamo in zmanjšamo potencialno problematične raziskovalne prakse. Omejimo lahko denimo zlorabo statistične analize podatkov, na primer izvajanje več statističnih testov in poročanje samo o tistih, ki pokažejo na statistično pomembne rezultate. Lahko pa omilimo tudi pristranskost objavljanja, pri katerem je objava študije v znanstveni reviji odvisna od raziskovalnih izsledkov – od tega, v katero smer kažejo rezultati in ali so statistično pomembni.

Raziskovalna skupina je proces predprijav preučila na podlagi dveh študij. V prvi so ročno primerjali načrt analize v predprijavi z analizo v objavljenem članku. Preučili so osemindevetdeset študij iz lanskih objav v reviji Journal of Social Psychology and Personality. Ugotovili so, da so se odstopanja od načrta analize iz predprijave pojavila pri skoraj eni tretjini študij. Spremenili so bodisi vzorec, odvisne spremenljivke in kovariate bodisi način analize. Večino teh odstopanj so objavili v končni različici članka ter jih upravičili s tem, da niso bistveno spremenila rezultatov ali pa da so zaradi spremembe analize prišli do veljavnejših modelov.

V drugi študiji so z uporabo simulacije Monte Carlo skušali oceniti, kakšne učinke imajo spremembe analize na napačno potrjevanje rezultatov. Raziskovalke in raziskovalci ugotavljajo, da različne spremembe v postopku analize različno vplivajo na napačno potrjevanje. Poročajo, da so manipulacije velikosti vzorca najvplivnejše, saj za skoraj trikrat povečajo stopnjo napačnega potrjevanja.

Znanstvena ekipa zaključuje, da proces predprijave ni potreben za vsako študijo. Pri eksploratornih študijah brez posebnih hipotez je fleksibilnost v raziskovalnem procesu lahko pozitivna. Po drugi strani konfirmatornim študijam, ki preverjajo specifične hipoteze, ustreza natančnejše sledenje vnaprej določenemu raziskovalnemu protokolu – z namenom zagotavljanja ponovljivosti in zanesljivosti raziskovalnih izsledkov. V raziskovalnem procesu je sicer lahko legitimno spremeniti svoj načrt, vendar pa je pomembno postaviti pravila, da raziskovalke in raziskovalci v primeru odstopanj od predprijave o tem poročajo v končnem prispevku. Ekipa prav tako poudarja pomen javnega in prostega dostopa do predprijav ter predlaga poenostavljanje in poenotenje postopka predprijave med revijami. Le z učinkovitim postopkom predprijave bo te mogoče redno revidirati in pripomoči k zanesljivejšim znanstvenim dognanjem. 

Predprijave je pregledovala Katja.