Perche' non dovremmo nascondere la ricerca che non ottiene risultati significativi
Oggi le riviste accademiche di diversi campi e gli studiosi che rivedono gli articoli favoriscono la visibilità e la pubblicazione di quei manoscritti con risultati statisticamente significativi. A sua volta, questo crea un incentivo per i ricercatori a produrre effetti fortemente significativi con disegni di ricerca spesso superati. Nel suo ultimo articolo su PNAS, Scott Williamson della Bocconi, insieme a un consorzio di studiosi di scienze sociali, sostiene che la persistenza di tale bias di pubblicazione aumenta il rischio di "falsi positivi", scoraggia la diffusione scientifica, ostacola la replicabilità e contribuisce a una spesa inefficiente dei fondi di ricerca. Per mitigare questi problemi, Williamson e i suoi coautori propongono un nuovo framework chiamato RARE, o Report All Results Efficiently, che richiede pratiche migliori da parte di tutti gli agenti coinvolti nella ricerca scientifica, dalle agenzie di finanziamento, agli studiosi e alle riviste.
Una parte significativa del problema evidenziato è la rimozione sistematica dei "risultati nulli", ovvero risultati che non mostrano significatività statistica. Dato che molte riviste di scienze sociali sono più propense a pubblicare risultati con significatività statistica e causalità stabilite, i ricercatori tendono ad omettere dalla loro pubblicazione i risultati che non la raggiungono. Questo contribuisce al cosiddetto "problema del cassetto", per cui gli studi con effetti meno evidenti vengono sistematicamente rifiutati o ritirati dalla pubblicazione (rimanendo, in un certo senso, nascosta nel cassetto di un archivio).
Il problema del cassetto e l'omissione dei risultati nulli sollevano diversi dibattiti cruciali. In primo luogo, l'eccessiva enfasi sulla significatività statistica dei risultati mette in ombra ciò che forse è più significativo nella ricerca scientifica, ovvero l'emergere di disegni di ricerca più avanzati e appropriati, che possono produrre risultati nulli nelle prime fasi del loro sviluppo. In secondo luogo, i ricercatori devono essere consapevoli degli studi condotti in passato, anche se hanno fornito risultati nulli, per migliorarli o forse anche per evitare inutili repliche. In terzo luogo, le agenzie di finanziamento trarrebbero grande beneficio da un maggiore accesso ai risultati non pubblicati per evitare spese inefficienti.
Il framework RARE proposto da Williamson e dai suoi coautori modificherebbe in gran parte queste inefficienze se i vari attori coinvolti nel processo di ricerca iniziassero a rispettare una serie di buone pratiche. Per esempio, i registri scientifici dovrebbero rispettare standard più elevati per la segnalazione di risultati nulli. Allo stesso modo, gli investigatori dovrebbero impegnarsi a riportare pubblicamente i risultati per tutte le ipotesi pre-registrate, indipendentemente dai risultati. Le agenzie di finanziamento dovrebbero anche richiedere ai ricercatori di identificare i risultati di finanziamenti precedenti e di riferire se tutti i risultati siano stati resi pubblici in passato, indipendentemente dalla loro significatività statistica. Infine, le riviste possono giocare un ruolo estremamente importante in questo cambio di paradigma, rafforzando gli incentivi sull'open reporting e selezionando la ricerca sulla base di buone domande e design piuttosto che sulla significatività dei risultati.
Per concludere, l'articolo richiede un nuovo paradigma per la divulgazione scientifica nelle scienze sociali e oltre. Questo richiede una maggiore trasparenza da parte di tutti gli attori coinvolti nella ricerca per quanto riguarda la significatività dei risultati, al fine di superare il problema del cassetto e altri pregiudizi di pubblicazione. Rispettare il nuovo quadro RARE richiederà probabilmente costi extra per vari attori nel breve termine, poiché sono tenuti a cambiare le procedure esistenti sulla segnalazione di risultati nulli. Tuttavia, ci si aspetta di ottenere grandi benefici in futuro sia in termini di efficienza che di reputazione scientifica.
David D. Laitin et al. "Reporting All Results Efficiently: A RARE Proposal to Open up the File Drawer." Proceedings of the National Academy of Sciences Dec 2021, 118 (52) e2106178118; DOI: 10.1073/pnas.2111611118. DOI: https://dx.doi.org/10.1073/pnas.2106178118.