Quando non fidarsi di uno studio scientifico? La “scatola nera” della peer-review e perché aprirla
di Andrea Giammanco*
Nelle precedenti due puntate di questa serie (“il caso di una start-up” e “dietro le quinte di un circolo vizioso accademico”) abbiamo esplorato alcune “red flags” che possono aiutarci a capire quando prendere con le pinze un annuncio scientifico, anche se ha passato il vaglio della peer-review (revisione paritaria): riviste di dubbia reputazione, autori senza un background pertinente, mancanza di dati sperimentali solidi, un eccesso di autoreferenzialità… Ma cosa succede quando un articolo viene pubblicato su una rivista legittima (se non addirittura prestigiosa) di un editore noto, eppure presenta conclusioni che lasciano perplessi? Se da un lato non vogliamo correre il rischio di ignorare una vera scoperta (nessuno, del resto, ambisce a passare alla storia come il Cesare Cremonini che si rifiutò di guardare nel cannocchiale di Galileo), è fondamentale utilizzare tutti gli strumenti a disposizione per valutarne la reale credibilità.
In questa terza puntata voglio parlarvi di un nuovo strumento che sta lentamente prendendo piede nel mondo accademico, nonostante molte resistenze: la Open Peer Review. Tradizionalmente, il processo di revisione è una “scatola nera”: non sappiamo quali obiezioni siano state sollevate dai revisori, né come gli autori abbiano risposto, o come il contenuto dell’articolo sia evoluto rispetto alla prima bozza inviata. Da quando la peer-review moderna è stata formalizzata nella forma attuale (circa mezzo secolo fa), a generazioni di scienziati è andata bene così, sulla base dell’idea che ciò che conta è il prodotto finito. Tuttavia, negli ultimi anni questo patto di fiducia si è incrinato. L’esplosione del numero di articoli e la cosiddetta “crisi della riproducibilità” – ovvero la scoperta che una percentuale allarmante di studi pubblicati non trova conferma in esperimenti successivi – hanno stimolato serie riflessioni sui limiti dei processi di revisione convenzionali. Alcune riviste, quindi, esplorano nuovi approcci; e tra questi la Open Peer Review, ovvero rendere pubblici i report dei revisori insieme all’articolo pubblicato.
In una versione estrema e particolarmente dibattuta della Open Peer Review, a essere noti sono anche i nomi dei revisori, cosa che molti considerano problematica perché può esporre i revisori a ritorsioni per dei report negativi o viceversa incentivare “scambi di favori”; qui però parliamo della versione “soft” in cui a essere pubblici sono i rapporti di revisione e non necessariamente le identità di chi li ha scritti. Alcuni però si oppongono anche a questo, argomentando che i revisori potrebbero aver tendenza a essere meno diretti nelle critiche per non sembrare aggressivi o per non rischiare fraintendimenti da parte dei futuri lettori, o a rifiutare l’incarico per l’eccessivo lavoro di limatura richiesto da un testo destinato a diventare pubblico. C’è il timore, insomma, che la trasparenza si trasformi in un ostacolo alla franchezza necessaria per un controllo di qualità severo.
Queste critiche sono valide, ma ciò che si guadagna dalla trasparenza è davvero molto prezioso. Ci permette ad esempio di capire se l’articolo è stato promosso a pieni voti o se è passato per il rotto della cuffia, magari grazie a revisori stanchi o non abbastanza competenti sulla materia specifica.
Un caso di studio: piramidi e satelliti
Per illustrare il concetto, analizziamo un caso reale e recente (come sempre, senza citare esplicitamente titolo e autori per concentrarci sul metodo). L’articolo in questione, pubblicato su una rivista interamente specializzata in metodologie di telerilevamento, presenta una nuova metodologia sviluppata dagli autori, potenzialmente rivoluzionaria. Usano dati satellitari radar, reperibili in archivi pubblicamente a disposizione della comunità scientifica, per fare una “tomografia” dell’interno di una piramide; il principale elemento di originalità è che la loro analisi sfrutta le micro-vibrazioni della struttura. Se già è sorprendente che dati presi da tale distanza, e che sfruttano tremori naturali di ampiezza minuscola, possano avere la risoluzione necessaria per un tale ambizioso obiettivo, ciò che attira maggiormente l’attenzione è la conclusione della prima applicazione concreta del loro metodo, in cui si annuncia la scoperta di strutture interne sconosciute nella Grande Piramide di Giza.
A una prima lettura, il lavoro appare denso di matematica complessa e termini tecnici, che possono facilmente scoraggiare il lettore non specializzato. Tuttavia, emergono subito alcune debolezze fondamentali che dovrebbero far suonare un campanello d’allarme, specialmente per chi ha familiarità con l’analisi dati (per non parlare degli esperti di egittologia!)
Il problema principale è la mancanza della cosiddetta “ground truth“ (si può tradurre grosso modo come riscontro sul campo): in qualsiasi esperimento di telerilevamento, prima di affermare di aver scoperto qualcosa di invisibile (come una camera segreta), bisogna dimostrare che il metodo funziona su qualcosa di visibile o comunque noto. Non sarà certo difficile trovare un palazzo o un monumento di cui si conosce dettagliatamente la struttura, su cui applicare lo stesso metodo, per validarlo o conoscerne gli eventuali bias (che si possono eventualmente correggere, una volta quantificati). Gli autori, invece, saltano questo passaggio fondamentale, presentando direttamente risultati su una struttura di cui nessuno conosce l’interno con certezza. È un classico caso di ragionamento circolare impossibile da falsificare:
“Il mio metodo vede una stanza segreta qui; siccome nessuno può scavare per controllare, non potete dire che ho torto”.
Cosa ci dicono le revisioni pubbliche?
Fortunatamente, la rivista che ha ospitato questo studio adotta la politica della revisione aperta. Possiamo quindi andare dietro le quinte e leggere cosa hanno detto i revisori. Ed è qui che la storia diventa istruttiva.
Leggendo i report, si ha la netta impressione di assistere a un dialogo tra sordi, o quantomeno a un processo di revisione inefficace. Come nella puntata precedente, questo è parzialmente scusabile per via della natura interdisciplinare del lavoro, visto che l’articolo tocca due campi molto distanti: la fisica dei radar satellitari e l’archeologia egizia. Alcuni dei revisori selezionati sembrano avere competenze tecniche su metodi di telerilevamento basati sui radar ad apertura sintetica, ma nessuna familiarità con l’oggetto dello studio (le piramidi), mentre altri pur suonando scettici sulle conclusioni sembrano astenersi dal commentare sui dettagli tecnici. Di conseguenza, i loro commenti, pur corretti, appaiono spesso vaghi o focalizzati su aspetti marginali.
Un revisore lamenta che l’articolo è molto lungo, messo insieme in fretta, con molti errori e didascalie sbagliate. Esprime una mancanza di fiducia nell’accuratezza della tecnica e chiede esperimenti di validazione su oggetti di struttura interna nota. Una richiesta sacrosanta, che però nelle risposte degli autori viene sostanzialmente aggirata con argomentazioni teoriche ma senza nuovi dati reali. Le uniche richieste a cui non obiettano sono le banali correzioni editoriali, che sembrano soddisfare il revisore.
Un altro revisore definisce l’articolo “ambizioso” e sembra impressionato dalla descrizione matematica, ma poi fa notare un dettaglio che ha dell’incredibile: suggerisce di rimuovere un paragrafo, presente nella bozza iniziale, in cui gli autori correlavano le vibrazioni della piramide con… le onde cerebrali degli esseri viventi! Questo è un “red flag” gigantesco: trovare riferimenti a concetti quasi esoterici in un articolo di analisi di dati satellitari avrebbe dovuto minare la credibilità dell’intero lavoro. Invece, sembra sia bastato togliere quel paragrafo per accontentare il revisore. Forse, ipotizzo io, perché si era stancato di questi scambi a distanza con autori molto cocciuti e agguerriti, ed era ben contento di toglierseli di torno?
La “stanchezza” del revisore
Analizzando la cronologia degli scambi tra gli autori e i revisori, sembra emergere quella che in gergo alcuni chiamano “reviewer fatigue“. Dopo vari round di revisione, in cui i revisori pongono domande a cui gli autori rispondono in modo prolisso ma evasivo, spesso subentra la rassegnazione. I revisori, che ricordiamo svolgono questo ruolo gratis, sottraendo tempo ai loro propri interessi di ricerca, e spesso oberati anche da altri doveri accademici, potrebbero aver pensato:
“Le equazioni sembrano a posto, hanno tolto le parti imbarazzanti sulle onde cerebrali, il metodo è descritto in maniera plausibile… lasciamolo passare”.
E il risultato è un articolo che ha il “bollino di qualità” della peer-review, nonostante delle basi molto fragili.
Conclusione
Questo caso ci insegna di nuovo che la scritta “Peer-Reviewed” non è una garanzia assoluta di verità, ma solo l’attestazione che un lavoro ha superato un filtro. Un filtro che, come abbiamo visto, può avere maglie larghe se i revisori non sono esperti specifici di tutti gli aspetti del lavoro (quante persone al mondo conoscono sia i radar ad apertura sintetica che l’ingegneria strutturale delle piramidi?) o se si arrendono per sfinimento.
È per questo che la trasparenza della Open Peer Review è uno strumento potente per noi lettori: ci permette di non fidarci ciecamente, ma di verificare come quel bollino di qualità è stato ottenuto. Se vedete che la rivista in cui è pubblicato l’articolo di vostro interesse offre questa possibilità, andate a leggere i report: spesso sono più illuminanti dell’articolo stesso.
* Andrea Giammanco è fisico delle particelle al FNRS (Belgio), lavora tra Louvain-la-Neuve e il CERN. Esperto di analisi dei dati del Large Hadron Collider, si occupa anche di applicazioni come la radiografia di vulcani e monumenti con i raggi cosmici.