“Nuovi studi dimostrano…”

Perché non possiamo fidarci del modo in cui viene riportata la scienza, di Harriet Hall. Traduzione di Sonia Ciampoli.

Il metodo scientifico è uno strumento che fornisce l’unica maniera affidabile di capire come funzionano le cose nel mondo reale. Ma alcuni sono giunti a diffidarne, perché la scienza continua a cambiare idea. Si pensa che dovrebbe dirci “La Verità” scritta nero su bianco in lettere maiuscole, e invece è tutto grigio e sfocato. Un giorno ci dice che il caffè fa male, il giorno dopo che fa bene. A cosa dobbiamo credere?

Ecco una progressione tipica (Disclaimer: Questo è un esempio fittizio: ogni somiglianza con kumquat reali, vivi o morti, è puramente causale.):

  • Un servizio giornalistico dichiara “Nuovi studi dimostrano che chi mangia kumquat vive più a lungo del 40%”. Uscite di corsa a comprare dei kumquat e cominciate a mangiarli regolarmente. Vi sentite intelligenti e virtuosi.
  • L’anno dopo un altro servizio dichiara: “Nuovi studi dimostrano che dopotutto chi mangia kumquat non vive così tanto di più: solo il 5% più a lungo.” Continuate a mangiare kumquat, ma con meno entusiasmo. Vi sentite delusi.
  • L’anno dopo un altro servizio dichiara: “Nuovi studi dimostrano che non c’è alcuna differenza nella longevità di quelli che mangiano kumquat rispetto a quelli che non ne mangiano.” Non sapete cosa fare. Forse smettete di mangiare kumquat. Vi sentite confusi, infelici e indignati.
  • L’anno dopo un altro servizio dichiara: “Nuovi studi dimostrano che chi mangia kumquat non vive molto a lungo e ha il doppio delle possibilità di ammalarsi di cancro.” Adesso siete davvero sconvolti. La scienza vi ha ingannati. Vi ha traditi. Vi ha convinti a fare qualcosa che potrebbe avervi danneggiato. Come potrete fidarvi di nuovo?

L’ironia di tutto ciò è che questo modo di pensare spinge la gente ad abbracciare le pseudoscienze e le ciarlatanerie. È una cosa stupida. Se la scienza è fallace, non ha molto senso sostituirla con qualcosa di ancora più erroneo. Se il vostro meccanico non riesce ad aggiustarvi la macchina, non potete aspettarvi che il vostro barbiere o vostro figlio di 5 anni facciano di meglio. La scienza si basa sulle prove ed è tenuta a rielaborare le proprie provvisorie conclusioni quando le prove cambiano. Non è meglio così piuttosto che basarsi su un sistema medico prescientifico quale per esempio l’omeopatia, dove le convinzioni non cambiano mai e le prove contrarie vengono ignorate? Come dice il comico Dara Ò Briain: “La scienza sa di non sapere tutto, altrimenti si fermerebbe. Ma il fatto che la scienza non sappia tutto non significa che puoi riempire gli spazi vuoti con qualsiasi favoletta ti piaccia di più”.

Notizie mutevoli non significano che non possiate fidarvi della scienza. Significano che non potete fidarvi sempre del modo in cui la scienza è riportata dai media. E significano che la scienza è complicata.

Il corpus complessivo della scienza è affidabile, gli studi individuali non lo sono. La progressione del kumquat non è un fallimento della scienza, è la fotografia di un successo della scienza. È esattamente il modo in cui la scienza dovrebbe funzionare.

Il primo studio su una nuova ipotesi consiste solitamente in un piccolo test preliminare non inteso a raggiungere una risposta definitiva o a fare da linea guida per un’applicazione clinica. Usiamo questi “studi pilota” per indirizzare ricerche più definitive. Di solito sono seguiti da studi molto più ampi e rigorosi e da tentativi, da parte di altri scienziati, di replicare i risultati ottenuti. Qualche volta questi studi sono in contrasto l’uno con l’altro. Gli scienziati cercano di individuare le possibili ragioni alla base delle discrepanze. Tutti questi studi sono sottoposti a peer review e pubblicati dove possono essere esaminati e criticati da altri esperti del settore.

Alla fine, si raggiunge una posizione condivisa basata sulla quantità e qualità di tutte le prove pubblicate.

Non possiamo mai basarci sui risultati che i singoli nuovi studi dimostrano. Dobbiamo pesare tutte le prove. E naturalmente le prove devono essere plausibili rispetto al resto della conoscenza scientifica. Sarebbe necessaria una straordinaria valanga di prove, ad esempio, per dimostrare la straordinaria affermazione che dice che l’acqua ricorda una sostanza omeopatica dopo che è stata diluita.

LA CORRELAZIONE NON DIMOSTRA LA CAUSA. Lo scrivo in lettere maiuscole perché è di fondamentale importanza non dimenticarlo, e la maggioranza dei servizi “Nuovi studi dimostrano” si limitano a riportare una correlazione. L’aumento delle diagnosi di autismo è correlato con l’aumento di pirateria, ma questo non significa che i pirati causino l’autismo o che l’autismo causi i pirati. Ciononostante, quando uno studio mostra una correlazione fra violenza e numero di ore che i bambini guardano la televisione, siamo automaticamente tentati di presumere che ciò significa che i bambini non dovrebbero guardare così tanta televisione. Non ci fermiamo a chiederci se per caso non c’è una ragione per cui i bambini inclini alla violenza guardano più televisione, o se qualche altro fattore non correlato potrebbe portare sia alla violenza sia all’aumento di televisione (per esempio, genitori non adeguati in un brutto ambiente socioeconomico in cui bambini abbandonati a se stessi usano la televisione come babysitter e assistono ad atti di violenza nella propria comunità). E anche se un eccesso di televisione può portare alla violenza, questo non significa necessariamente che diminuire la televisione preverrebbe la violenza.

Nella scienza non si può presumere niente. Non importa quanto intuitivamente ovvio e logicamente convincente sembri qualcosa, bisogna comunque testarlo. L’omocisteina è un esempio istruttivo. Alti livelli di omocisteina nel sangue sono correlati con il rischio di malattie cardiache. La vitamina B riduce il livello di omocisteina. Di conseguenza, supplementi di vitamina B dovrebbero prevenire le malattie cardiache. Ma non lo fanno. Abbassano realmente il livello di omocisteina, ma non riducono il rischio di malattie cardiache.

Un nuovo studio dimostra… ma non significa che possiamo crederci. Uno studio classico effettuato da John Ioannidis (e del quale ci siamo già occupati, N.d.T.) ci ha insegnato che molti risultati di ricerche scientifiche pubblicati sono sbagliati. Questi sono solo alcuni dei fattori che possono contribuire a creare tali sfortunate situazioni:

  • Il bias del ricercatore. Se lo studio sul kumquat è svolto dall’Associazione Coltivatori di Kumquat, i loro pregiudizi, consci o inconsci, potrebbero aver influenzato i risultati.
  • L’effetto File Drawer (il cassetto dell’archivio). I ricercatori possono aver già svolto 9 studi sui kumquat che hanno ottenuto risultati insignificanti o negativi, e li hanno semplicemente archiviati. Poi lo Studio N. 10 ottiene risultati positivi e i ricercatori sottopongono solo quello alla pubblicazione.
  • Il bias di chi pubblica. I giornali scientifici tendono a rifiutare studi negativi che non hanno ottenuto risultati significativi e pubblicano solo quelli con risultati positivi.
  • Progettazione o esecuzione della ricerca scarse. Controlli inadeguati o addirittura nessun gruppo di controllo. Contaminazioni in laboratorio. “Aggiustamento” dei dati da assistenti di ricerca che sanno cosa vuole il capo. Troppi pochi soggetti. Troppi soggetti che si ritirano. Periodo di studio troppo breve. Relazioni sui dati incomplete. Test statistico inadatto al tipo di dati raccolti. Potrebbero aver sbagliato i conti. Magari si fidano di soggetti che riportano il numero di kumquat mangiati l’anno scorso, ma la memoria è notoriamente inaffidabile e le persone tendono a esagerare e a dire ai ricercatori quel che pensano vogliano sentirsi dire.
  • Falsi positivi. Il margine p=0.05 tipicamente usato negli studi clinici significa che se l’ipotesi è falsa, 1 test su 20 può comunque produrre falsi positivi.
  • Valore statistico non significa valore clinico. In uno studio ampio, può essere statisticamente rilevante che una medicina abbassi la pressione di 1-2 mm, ma il valore non comporta alcuna differenza reale per un paziente.
  • Frode. I dati possono essere stati inventati o falsificati. Sono stati riportati anche dai media molti casi di ricerche fraudolente di recente. Scommetto che riuscite a ricordarne almeno uno.
  • Riferimenti multipli. Forse i ricercatori hanno studiato gli effetti dei kumquat su 30 differenti condizioni, dalle malattie cardiache all’artrite, dal cancro alle malattie renali, ed è stata trovata una sola correlazione. Guardando un numero sufficiente di elementi, potete avere la certezza di trovare una falsa correlazione da qualche parte.
  • E l’elenco prosegue…

A volte è sbagliato l’articolo di presentazione della ricerca. Ho visto fin troppi studi pubblicati in cui i dati non giustificavano la conclusione, o addirittura portavano all’esatto opposto. Gli editor e i referee che effettuano le peer-review dovrebbero eliminare questi studi, ma a volte fanno un lavoro incompetente.

Pochi giornalisti, anche fra i giornalisti scientifici, hanno una profonda comprensione della scienza. Possono non apprezzare il vasto mare che separa il misurare una reazione chimica in un pugno di cellule di ratto in provetta e l’effettuare uno studio clinico randomizzato in doppio cieco controllato con placebo. Sono interessati alla firma e al numero di parole. Le trombe del sensazionalismo misurano il giudizio. I titoli acchiappa-lettori non hanno molto a che fare con i reali risultati dello studio. Gli editori sono più interessati a vendere giornali che non a ritrarre la realtà.

Cosa fare? Ogni volta che sentite dire nuovi studi dimostrano… tirate un lungo respiro e attivate il vostro sensore di idiozie. Siate pazienti. Non cambiate quello che state facendo prima di aver visto ulteriori prove. Archiviatelo in un angolo della vostra mente e rimanete sintonizzati per i successivi sviluppi. Potete controllare PubMed (archivio bibliografico di letteratura medica, N.d.T.) per verificare se qualche studio ha portato risultati differenti. Potete controllare se qualcuno ha criticato la ricerca in questione. Potete controllare blog scientifici di reputazione e altre fonti internet per leggere le interpretazioni degli scienziati di settore, che possono mettere in prospettiva i risultati.

La singola cosa più importante che potete fare è ricordare la Regola di SkepDoc: prima di accettare una qualsiasi affermazione, cerca di scoprire chi la contraddice e perché. C’è sempre un’opinione diversa, anche in merito ai vaccini che causano l’autismo o all’uomo che è andato sulla Luna. Una volta individuato l’argomento contrario, potete valutare quale delle parti abbia le prove più credibili e le minori fallacie logiche. Di solito è piuttosto facile riconoscere il vincitore.

Un mio amico l’ha descritta come “la lenta e sgraziata bestia che chiamiamo scienza”. Il mastodonte è goffo, inciampa e si smarrisce durante la sua ricerca, ma, alla fine, il suo corso si corregge da solo e arranca inesorabile verso il proprio obiettivo finale: la verità.

(Articolo tratto da Skeptic, Vol. 18, n. 2/2013, per gentile concessione dell’autrice)

 

16 pensieri riguardo ““Nuovi studi dimostrano…”

  • 27 Aprile 2018 in 12:57
    Permalink

    @Sandro: se Ti riferisci al mio ultimo post, semplicemente i link su Radio 3, in 5 anni, cambiano. Ammetto comunque che un certo analfabetismo funzionale “di ritorno” mi affligga. Quando avrai 69 anni ricordami.

  • 26 Aprile 2018 in 12:10
    Permalink

    Penso che tra i commenti ci sia qualche problema di analfabetismo funzionale.

  • 19 Settembre 2013 in 12:35
    Permalink

    Questa puntata di Fahrenheit/Radio3 sull’ inquinamento in Campania può aprire una discussione sugli interessi che si proteggono dietro il “Non Vi sono prove scientifiche sufficienti, non vi sono studi che dimostrino, ecc.” In particolare emerge la giustificazione : “Nulla prova un nesso di causalità” tra l’ aumento delle malattie degenerative in vaste aree campane e l’ accertato inquinamento del suolo. Questa opposizione da parte di chi avrebbe il dovere di intervenire viene spesso utilizzata anche in ambito militare, ad esempio attorno ai Poligoni di Tiro NATO in Sardegna. La mia provocazione è questa: il CICAP e le altre organizzazioni Scettiche incentivano, e questo articolo ne è una prova, una mentalità molto critica verso gli Studi Scientifici. Lo scopo è anche nobile (distinguere il falso dal vero) ma tale metodica è utilizzata molto per non pagare i danni da parte di chi li provoca e per non spendere soldi per disinquinare (nella fattispecie campana) da parte delle Autorità preposte. Si potrebbe, specialmente in casi come questi, unirsi Scettici e Avversari per rilevare che le prove scientifiche sono più che sufficienti? altrimenti si continuerà a dire che non è urgente pulire i terreni e fare screening di massa sulla Popolazione per diagnosticare le patologie fin dall’ inizio. La qual cosa, spesso, è l’ unica speranza di guarigione, perché quando certe patologie sono  avanzate le terapie sono inefficaci. Se avete mezzora di tempo ascoltate. Occorre la versione più aggiornata di Real Player, che viene data gratis da Radio 3.
    http://www.radio3.rai.it/dl/portaleRadio/media/ContentItem-c8fad1da-e4ee-42f0-a252-895dc973851a.html#

  • 15 Settembre 2013 in 11:47
    Permalink

    Carinissimo il disclaimer “gni somiglianza con kumquat reali, vivi o morti, è puramente causale” 🙂
    Proprio perche’ sono dei piccoli agrumi o qualcosa del genere, vivi o morti e’ da lol 🙂
    Nota non scientiifica: i kumquat (penso siano quasi sconosciuti in Italia), pronunciati ovviamente pkumquat, sono il cibo preferito e praticamente unico di Eta Beta, il personaggio Disney.
    Perche’ da noi mangia naftalina? Perche’ (almeno da cio’ che avevo letto millenni fa) quando tradussero le sue storie all’epoca fu piu’ facile inventarsi che quello strano personaggio mangiasse naftalina piuttosto che stare li a spiegare che quelle palline fossero un frutto esotico :-))))
    Curiosita’ dei kumquat 🙂
         Roberto.
     

  • 15 Settembre 2013 in 09:26
    Permalink

    L’articolista non vuole dire di non credere alla ricerca scientifica, bensì di non credere, di primo acchitto e come oro colato, a tutto quello che i quotidiani e i media diffondono.
    E anche questa è la base della conoscenza scientifica: tutto deve essere sperimentato, controllato, analizzato

  • 14 Settembre 2013 in 11:01
    Permalink

    @Mauro
    Credo si tratti di mm di Mercurio. In campo medico spesso si utilizza questa unità di misura della pressione. Chiamata anche Torr (in onore di Torricelli). http://it.wikipedia.org/wiki/Torr
    Ciao

  • 14 Settembre 2013 in 03:14
    Permalink

    <i>abbassi la pressione di 1-2 mm</i>
    Da fisico, non ho mai sentito esprimer la pressione in millimetri (mm), essendo questi un’unità di lunghezza.
    Saluti,
    Mauro.
     

  • 14 Settembre 2013 in 02:37
    Permalink

    Aldo Grano, a me non sembra affatto che l’articolo lasci intendere che la ricerca non serva a nulla, anzi decisamente tutt’altro.
    Innanzitutto l’aspetto più importante è che la ricerca è un conto, ciò che viene pubblicato (tanto più su riviste e giornali non specialistici) è tutt’altra cosa.
    Seconda cosa: la ricerca può sbagliare, esser condizionata, esser viziata… ma questo non significa affatto che TUTTA la ricerca lo sia e che quindi la ricerca sia inutile.
    motivo per cui, una ricerca sporadica può non avere grande valore se non supportata da adeguati e numerosi dati, prove, verifiche.
    Per non parlare poi di quando si parla di ricerca e di scienza su qualcosa che di scientifico non ha proprio nulla… ci sono migliaia di prodotti (NB: FRODI!!!) che spacciando ricerche e test fasulli truffano la gente…
    Questo articolo mira soltanto a dire alla gente: “attenzione, non prendete tutto per oro colato”, e considerando che la stragrande maggioranza della popolazione è affetta da questo brutto vizio… direi che l’articolo ha un senso, eccome!

    Per rispondere alla tua domanda, anche se non sono l’autore, la questione è molto semplice: si paga la ricerca scientifica proprio per arrivare ad una conclusione CERTA, RIPETIBILE, DIMOSTRABILE, perchè tutto il resto altrimenti è solo aria fritta che non porta da nessuna parte.
    Mi viene in mente giusto un esempio aeronautico: nel secondo dopoguerra si credeva che agire in un determinato modo sullo strato limite migliorasse le prestazioni del velivolo secondo un certo principio (energizzazione dello strato limite)… Il bello è che la cosa sembrava anche funzionare relativamente bene, fin quando -grazie alla continua ricerca- si è scoperto che questa teoria era completamente sbagliata e funzionava per pura fortuna grazie ad un fenomeno diverso.
    Eppure anche prima funzionava abbastanza bene, e c’erano dietro investimenti enormi con menti geniali… Pensa a quanta incertezza può portare una ricerca fatta male, viziata, eccetera eccetera.

  • 13 Settembre 2013 in 22:46
    Permalink

    si prescribe vitamina B6 e B12
     
    Blood Coagul Fibrinolysis. 2012 Dec;23(8):677-9. doi: 10.1097/MBC.0b013e3283597586.
    Lowering homocysteine levels may prevent cardiovascular impairments? Possible therapeutic behaviors.
    Cacciapuoti F.

    Abstract

    Homocysteine (Hcy) is metabolized through two pathways, requiring folates and B6-12 vitamins as cofactors. Increased Hcy concentration is responsible for early atherosclerosis with possible acute cardiovascular events. Ample evidence has demonstrated that Hcy lowering with folic acid and B vitamin supplementation, even if reduces Hcy serum levels, is unable to lower cardiovascular risk. On the contrary, omega-3 fatty acids and some nutraceuticals, such as N-acetyl cysteine, taurine, or S-adenosyl-methionine, reduce both Hcy serum concentration and cardiovascular risk. Instead, antiplatelet drugs, such as aspirin and clopidogrel or ticlopidine and statins only antagonize vascular derangements. Finally, metformin, some lipid-lowering drugs, and some diuretics should be avoided because they can increase Hcy levels.
     

  • 13 Settembre 2013 in 19:41
    Permalink

    Scusate, Vit B6, non Vit. B&

  • 13 Settembre 2013 in 19:40
    Permalink

    “L’omocisteina è un esempio istruttivo. Alti livelli di omocisteina nel sangue sono correlati con il rischio di malattie cardiache. La vitamina B riduce il livello di omocisteina. Di conseguenza, supplementi di vitamina B dovrebbero prevenire le malattie cardiache. Ma non lo fanno. Abbassano realmente il livello di omocisteina, ma non riducono il rischio di malattie cardiache.” Ecco un autogoal di cattiva informazione scientifica. Prima di tutto doveva parlare di Vit. B &, non di tutto il gruppo Vitaminico B. Seconda di poi, il consensus, in base agli studi attuali, manca sia sulla correlazione,  sia sull’ efficacia, sia sull’ abbassamento reale.  Ecco un articolo normalmente circolante sulla stampa:
    http://www.corriere.it/salute/dizionario/omocisteina/index.shtml

  • 13 Settembre 2013 in 19:29
    Permalink

    Grazie per le risposte, quasi tutte uguali. Ne deduco che vada finanziata solo la Ricerca utile all’ Industria, non la Ricerca Pura. Io, comunque, la domanda l’ ho rivolta ad Harriet, perché da quello che ha scritto, sembtra che la Ricerca Scientifica non serva a una sagola e non sia affidabile. Che il Cicap, invece, ci creda, lo sapevo.

  • 13 Settembre 2013 in 15:57
    Permalink

    Caro  Aldo Grano, se in tasca non hai uno smartphone, non hai un tablet o comunque una connessione ad Internet di qualsiasi tipo, se non usi alcun tipo di medicinale e rinunci a tutta l’elettronica delle moderne automobili. Se non usi fotocamere digitali di qualsiasi tipo ma neanche quelle a pellicola… e potrei continuare all’infinito… allora fai bene a pensare di non finanziare la ricerca. 

  • 13 Settembre 2013 in 15:23
    Permalink

    Aldo Grano, puoi scrivere questa domanda grazia alla ricerca scientifica.
    Credo sia una risposta sufficiente, non trovi?

  • 13 Settembre 2013 in 15:19
    Permalink

    Emblematico questo documentario sulla diagnosi delle morti in culla. C’è un appassionante colpo di scena finale che assomiglia tanto ad una punizione divina https://www.youtube.com/watch?v=IbbDeJaycYY 

  • 13 Settembre 2013 in 15:10
    Permalink

    Caro Harriet, mi daresti un motivo valido per pagare le ricerche scientifiche?

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *