Quanto sono affidabili le rassegne di studi sull’omeopatia?

L’omeopatia, la pratica medica sviluppata alla fine del 1700 da Samuel Hanemann, è in contrasto con tutto quello che sappiamo di medicina, fisica e chimica, ma rimane una delle medicine alternative più diffuse. Essendo esonerata da prove di efficacia, il solo sistema che abbiamo per valutare se funzioni è condurre studi clinici: curare un gruppo di persone con rimedi omeopatici, un secondo gruppo con un placebo (un rimedio identico, ma privo di principio attivo e quindi inerte), e confrontare i risultati ottenuti nei due gruppi. È inoltre importante che gli studi siano effettuati in cieco (né il paziente né il medico devono sapere chi usa il rimedio e chi il placebo) e randomizzato (la scelta tra rimedio e placebo è estratta a sorte). Esistono diversi studi effettuati in questo modo, e alcune metanalisi ne riassumono i risultati. In particolare, viene molto citata dai sostenitori di questa medicina alternativa la serie di metanalisi effettuata da Mathie e collaboratori [1-4], che mostrerebbe una significativa, anche se modesta, efficacia. Altre rassegne mostrano che l’omeopatia non si distingue significativamente dal placebo [5] e una rassegna condotta dal NHMRC, l’equivalente australiano dell’Istituto Superiore di Sanità, ha pure concluso che non ne esistono evidenze di efficacia[6].

Ma quanto gli studi pubblicati sono rappresentativi di tutti gli studi effettuati? Si tratta di un problema generale negli studi medici, il cosiddetto “publication bias”, la tendenza a riportare solo gli studi che hanno fornito i risultati più efficaci, omettendo quelli con un risultato nullo o sfavorevole. Per questo motivo da alcuni anni le riviste mediche richiedono che gli studi clinici siano in precedenza (proattivamente) registrati in appositi registri pubblici. È quindi importante capire quanto questa pratica sia effettivamente seguita negli studi clinici sull’omeopatia. Un recente articolo sul British Medical Journal-Evidence Based Medicine[7] ha cercato di affrontare questo problema, evidenziando un forte “publication bias” in questi studi. Le conclusioni del lavoro sono che l’efficacia dell’omeopatia è fortemente sovrastimata e che, se si rianalizzano le metanalisi tenendo conto di questo effetto, non si trovano differenze di efficacia tra omeopatia e placebo.

Andando in dettaglio nello studio, riassunto anche in questo editoriale della rivista[8], gli autori hanno cercato gli studi registrati nei principali registri nazionali (di USA, CE e altre 17 paesi) dal 2000 al 2019 e, per ciascuno studio, hanno cercato nei principali archivi della letteratura scientifica se i risultati siano stati pubblicati tra il 2002 ed oggi. In questo modo si è consentito circa 2 anni tra la registrazione e la pubblicazione dello studio. Hanno quindi cercato, sempre in archivi come PubMed o in altri archivi specializzati in medicina complementare, tutti i lavori che riportassero studi clinici randomizzati sull’efficacia dell’omeopatia.

Dove era disponibile sia la registrazione che il risultato dello studio hanno inoltre verificato se il risultato cercato (l’outcome), indicato nella registrazione, fosse quello effettivamente riportato dallo studio. Infatti, un modo classico di “migliorare” la bontà di un trattamento consiste nel riportare un miglioramento in un parametro diverso da quello inizialmente cercato. Curando una persona posso vedere miglioramenti in aspetti, o in tempi, molto diversi. Se la cura è inefficace, posso avere miglioramenti casuali in alcuni, e peggioramenti in altri. Scegliendo a posteriori quale sia l’aspetto da valutare potrò sempre trovarne uno in cui osservo per puro caso un qualche miglioramento, soprattutto se questi sono lievi. Posso decidere naturalmente di studiare tutti questi aspetti, ma in quel caso devo anche riportarli tutti, e devo analizzare i dati con metodi statistici differenti che ne tengano conto. Il concetto è esemplificato un in fumetto del vignettista scientifico Randall Munroe (più noto come xkcd).

Va notato come sia possibile interrompere uno studio, se per varie difficoltà non è possibile completarlo, e gli autori non hanno conteggiato nelle loro statistiche gli studi interrotti. In totale sono stati esaminati 90 studi registrati che, nominalmente, sono stati completati, e 193 studi pubblicati (registrati o meno).

Complessivamente i dati sono impietosi. Il 60% degli studi registrati non sono stati pubblicati e la metà di quelli pubblicati sono stati registrati solo in vista della pubblicazione (retroattivamente), cioè quando i risultati erano già noti ai ricercatori. Solamente 27 dei 90 studi sono stati registrati in modo corretto, prima dell’inizio della ricerca, e poi pubblicati. Un quarto degli studi pubblicati mostrava un cambiamento dell’outcome rispetto a quanto dichiarato nella registrazione. In generale non si nota un miglioramento negli anni di queste percentuali.

Tra gli studi pubblicati, meno di metà (47%) sono stati registrati Anche se la percentuale di studi registrati è aumentata notevolmente nel tempo, il 30% degli studi pubblicati negli ultimi 5 anni non è registrata. Confrontando con l’analisi precedente, si nota quindi una tendenza generale a registrare la maggioranza degli studi, ma a pubblicarne solo una parte e a registrare lo studio in modo tardivo o aggiustandone il risultato cercato.
In parole semplici, una grossa fetta degli studi clinici omeopatici:

• Viene iniziata senza registrare lo studio.
• Se si decide di pubblicare (in base a criteri che possono includere l’efficacia trovata) lo si registra, eventualmente, all’ultimo.
• Si pubblica l’effetto migliore trovato nello studio, e non quello che inizialmente si aveva stabilito essere un parametro di efficacia.

È molto difficile capire quanto il fenomeno sia generale, per l’ovvio fatto che non sappiamo quanti siano gli studi non registrati. Non possiamo sapere se il tutto comporta, anche senza ipotizzare malafede, un atteggiamento di: facciamo lo studio, e se dimostriamo una qualche efficacia, non importa in che modo, lo pubblicheremo. Ma, citando l’articolo “suggerisce una preoccupante mancanza di scientificità e di standard etici nel campo dell’omeopatia, ed un elevato rischio di distorsione dei risultati”.

Che effetto può avere questo sui risultati riportati nelle metanalisi? Gli autori hanno provato a quantificarlo rianalizzando 19 studi pubblicati nell’intervallo di tempo di una delle analisi effettuate da Mathie. Tredici di questi, non registrati, mostrano complessivamente una efficacia significativa, mentre i 6 studi registrati trovano che l’omeopatia si comporta esattamente come il placebo.

Gli autori si rendono conto dei limiti di questa analisi. Per esempio, oltre ai numeri bassi sono stati esaminati solo gli studi clinici omeopatici che utilizzavano un rimedio standardizzato, e non quelli che invece adottavano rimedi individualizzati per ciascun paziente. Purtroppo un confronto analogo usando gli studi che impiegavano rimedi personalizzati era sostanzialmente impossibile in quanto solo uno di questi studi è stato preventivamente registrato. Comunque il fatto che questi studi esistano mostrano come una delle obiezioni mosse dagli omeopati agli studi clinici, che sia impossibile valutare l’efficacia di una medicina che usi rimedi individualizzati, è in realtà facilmente superabile. Studi in cui l’efficacia dell’omeopatia è valutata individualizzando il rimedio adatto a ciascun paziente vengono condotti e pubblicati. Per rendere questi studi validi scientificamente basterebbe appunto registrarli.

Il problema non esiste solo per l’omeopatia. Molti studi medici “normali” ancora non vengono registrati, e un terzo di quelli registrati non viene pubblicato. Dal 2008 l’International Committee of Medical Journal Editors ha stabilito che la registrazione e pubblicazione dei risultati degli studi clinici è un obbligo morale, e molte riviste lo richiedono esplicitamente ai loro autori. Le riviste omeopatiche, come evidenza questo studio, non lo fanno. Questo scarso standard di ricerca “probabilmente influenza il corpo di evidenza della letteratura scientifica omeopatica, e può sovrastimare in modo sostanziale il vero effetto terapeutico dei rimedi omeopatici”.

Riferimenti:

1. Mathie RT, Lloyd SM, Legg LA, et al. Randomised placebo-­controlled trials of individualised homeopathic treatment: systematic review and meta-analysis. Syst Rev 2014;3:142.
2. Mathie RT, Ramparsad N, Legg LA, et al. Randomised, double-­blind, placebo-­controlled trials of non-­individualised homeopathic treatment: systematic review and meta-­analysis. Syst Rev 2017;6:63.
3. Mathie RT, Fok YYY, Viksveen P, et al. Systematic review and meta-anlysis of randomised, Other-­than-Placebo controlled, trials of Non-Individualised homeopathic treatment. Homeopathy 2019;108:088–101.
4. Mathie RT, Ulbrich-­Zürni S, Viksveen P, et al. Systematic review and meta-analysis of randomised, Other-than-Placebo controlled, trials of individualised homeopathic treatment. Homeopathy 2018;107:229–43.
5. Shang A, Huwiler-­Müntener K, Nartey L, et al. Are the clinical effects of homoeopathy placebo effects? Comparative study of placebo-­controlled trials of homoeopathy and allopathy. Lancet 2005;366:726–32.
6. Rassegna sull’efficacia dell’omeopatia del National Health and Medical Research Council. Disponibile online a: https://www.nhmrc.gov.au/about-us/resources/homeopathy
7. Gartlehner G., Emprechtinger R., Hack M., Jutz F.L., Gartlehner J., Nonninger J.N., Klerings I., Dobrescu A.I. Assessing the magnitude of reporting bias in trials of homeopathy: a cross-sectional study and meta-analysis, BMJ Evidence-Based Medicine (2022) http://dx.doi.org/10.1136/bmjebm-2021-111846
8. BMJ (Editorial): Poor research practice suggests true impact of homeopathy may be “substantially” overestimated, https://www.bmj.com/company/newsroom/poor-research-practice-suggests-true-impact-of-homeopathy-may-be-substantially-overestimated/