Studi singoli: fonte di false notizie

  • In Articoli
  • 21-01-2018
  • di Roberto Cubelli e Sergio Della Sala
img
Su queste pagine, Andrea Ferrero in un articolo dall’azzeccatissimo titolo “Uno studio non fa primavera”[1] ha sollevato un problema importante che vale la pena approfondire. Sostiene Ferrero che “non è mai un unico studio a determinare lo stato delle conoscenze su un dato argomento, ma solo l’insieme della letteratura scientifica che lo riguarda”.

La scienza progredisce grazie a un lavoro lungo e condiviso, che richiede l’accumulazione multicentrica di dati, esperienze, dispute e revisioni. La scienza è un’impresa collettiva ma è spesso descritta (dai media ma anche dagli stessi ricercatori) come un succedersi di persone ed eventi e come se ogni singola ricerca fosse la fonte di una nuova scoperta o di una qualche discontinuità concettuale e applicativa, destinata a modificare il futuro della società. I singoli programmi di ricerca contribuiscono alla costruzione della conoscenza, ma in modo parziale e a volte sostenendo posizioni predefinite o interessi di parte; da soli non hanno alcun valore prescrittivo e neppure valore suggestivo, non ha senso usarli per informare sulle acquisizioni della scienza.

Divulgare al pubblico i singoli studi genera confusione, induce l’idea che la scienza sia un arbitrario e confuso insieme di dati contrastanti e ambigui, alimenta il sospetto che gli scienziati siano faziosi e concorrenti, oppure opportunisti e disponibili a sostenere qualunque conclusione; in sintesi, produce false notizie e disinformazione. La divulgazione dovrebbe presentare correttamente la scienza e descriverla come basata su conoscenze che derivano da un alto numero di studi convergenti, dalla conferma di ricerche che durano anni e dall’attività di molti laboratori indipendenti. Discutere di solide evidenze scientifiche significa diffondere il sapere e promuovere il benessere.

Circola su web una serie di tre video intitolati “Pillole di Scienza”, realizzati in occasione della Notte Europea dei Ricercatori 2016 (http://www.frascatiscienza.it/2017/01/pillole-di-scienza-quando-un-video-diventa-virale/ ). Sono divertenti e profondi; il protagonista è sconcertato di fronte alle contraddittorie informazioni che riceve e alle precise prescrizioni mediche e scientifiche che dovrebbero guidare i suoi comportamenti. Per esempio, mentre cena con una bistecca, la voce fuori campo lo istruisce che una ricerca inglese ha evidenziato che la carne rossa fa bene al cervello e ai muscoli mentre un’altra ha dimostrato che aumenta le probabilità di ammalarsi di cancro. Il poveretto si blocca, ovviamente incapace di seguire i consigli contrastanti che gli vengono offerti.

Il video denuncia un modo di fare divulgazione che è molto diffuso e che implicitamente veicola il messaggio pericoloso e inaccettabile secondo il quale la scienza non è affidabile perché fornisce i risultati di ricerche apparentemente in contrasto, come se gli scienziati fossero in disaccordo tra loro. Divulgare la scienza non vuol dire riportare i risultati dei singoli esperimenti o isolare le buone ricerche come se solo alcune fossero meritevoli di attenzione e altre fossero irrilevanti. Questo video è un esempio di buona divulgazione che informa e intrattiene: il punto però non è distinguere le ricerche che contano e quelle che danno i numeri, ma il fatto che le singole ricerche non possono essere usate per trarre conclusioni definitive o per stabilire verità in grado di orientare i comportamenti e le scelte delle persone.

image
image
Figura 1
Il rischio di affidarsi a singoli studi è esemplificato da un’osservazione di Jerry Davis[2], che ha fatto notare come un gruppo di ricercatori dell’Università di Graz (Austria) abbia pubblicato due articoli con gli stessi dati ma con interpretazioni opposte. In un articolo a carattere nazionale[3], gli autori hanno affermato che i loro risultati dimostrano come una dieta vegetariana sia associata a una migliore salute generale e chiesto che programmi di salute pubblica definiscano linee guida per ammonire contro il rischio di mangiare carne. Nel secondo articolo, pubblicato su una rivista Open Access[4], gli stessi autori hanno concluso che i consumatori di una dieta vegetariana sono meno in salute e richiedono più trattamenti medici delle persone che mangiano carne, e hanno suggerito che i programmi di salute pubblica debbano mettere in guardia contro i rischi dovuti a diete povere di carne (Figura 1). Questa contraddizione ben dimostra quanto sia facile pervenire a conclusioni contrastanti quando ci si limita a singoli studi, conclusioni che sono più opinioni che affermazioni scientifiche e che molto dipendono dal contesto (per esempio, dalla sede editoriale e dalla supposta platea di lettori) e dagli immediati obiettivi comunicativi degli autori.

Questo modo di comunicare i risultati delle ricerche influenza la divulgazione scientifica, che a sua volta disorienta chi legge o ascolta e la società nel suo insieme. Le persone che vogliono essere informate si chiedono: Chi ha ragione? Chi dice la verità? La scienza produce stabili conoscenze cui fare riferimento con relativa tranquillità oppure si limita a opinioni contrapposte fra cui scegliere, con la speranza di fare affidamento a quella corretta o meno pericolosa? Per una corretta informazione, chi si occupa di ricerca o di divulgazione deve chiedersi: Come conciliare le certezze della scienza con la pratica del dubbio e come evitare di confondere la discussione come pratica di costruzione del sapere, che prevede regole e preparazione, con lo scambio di commenti sui social networks, nei talk shows e nelle rubriche dei giornali, dove tutto è discutibile, senza che vi siano filtri o siano richieste competenze?

L’uso improprio dei risultati di singoli studi deriva dalla difficoltà a distinguere: (1) tra scienza (sapere che deriva da un’attività collettiva di discussione e raccolta di prove) e opinione (interpretazione che riflette un punto di vista soggettivo e interessi e scopi di parte (2) tra conoscenza (descrizione e spiegazione del mondo) e azione (decisioni e prescrizioni nella vita quotidiana); (3) tra prove accumulate (insieme di dati convergenti e repliche indipendenti) e risultati di singoli studi (per definizione provvisori e parziali).

(1) Le evidenze scientifiche si accumulano in anni di studio e sono modulate da discussioni e revisioni inter pares, i dati rilevanti sono replicati da laboratori indipendenti e confrontati con le teorie accreditate e i modelli disponibili. Le evidenze empiriche includono i benefici individuali e collettivi delle vaccinazioni di massa, i pericoli del riscaldamento globale, la relativa sicurezza del cibo geneticamente modificato, l’inesistenza delle scie chimiche, l’efficacia degli antibiotici e l’inefficacia di molte cosiddette terapie complementari. Questi temi, su cui la comunità scientifica ha raggiunto posizioni nette e concordi, dovrebbero essere presentati all’esterno dei laboratori e delle sedi di discussione scientifica in modo tale da non alimentare sospetti e non giustificare incertezze, non più di quante scaturiscano da un dibattito mediatico sulla forma della Terra. La conoscenza acquisita non deve essere continuamente riconsiderata o messa in dubbio, a meno che nuovi e attendibili dati non pongano domande a cui non si sa rispondere. I dibattiti scientifici hanno regole, strumenti e sedi ben precise. Non possono aver luogo sui media o in assemblee politiche. Nella divulgazione, il dibattito scientifico è spesso presentato come uno scontro tra opinioni contrastanti, ugualmente legittime e apprezzabili, indipendentemente dalla solidità dei dati empirici e dalla coerenza dei modelli teorici di riferimento. Dai media la discussione a volte si trasferisce a livello politico dove le opinioni diventano occasioni di schieramento ideologico, di ricerca del consenso o di rivendicazione della par condicio. Affermare che la Terra è rotonda non è un’opinione. Un dibattito che includesse un sostenitore della visione alternativa, che in realtà la Terra sarebbe piatta, non offrirebbe un servizio al pubblico e potrebbe indurre ad ammettere la posizione di compromesso che la Terra sia in effetti oblunga (Figura 2: due opere di Erwin Wurm).

image
Figura 2
Così come non si chiede una seconda opinione sulla forma della Terra, analogo atteggiamento dovrebbe valere per ogni acquisizione scientifica consolidata. La linea che divide il saggio scetticismo dal temibile negazionismo potrebbe non risultare immediatamente ovvia, ma non è difficile identificarla perché il negazionismo si esprime con modalità altamente stereotipate che includono teorie cospiratorie e l’attacco personale o professionale a scienziati accusati di nascondere i dati o di essere al soldo di non meglio identificati poteri forti[5].

(2) La scienza è descrittiva ed esplicativa, non prescrittiva. Consente di comprendere il mondo, ma non stabilisce se, come e su cosa agire. La scienza mette a disposizione strumenti e informazioni, offre analisi e scenari, ma non impone alcuna decisione. La scienza ha il dovere del rigore metodologico nella ricerca e della più ampia disseminazione delle conoscenze; i decisori hanno il dovere di conoscere, essere informati e ascoltare gli esperti. Le decisioni sui comportamenti individuali e collettivi spettano alle singole persone e alle istituzioni che devono assumersi le loro responsabilità. Data una conoscenza scientifica, le scelte comportamentali possono essere diverse, tutte però devono essere scientificamente fondate. In ambito medico e chirurgico può succedere che di fronte a una certa diagnosi le soluzioni terapeutiche siano più d’una e che gli esperti si dividano sul cosa fare. In questo caso è ragionevole cercare una seconda opinione. Questa riguarda l’azione, non la teoria. Decidere se ricorrere a un intervento chirurgico, a una terapia farmacologica o addirittura non fare nulla dipende dal quadro clinico del singolo paziente. Quale che sia la decisione finale, questa deve essere assunta in modo responsabile e coerentemente con le conoscenze nella specifica disciplina.

Nel caso dei vaccini, la situazione è diversa. La scienza ha concluso che i vaccini, quali quelli contro pertosse, morbillo, parotite e rosolia, non sono pericolosi e che la quasi totalità della popolazione deve vaccinarsi. Le persone possono rifiutare la vaccinazione e i legislatori possono non renderla obbligatoria o non sanzionare chi non si vaccina. Tali scelte però sono in contrapposizione con la scienza, non possono essere assunte in nome della scienza. Su questi vaccini non esiste una seconda opinione.

I comportamenti devono essere coerenti con la scienza ma le responsabilità non possono essere attribuite alla scienza. Le responsabilità sono sempre diverse: alla scienza il compito di stabilire l’utilità dei vaccini, alla politica quello di gestire la farmaco-vigilanza. Nessuna ricerca può essere citata come fonte esclusiva di una decisione politica; la scienza non può essere usata come alibi o motivo di deresponsabilizzazione.

image
Figura 3
Negli articoli che riportano singole ricerche si trovano spesso prescrizioni e raccomandazioni. Gli autori sbagliano ad assumere un ruolo direttivo; in questo sono indotti da riviste e agenzie di finanziamento, che sembrano trascurare la ricerca di base e pretendono sempre conseguenze applicative e immediati benefici, o sono addirittura stimolati da interessi extra scientifici[6].

(3) Esistono due tipologie di ricerche. Le prime partono da un modello teorico e testano specifiche predizioni. I risultati hanno valore solo all’interno della cornice teorica di riferimento e dell’insieme dei dati empirici che la sostengono. La discussione è interna agli specialisti; solo il modello teorico può rivolgersi all’esterno e suggerire azioni e applicazioni, non il singolo studio che per definizione è focalizzato sui dettagli del costrutto. La definizione di applicazioni e prescrizioni spesso richiede anni di verifiche e sperimentazioni; le conclusioni di un singolo studio difficilmente possono essere di immediata fruizione.

La seconda tipologia comprende ricerche guidate da domande empiriche e non da ipotesi teoriche. Sono ricerche che si riscontrano prevalentemente in ambito clinico e comportamentale per indagare fenomeni, correlazioni e associazioni e non consentono generalizzazioni a causa di una loro intrinseca debolezza (campione limitato nel numero e nella composizione anagrafica, geografica e sociale, specificità del metodo e della procedura, ecc.). Solo il moltiplicarsi di queste ricerche e la realizzazione di meta-analisi consentono di trarre conclusioni e di formulare orientamenti da proporre alla società e a chi ha responsabilità politiche. Da solo, il singolo studio è interlocutorio, i suoi risultati non sono necessariamente attendibili. Se non si raggiunge una massa critica, non si possono trarre conclusioni. è sbagliato cercare in ogni studio un’implicazione applicativa, redigere press release per ogni singola pubblicazione, usare i dati di una singola indagine per fare divulgazione sui giornali.

Un esempio recente è la notizia riportata da tutti i quotidiani della “scoperta” del meccanismo alla base della demenza di Alzheimer. Si tratta di un singolo studio sui topi, interessante di per sé, ma lontanissimo dal poter rivelare il meccanismo della terribile malattia umana. Giustamente, nella rubrica “Il Graffio” dell’inserto La Domenica del Sole 24 Ore, questa notizia è stata definita “bischeraggine” (Figura 3). Il Sole biasima i colleghi giornalisti per essere così sprovveduti, e li taccia di irresponsabilità e indecenza per suscitare false speranze nei malati e nei loro parenti. Ma i giornalisti non si sono inventati la notizia, che è stata passata loro dagli autori dello studio in cerca di quella visibilità che può aiutare la carriera e il prestigio.

Per queste tre ragioni, gli studi singoli, che spesso riportano dati incerti, non ancora replicati, basati su metodologie imperfette e forse in contrasto con principi scientifici acquisiti, non dovrebbero essere fonte di divulgazione o di discussione pubblica.

Talvolta i risultati di singoli studi portano a esagerazioni ingiustificate. Ochodo e collaboratori[7] hanno riportato che un terzo degli studi sull’accuratezza diagnostica conteneva una qualche forma di sovrainterpretazione. Queste forzature interpretative sono all’origine di linee guida ondivaghe, che continuano a cambiare ad ogni nuovo lavoro pubblicato. Prasad e colleghi[8], analizzando tutti gli articoli su procedure o trattamenti medici pubblicati nell’arco di una decade nel New England Medical Journal, una rivista ad alto impatto, hanno trovato che 146 su 363 consigliavano di abbandonare le linee guida in vigore per tornare a quelle precedenti [Figura 4]. Troppo spesso la politica sanitaria si fa guidare da dati inaffidabili, derivanti da pochi lavori, o addirittura uno soltanto, suscettibili di repentini ripensamenti e correzioni[9],[10].

image
Figura 4
E' vero che i giornalisti tendono a sfornare notizie scientifiche acriticamente. Ma quando i giornalisti parlano o scrivono di “nuove scoperte”, come la causa o il trattamento di una malattia devastante, spesso lo fanno istigati da comunicati stampa o interviste a scienziati. Non è inusuale per un comunicato stampa accademico esagerare le affermazioni presenti nell’articolo originale[11].

Il problema del carattere ingannevole e fuorviante della singola ricerca è esacerbato dal fenomeno delle pubblicazioni predatorie, un mercato editoriale dove chiunque, a fronte di un pagamento, può pubblicare un articolo. Questo può confondere lettori non specialisti che erroneamente possono ritenere che questi articoli riportino studi innovativi o degni di nota. Queste pubblicazioni, spesso dalla veste editoriale affascinante, sono state recentemente definite un “pericolo emergente”, soprattutto in ambito medico e clinico, per la continua promessa di novità e soluzioni[12].

Ricercatori e divulgatori dovrebbero essere consapevoli del rischio insito nell’affidarsi a una singola fonte per trarre conclusioni. Se si comportassero di conseguenza, la comunicazione scientifica sarebbe più corretta, anche se non in grado di cambiare immediatamente stili e comportamenti delle persone. In generale, quando si vuole diffondere la conoscenza scientifica o suggerire strategie applicative è bene (i) fare riferimento a rassegne e meta-analisi; (ii) ignorare gli articoli pubblicati su riviste predatorie; (iii) considerare le fonti di finanziamento e i possibili conflitti di interesse; (iv) mostrare la complessità della scienza senza ricorrere a scorciatoie banalizzanti o semplificatrici; (v) considerare che la sede di discussione modifica lo scopo del dibattito: in un congresso scientifico serve per unire e acquisire conoscenza, in televisione per dividere e cercare il consenso.

Bibliografia e Note

1) Ferrero, A. (2016) Uno studio non fa primavera. Query, 27, 60-64.
2) In data 14 aprile 2017 nel corso di una tavola rotonda intitolata “What’s the Future of Academic Journals?” organizzata da Interdisciplinary Committee on Organizational Studies (ICOS), University of Michigan, USA.
3) Burkert, N.T., Freidl, W., Großschädel, F., Muckenhuber, J., Stronegger, W.J., & Rásky, E. (2014). Nutrition and health: different forms of diet and their relationship with various health parameters among Austrian adults. Wien Klin Wochenschr., 126(3-4), 113-118.
4) Burkert, N.T., Muckenhuber, J., Großschädl, F., Rásky, E., & Freidl, W. (2014b). Nutrition and health - the association between eating behavior and various health parameters: a matched sample study. PLoS One, 9(2):e88278-e88278.
5) Lewandowsky, S., Mann, M., Brown, N., & Friedman, H. (2016). Science and the public: Debate, denial, and skepticism. Journal of Social and Political Psychology, 4(2). 10.5964/jspp.v4i2.604.
6) Killin, L. & Della Sala, S. (2015). I conflitti d’interesse contrastano l’efficacia degli studi in doppio cieco. Query, 22, 28-31.
7) Ochodo, E.A., de Haan, M.C., Reitsma, J.B., Hooft, L., Bossuyt, P.M., & Leeflang, M.M. (2013). Overinterpretation and misreporting of diagnostic accuracy studies: evidence of "spin". Radiology, 267(2), 581-588.
8) Prasad, V., Vandross, A., Toomey, C., Cheung, M., Rho, J., Quinn, S. et al. (2013). A Decade of Reversal: An Analysis of 146 Contradicted Medical Practices. Mayo Clin Proc., 88 (8), 790-798.
9) Prasad, V. & Cifu, A. (2015). Ending Medical Reversal. Baltimore: Johns Hopkings University Press.
10) Sukel, K. (2016). The scary reality of medical U-turns, and how to stop them. The New Scientist, 3088, 23 August: https://www.newscientist.com/article/mg23130880-300-the-scary-reality-of-medical-uturns... (tradotto su Internazionale, Ottobre 14/20, 2016)
11) Sumner, P., Vivian-Griffiths, S., Boivin, J., Williams, A., Venetis, C. A., Davies, A., et al. (2014). The association between exageration in health related science news and academic press releases: retrospective observational study. BMJ, 349, g7015.
12) Della Sala, S. (2017). Il pericolo delle pubblicazioni predatory. Query, 28, 56-57.