Uno studio non fa primavera. La difficile arte di decifrare il consenso scientifico

img
Effetto di diversi alimenti sul rischio di cancro. Ogni puntino rappresenta uno studio scientifico. Fonte: ''American Journal of Clinical Nutrition'', 2013.
Ma il caffè fa bene o fa male? È vero o no che mezzo bicchiere di vino al giorno allunga la vita? E l’olio di palma è pericoloso oppure si può consumare tranquillamente? Se vi sentite confusi dalle notizie contrastanti su alimentazione e salute, sappiate che siete in nutrita compagnia. Il problema è talmente comune che nel 2013 l’American Journal of Clinical Nutrition decise di approfondirlo con uno studio ad hoc. La rivista selezionò in modo casuale 50 ingredienti da un libro di cucina e per ognuno di essi cercò gli studi scientifici che lo mettessero eventualmente in rapporto con l’incidenza del cancro[1]. Per 40 ingredienti su 50 i ricercatori trovarono studi che indicavano una correlazione con qualche forma di tumore, e per la metà di questi 40 (ossia i 20 ingredienti su ognuno dei quali erano disponibili almeno 10 studi) i risultati erano in contrasto l’uno con l’altro: cioè per lo stesso ingrediente si poteva trovare uno studio che lo legava a un aumento del fattore di rischio e un altro che lo legava a una riduzione[2].

Il risultato è sconcertante, ma prima di analizzarne le ragioni vediamo un altro esempio, relativo questa volta alla medicina[3]. Nel 2003 l’American Journal of Medicine si chiese quante delle scoperte biomediche che si presentano come rivoluzionarie nella ricerca di base si affermino davvero nel tempo e a questo scopo analizzò che cos’era accaduto nei vent’anni precedenti. La rivista esaminò 101 nuove tecnologie mediche che erano state annunciate come molto promettenti per la futura applicazione clinica in studi pubblicati sulle migliori riviste scientifiche tra il 1979 e il 1983. Vent’anni dopo, nel 2003, 27 di queste 101 tecnologie erano state sottoposte a studi clinici randomizzati pubblicati su riviste scientifiche, ma soltanto cinque erano arrivate sul mercato. Di questi cinque prodotti, soltanto uno - gli ACE inibitori, un insieme di farmaci per il trattamento dell’ipertensione arteriosa e di altre malattie cardiovascolari - era ancora molto diffuso nel 2003 (e lo è ancora oggi). Degli altri 100 non era rimasta traccia[4].

image
Come è possibile che le scoperte scientifiche si contraddicano tra loro e che i risultati annunciati negli studi più innovativi vengano poi smentiti o ridimensionati in modo così plateale?[5] Queste contraddizioni sono casi eccezionali oppure sono la norma?

Si tratta di un fenomeno piuttosto comune: ne abbiamo parlato altre volte in questa rubrica[6]. Addirittura, secondo alcune ricerche[7], più della metà dei risultati pubblicati nella ricerca scientifica è errata e solo una minoranza viene successivamente confermata come una scoperta autentica. Questo non vuol dire che la maggior parte degli studi sia fraudolenta o che non si facciano progressi, ma che all’inizio è normale seguire false piste e che i progressi avvengono lentamente, attraverso la laboriosa selezione delle poche scoperte davvero valide e importanti tra le molte che vengono evidenziate nella ricerca di base (e talvolta annunciate con enfasi sui media generalisti).

Le cause che rendono il progresso faticoso e contradditorio sono numerose e di tipo diverso.

image
Percentuale di tecnologie promettenti che sono state valutate in almeno uno studio randomizzato pubblicato e almeno uno studio con risultati positivi, a partire dall’anno della pubblicazione. Fonte: American Journal of Medicine, 2003.
Prima di tutto gli esseri umani sono estremamente complessi ed è estremamente difficile isolare le sole variabili che interessano ai fini di un esperimento specifico, eliminando tutti gli altri fattori che potrebbero generare confusione. Per questa ragione può capitare che due studi diversi, pur essendo entrambi formalmente corretti, arrivino a conclusioni contrastanti, per esempio perché seguono metodologie differenti oppure perché usano criteri leggermente diversi per selezionare i soggetti, che di conseguenza non reagiscono nello stesso modo al cibo o al trattamento oggetto dello studio. Altre volte le domande a cui cercano di rispondere gli studi sono leggermente diverse e difficili da confrontare. Esistono poi diversi casi di studi scientifici che non sono abbastanza rigorosi e quindi commettono veri e propri errori. Ci sono infine i fattori economici che spingono a pubblicare un risultato prima che sia adeguatamente verificato, come la necessità di battere sul tempo i propri concorrenti e la ricerca di visibilità e di finanziamenti, fino alle frodi vere e proprie e agli interessi delle industrie, che manipolano le ricerche scientifiche per nascondere, per esempio, gli effetti negativi del fumo e dell’alcool (come accadeva soprattutto in passato) o la realtà del riscaldamento globale. L’influenza delle industrie è analizzata con abbondanza di dati dagli storici della scienza Naomi Oreskes and Erik M. Conway nel libro Merchants of Doubt, pubblicato da Bloomsbury Press nel 2010.

La confusione è alimentata dal bias degli editori, sia quelli specialistici sia quelli generalisti: gli editori scientifici sono poco incentivati a pubblicare risultati negativi, che non faranno notizia e difficilmente saranno citati dai lavori successivi, mentre i mezzi di comunicazione privilegiano di gran lunga le novità, soprattutto se clamorose e sorprendenti. Lo spiega proprio Naomi Oreskes in un’intervista a Vox[8]: «C’è un’enorme differenza tra come i media considerano le novità scientifiche e come le considerano gli scienziati. Per voi media, N.d.T. ciò che le rende importanti è il fatto che sono novità – e questo spinge i media a cercare sempre risultati nuovi. Per me i risultati nuovi sono quelli che hanno più probabilità di essere sbagliati». Nell’intervista, Oreskes sottolinea che gran parte della ricerca scientifica consiste nell’affinare e consolidare conoscenze già note, come quelle sul riscaldamento globale; ma questi risultati sono “vecchi” e quindi interessano poco ai media, che invece danno un risalto sproporzionato alle novità, anche quando sono ancora incerte e richiederebbero verifiche: il pubblico viene investito da una raffica di notizie in contrasto fra loro ed è normale che sia confuso.

Dal nostro punto di vista è importante mettere in risalto che non è mai un unico studio a determinare lo stato delle conoscenze su un dato argomento, ma soltanto l’insieme della letteratura scientifica in merito, che impiega diversi anni per accumulare un numero sufficiente di dati e che richiede competenze specialistiche per essere valutata.

Per quanto riguarda invece le contraddizioni e le difficoltà della letteratura scientifica, molti scienziati ne sono al corrente e sono al lavoro per sviluppare processi più efficienti: è impossibile riassumere adeguatamente le loro proposte in poche righe, preferisco rimandare alla rubrica “Toolbox” di Stefano Bagnasco, che negli ultimi numeri di Query ha descritto approfonditamente la questione.
In questa sede vorrei invece sottolineare altri aspetti che mi sembrano interessanti per chi come il CICAP cerca di difendere la scienza e la mentalità scientifica.

La diffidenza del pubblico verso la scienza non è dovuta soltanto all’ignoranza in materia, ma è anche in misura rilevante una reazione del tutto comprensibile di fronte al bombardamento di notizie incompatibili tra loro, alla spinta sempre maggiore verso la spettacolarizzazione delle scoperte scientifiche e alla costante presenza di interessi economici e ideologici che da più parti tentano di influenzare la ricerca scientifica. Questo tipo di diffidenza non si elimina trattando con superiorità il “pubblico ignorante”, ma solo prendendo sul serio i problemi della ricerca e cercando gli strumenti per risolverli insieme alla società.

image
Crescita esponenziale della produzione scientifica dal 1980 al 2012. Fonte: Journal of the Association for Information Science and Technology, 2014.
A volte si tende a descrivere la ricerca scientifica come una macchina perfetta e immutabile. Mi sembra più appropriato paragonarla invece a un organismo vivente, con pregi e difetti, che cresce, cambia, si può ammalare e deve essere curato. La ricerca scientifica non avviene in una campana di vetro isolata dal mondo ma è immersa nella società che la influenza in diversi modi; di conseguenza la sua efficacia non è garantita una volta per sempre, ma va costantemente accudita e difesa dai suoi nemici, come gli interessi economici o le ideologie di parte. Discutere pubblicamente i problemi della ricerca scientifica non va considerato un reato di lesa maestà, ma al contrario un modo per sottolinearne il valore di patrimonio comune.

È indispensabile non perdere la prospettiva storica e ricordare quante scoperte apparentemente clamorose sono state ridimensionate in passato, in modo da trattare con una sana dose di scetticismo gli annunci più recenti. Non siamo entrati improvvisamente in un’età dell’oro in cui gli scienziati non sbagliano più: migliorare le nostre conoscenze sfuggendo agli infiniti bias della mente umana e agli interessi di parte continua a essere una sfida difficile come è sempre stato. Guardando alle conoscenze scientifiche di oggi, con ogni probabilità i posteri sorrideranno della nostra ingenuità proprio come noi facciamo con i nostri antenati. Ricordiamocelo e non abbassiamo mai la guardia dello spirito critico.

Note

1) Jonathan D. Schoenfeld, John P.A. Ioannidis, “Is everything we eat associated with cancer? A systematic cookbook review”, The American Journal of Clinical Nutrition, January 2013, vol. 97 no. 1, pp. 127-134. http://ajcn.nutrition.org/content/97/1/127.long
2) Per i curiosi, il manuale di cucina era The Boston Cooking-School Cook Book e i soli 10 ingredienti che non erano stati associati al cancro in un modo o nell’altro erano: alloro, chiodi di garofano, timo, vaniglia, noci, melassa, mandorle, bicarbonato di sodio, zenzero e tartaruga palustre sic .
3) Devo entrambi gli esempi all’articolo di Julia Belluz “This is why you shouldn’t believe that exciting new medical study”, apparso su Vox il 19 ottobre 2016. http://www.vox.com/2015/3/23/8264355/research-study-hype
4) Despina G. Contopoulos-Ioannidis, Evangelia E. Ntzani, John P. A. Ioannidis, “Translation of highly promising basic science research into clinical applications”, The American Journal Of Medicine, April 2003, Volume 114, pp. 477-484. https://www.ncbi.nlm.nih.gov/pubmed/12731504
5) Ne parlo più approfonditamente nell’articolo “L'effetto declino: quando i fenomeni scompaiono”, Query n. 7, autunno 2011. https://www.cicap.org/n/articolo.php?id=274590
6) “L’esperimento cruciale”, Query n. 2, estate 2010. https://www.cicap.org/n/articolo.php?id=274305
7) John P. A. Ioannidis, “Why Most Published Research Findings Are False”, PLoS Med, August 2005, Vol. 2, Issue 8. http://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.0020124
8) Julia Belluz, “How Big Oil and Big Tobacco get respected scientists to lie for them”, Vox, 21 marzo 2015. http://www.vox.com/2015/3/21/8267049/merchants-of-doubt