L’In-fallibile scienza

Ecco allora alcune riflessioni alla ricerca di nuove verità: nulla in realtà è veramente come sembra, in scienza. Pillola blu: la tua vita resta tranquilla, le tue certezze incrollabili, la tua fiducia nella scienza assoluta, e ti assicuriamo anche l’immunità totale da ogni tipo di preoccupazione. Pillola rossa: la tua vita cambia, non sai se in meglio o in peggio, ma ti diamo l’opportunità di metterti in gioco, abbandonando molte certezze e riacquistando la capacità di porti domande…

Iniziamo dal ricordare – come chiunque investa in biotecnologie sa bene – che almeno il 50% degli studi pubblicati in quel settore non è ripetibile, e questa potrebbe essere una stima ottimistica. Gli esempi non mancano: ad esempio, nel 2012 – ricorda un articolo di “Nature” – i ricercatori dell’azienda biotecnologica “Amgen” hanno scoperto non senza sopresa che erano in grado di replicare solo 6 dei loro 53 studi oncologici definiti “fondamentali”.

Ma neppure nella medicina il paradigma della “ripetibilità” degli studi gode di buona salute: l’inquetante dato è stato confermato dalla multinazionale farmaceutica Bayer, che – sulla base delle risultanze di una verifica pubbliata su “Nature Reviews Drugs Discovery” – è riuscita a ripetere solo il 25% di 67 esperimenti altrettanto importanti, sui quali aveva in parte basato le richieste di approvazione alla messa in commercio di una serie di farmaci.

Un’ulteriore ricerca ha dimostrato che – nel decennio 2000/2010 – circa 80.000 pazienti hanno partecipato a test clinici basati su studi che poi sono stati “ritrattati” a causa di errori o procedure inappropriate.

Pare che uno dei problemi – paradossalmente – sia la crescita esponenziale del numero dei ricercatori, passati dalle poche migliaia degli anni ’50 ai 7 milioni di oggi: l’obbligo di “pubblicare a qualsiasi costo” ormai governa l’intera vita accademica. La concorrenza è folle, perché – com’é noto – gli avanzamenti di carriera sono legati anche al numero di pubblicazioni scientifiche firmate.

E c’è un dato ancor più evidente: la verifica a posteriori dei risultati ottenuti da altri, di per se – al contrario – non aiuta per nulla la carriera: non rileva, e soprattutto non interessa a nessuno, con il risultato che esiti di esperimenti spacciati per buoni, e invece per nulla rilevanti o addirittura negativi, ma non verificati in profondità, portano fuori strada l’intera comunità accademica, “dopando” i risultati sulle banche dati, e dando un’illusione di “solidità di risultanze” in realtà inesistente.

Anche il mondo delle riviste specializzate, che “nutrono” le più importanti banche dati scientifiche online, stimola preoccupanti riflessioni. Per mantenere il proprio – presunto – alto profilo qualitativo, le riviste più importanti sono ansiose di pubblicare notizie eclatanti, e rifiutano più del 90% dei lavori che ricevono: quelli con più probabilità di finire sulle loro pagine sono però quelli più “singolari”, e di conseguenza c’è poco da meravigliarsi per la pratica diffusa da parte degli autori di rendere “più interessante” un articolo escludendo dai risultati i “dati scomodi”, indebolendo però così la pubblicazione stessa, che alla lunga può non reggere alla disamina della stessa comunità scientifica. Prova ne sia che negli ultimi 10 anni il numero di “ritrattazioni” di articoli da parte dei loro stessi autori è decuplicato.

Ma quanti sono gli articoli “adulterati” che non vengono scoperti? Neanche il tanto decantato metodo peer review è utile per scoprirlo. Il biologo e giornalista scientifico John Bohannon ha fatto un test al riguardo, inviando a ben 304 riviste scientifiche indicizzate uno studio sugli effetti di alcuni licheni sulle cellule cancerogene, firmandosi con uno pseudonimo. Ebbene, l’intero studio era totalmente inventato, conteneva errori di progettazione evidenti, e addirittura risultava redatto da un ricercatore di un’Università inesistente. Clamoroso: 157 riviste scientifiche accettarono di pubblicarlo.

Tempo prima, l’allora direttrice del British Medical Journal, Dr. sa Fiona Goodle azzardò un provocatorio ma significativo test di questo genere, inviando a 200 revisori della rivista, l’uno all’insaputa dell’altro, un articolo contenente – volutamente – 8 errori di analisi e interpretazione: non solo nessuno dei 200 esperti individuò tutti gli errori, ma la desolante media degli errori individuati si fermò a due.

A tutto ciò aggiungiamo che i “risultati negativi” rappresentano solo il 14% degli articoli pubblicati, rispetto al 30% degli anni ’90, come conferma uno studio dell’Università di Edimburgo svolto comparando ben 4.600 lavori scientifici, con il risultato che – a causa della mancata pubblicazione dei “fallimenti” – altri ricercatori continuano a sprecare fatica e denaro nel percorrere vicoli ciechi che altri hanno già precedentemente esplorato.

Sempre l’Università di Edimburgo, ha esaminato nel dettaglio inchieste e sondaggi svolti all’interno della comunità accademica nel ventennio 1988-2008: un poco rassicurante 2% dei ricercatori ha ammesso “di aver falsificato i dati”, mentre il 28% di essi ha confessato di “conoscere personalmente colleghi che hanno utilizzato metodi discutibili durante la progettazione o l’esecuzione dei loro esperimenti”.

Come possiamo riporre cieca fiducia in un sistema di valutazione spacciato per “verbo” e invece tale da evidenziare falle di queste proporzioni?

Da anni si discute dell’ipotesi di rendere obbligatoria la registrazione in anticipo dei protocolli di ricerca, rendendoli controllabili on-line, al fine di non far cadere i ricercatori nella tentazione – molto più diffusa di quanto si pensi – di modificare la struttura dell’esperimento a metà strada per far apparire i risultati più significativi di quanto non siano in realtà. Ma neppure in medicina, dove in molti Stati questa prassi è formalmente obbligatoria, essa è applicata con rigore: prova ne sia che ben 1/3 degli studi finanziati dai National Institute of Health in USA non erano ancora stati pubblicati dopo ben 50 mesi dal loro avvio, e questo è statisticamente ancor più vero per tutte le altre discipline scientifiche.

Gli ostacoli all’effettiva “ripetizione” degli esperimenti sono poi molteplici: da uno studio pubblicato pochi mesi fa su PeerJ emerge ad esempio che più del 50% degli articoli di biomedicina pubblicati su ben 84 riviste scientifiche non riportavano l’indicazione dei reagenti chimici necessari per ripetere l’esperimento e verificarne i risultati (!). E in ogni caso, gli esperti e soprattutto gli enti finanziatori, ammettono che “la ripetizione di esperimenti già conclusi a scopo di verifica non rientra tra le prirorità”, come conferma Elga Nowotny, Presidente del European Research Council.

Anche le agenzie nazionali di controllo sanitario, percepite da molti come un importante baluardo dell’indipendenza scientifica, sono fonte di preoccupazione. Tralasciando il tema sempre attuale – e assai dibattuto – dei conflitti di interessi, limitiamoci ad esaminare quanto è accaduto circa il glifosfato, l’erbicida in assoluto più usato al mondo, sospettato di essere cancerogeno. La IARC – Agenzia Internazionale per la Ricerca sul Cancro, ha recentemente conferrmato questi dubbi, in esito a un’analisi della letteratura scientifica durata un’anno, dalla quale sono emerse “prove convincenti” che il glifosfato causasse cancro alle cavie da laboratorio e “prove significative” che esso possa danneggiare il DNA e i cromosomi delle cellule umane. La IARC – che ha tra i suoi compiti quello di fornire all’Organizzazione Mondiale della Sanità elementi solidi per formulare i propri pareri – è nota per il suo altissimo rigore scientifico e per la sua indipendenza, lavora con i migliori scienziati ed esperti di regolamentazione del mondo, e ha una politica sul conflitto di interessi severissima: il suo parere sta facendo molto discutere, soprattutto perché – sullo stesso tema – le più importanti agenzie di controllo sanitario del mondo – quella tedesca, anch’essa serissima, non più tardi di pochi mesi fa – avevano evidenziato risultati esattamente opposti, ovvero contrari a ogni ipotesi di pericolosità e mutagenicità della sostanza. Il punto è che la maggior parte degli enti di regolamentazione è restia ad ammettere che le valutazioni scientifiche implichino comunque delle “scelte” – con riguardo ad esempio alla valutazione di prove contradditorie, o al grado di obiettiva affidabilità riconosciuto a uno studio, e questo per vari motivi: perché la scienza è un autorevole fonte di auto-legittimazione; perché il desiderio implicito della scienza stessa è che ogni valutazione basata su evidenze appaia sempre obiettiva, affidabile e consensuale; perché – infine – riconoscere questi bias equivarebbe a stendere un allarmante velo di dubbio su centinaia di migliaia di precedenti pareri, scenario rischiosissimo anche in termini di potenziale impatto sulla pubblica opinione.

Il dibattito sui “correttivi” da apportare al sistema è acceso, e i suggerimenti si sprecano: dalla pubblicazione obbligatoria dei risultati negativi, a linee di finanziamento finalizzate appositamente alla verifica dei risultati di precedenti studi, a codici etici impegnativi per i ricercatori, a criteri più rigidi per le riviste scientifiche. Ma l’orizzonte di una scienza sempre davvero “credibile” pare ancora lontano.

Il rispetto – sacrosanto – dovuto al metodo scientifico si basa anche sulla presunzione che la scienza sia capace di “correggersi da sola” quando sbaglia.

Lo scenario che abbiamo dinnanzi pare invece essere quello di una comunità scientifica autoreferenziale, affannata dalla corsa ai finanziamenti e concentrata quindi sull’ottenere risultati positivi “costi quel che costi”; di ricercatori al governo di una scienza esatta in virtù non già di risultati obiettivi, bensì della percezione stessa che la scienza ha di se; di un “mercato” della ricerca non genuino, che restituisce a tutti noi risultati inautentici, sui quali poi noi stessi dovremmo basare le nostre quotidiane certezze.

La speranza è che questo sistema di cose prima o poi possa cambiare. Grazie alla scienza stessa, ovviamente. Infallibile per molti, ma invece intrinsecamente fallace, come il metodo scientifico e le statistiche dimostrano “al di la di ogni ragionevole dubbio”.