Gennaio 2014

La necessità di pubblicare a tutti i costi, insieme alla corsa all’impact factor da parte delle riviste scientifiche, potrebbero avere innescato un circolo vizioso in cui a farne le spese è la qualità delle pubblicazioni e la credibilità stessa della ricerca scientifica. Dispone la scienza di anticorpi sufficienti a contrastare l'infezione?

L'ultimo in ordine di tempo ad aver fatto outing è nientemeno che il premio Nobel per la medicina di quest'anno, lo statunitense Randy Schekman che, in un'intervista al quotidiano britannico The Guardian ha dichiarato: “Le principali riviste scientifiche stanno distorcendo a loro piacimento il progresso della scienza, dando vita a una tirannia che deve essere interrotta. Invito quindi a boicottarle e personalmente non pubblicherò mai più con loro”.

Sotto accusa la “scienza spettacolo”, la selezione che fanno le testate più prestigiose, come Science e Nature, tra tutte le ricerche che arrivano in redazione: non le migliori, non le più interessanti per lo sviluppo futuro dell'umanità, dice Schekman, ma le più “sexy”, quelle che più facilmente avranno spazio sui mass media e verranno citate da altri scienziati, contribuendo a innalzare sempre più il famoso impact factor, un numero attribuito alle testate scientifiche sulla base della frequenza con cui gli studi pubblicati vengono ripresi nelle bibliografie altrui. Più alto è l'impact factor di una rivista, maggiore è il suo prestigio, quello di chi riesce a pubblicarvi e anche, ovviamente, il prezzo dell'abbonamento.

 

La crisi dell'open access

Non sono solo le testate big a soffrire, però. Nel mese di ottobre scorso la scure è caduta sulle cosiddette riviste open access, quelle in cui a pagare per pubblicare è il ricercatore e non il lettore. Nate per rendere più democratica la diffusione della scienza, le riviste open access sono sottoposte allo stesso meccanismo di revisione tra pari al quale sottostà chi vuole pubblicare sulle riviste con abbonamento: il lavoro viene mandato anonimamente a esperti dello stesso settore, che devono garantirne la qualità e l'interesse e dare l'ok alla pubblicazione, oppure rimandare il tutto al mittente perché non sufficientemente convincente, perché gravato da errori metodologici o poco interessante.

È però evidente che in un modello di business in cui chi paga è il ricercatore, ci vuole una certa autodisciplina, da parte dell'editore della rivista, per rifiutare un aspirante autore, ovvero un potenziale cliente. E infatti c'è chi accetta qualsiasi cosa, come ha dimostrato appunto nel mese di ottobre scorso il biologo e giornalista scientifico americano John Bohannon.

Il suo articolo, dal titolo “Chi ha paura della peer review?” è stato pubblicato proprio da Science e ripreso dai quotidiani di tutto il mondo. Bohannon ha spedito 255 copie di una lavoro scientifico del tutto inventato, pieno di errori metodologici, ad altrettante riviste basate sul sistema open access. In 157 casi il lavoro è stato accettato per la pubblicazione, in 98 casi è stato rifiutato. “Nel 60 per cento dei casi, per la maggior parte in riviste che hanno accettato il mio finto lavoro, non ho avuto alcun commento o segnale da parte dei revisiori” spiega Bohannon. Ciò fa supporre che la peer review non sia stata effettuata, perché è prassi comune, nelle riviste più serie, inviare agli autori qualche commento o richiesta di modifica. Solo in 36 casi vi sono stati revisori che hanno sollevato dubbi sulla serietà del lavoro scientifico, ma in 16 di questi il lavoro è stato comunque accettato. La ricerca fasulla è stata accettata anche da testate appartenenti a grandi editori come Elsevier, Sage o Wolters Kluwer.

In molti hanno contestato all'intera inchiesta l'errore di focalizzarsi sulle riviste open access, ipotizzando che analoghe disattenzioni sarebbero frequenti anche da parte di riviste che adottano il classico sistema dell'abbonamento. Il processo di revisione è infatti condotto gratuitamente nella quasi totalità dei casi, da scienziati che sono sempre più oberati di richieste, visto che crescono il numero delle riviste specializzate e anche il numero degli articoli sottoposti a revisione. Il risultato è che la qualità del controllo sta rapidamente scadendo in tutti i settori.

 

Chi non pubblica è perduto

Un lavoro mal fatto e pubblicato su qualche oscura rivista non dovrebbe in teoria aver un gran peso nel favorire la carriera di un ricercatore, ma nella realtà le cose vanno diversamente: poiché i finanziamenti e, in Italia, anche i concorsi, si basano sul numero di pubblicazioni e sull'impact factor di queste, pubblicare è sempre utile, specie su una rivista open acess. Dato che i lavori sono accessibili gratuitamente alla comunità scientifica, sono state proprio queste testate a registrare in tempi recenti il più rapido incremento annuale di impact factor.

Alla base di tutto il sistema di produzione scientifica attuale c'è il cosiddetto modello “publish or perish” (pubblica o soccombi): dal più giovane dottorando al capo di un laboratorio prestigioso, l'ansia di pubblicare determina l'andamento della ricerca scientifica in tutti i settori. “Il risultato è che si produce troppa scienza, badando più alla quantità che alla qualità” spiega Richard Freeman, un economista di Harvard che dedica i suoi studi al “mercato della scienza”.

Non a caso anche il più virtuoso dei modelli, incarnato dal progetto editoriale della Public Library of Science statunitense (editore delle riviste open access che contengono la sigla PLOS nel titolo) è entrato nel mirino dei critici: la rivista Nature ha pubblicato il mese scorso un articolo a firma del giornalista Richard Van Noorden che racconta il successo economico di un'iniziativa editoriale nata nel 2000 per volontà di un gruppo di scienziati interessati proprio a rompere il monopolio culturale dei grandi editori. Raggiunto il pareggio dei conti nel 2010, PLOS ha annunciato nel 2012 un guadagno netto di oltre 7 milioni di dollari su quasi 35 di fatturato. Il merito è soprattutto della testata ammiraglia, PLOS One, che ha pubblicato nello stesso anno oltre 30.000 ricerche originali, grazie al fatto che si tratta di una rivista esclusivamente digitale. “Anche se PLOS One ha un sistema di revisione serio, e anche ammettendo che tutte e 30.000 le ricerche siano davvero di buona qualità e siano state verificate con accuratezza, ci si chiede come faranno gli altri scienziati a star dietro, nei prossimi anni, a una tale mole di informazioni” dice ancora Freeman. “Un'informazione è utile se si può usare: se trovarla è come cercare il classico ago nel pagliaio, è un inutile dispendio di denaro ed energie che giova solo alla rivista che incassa i diritti di pubblicazione e al singolo ricercatore che metterà un'altra voce bibliografica nel suo curriculum”. La critica è stata però respinta dai fondatori di PLOS, che hanno scelto consapevolmente di pubblicare qualsiasi ricerca scientificamente corretta, indipendentemente dal suo interesse o dal fatto che si tratti di un doppione.

 

Frodi ed errori

In realtà capita sempre più di frequente che nella massa passino anche produzioni scientifiche di pessima qualità, quando non vere e propri frodi. Lo ha denunciato qualche settimana fa, con una copertina che ha fatto scandalo, l'Economist. Il prestigioso settimanale ha passato in rassegna alcuni studi effettuati sulla qualità della ricerca scientifica negli ultimi anni: a uscirne con le ossa rotte sono soprattutto la selezione dei risultati (ricerche con risultati negativi non trovano facilmente la via della diffusione) e la replicabilità, uno degli assiomi del metodo scientifico.

“Ciò che distingue uno studio inventato o casuale da uno scientificamente corretto è la possibilità di riprodurre lo stesso esperimento ottenendo lo stesso risultato” spiega l'Economist. Negli ultimi anni diversi gruppi si sono dedicati a replicare alcuni studi famosi in ambiti diversi come la psicologia, la medicina e persino la chimica (teoricamente le scienze dure, chimica, fisica e matematica sarebbero per loro natura più difficilmente soggette a errori metodologici), senza riuscirci.

Alcuni anni fa una società biotech, la Amgen, aveva cercato di riprodurre 53 studi considerati alla base delle terapie anticancro più diffuse, riuscendoci solo in sei casi (i dati sono stati pubblicati da Nature). È importante dire che l'efficacia di una cura non si basa solo sulla fase di ricerca preclinica, quella di laboratorio, ma si affida anche ai risultati delle sperimentazioni sugli animali e sugli uomini. I farmaci che arrivano al letto del paziente sono efficaci e sicuri, ma il fatto che le farmaceutiche possano non fidarsi più dei dati pervenuti dai ricercatori di base potrebbe diventare un problema per l'intero sistema della ricerca biomedica.

Alla base della mancata replicabilità vi sono spesso errori statistici, quegli stessi errori che una buona peer review dovrebbe essere capace di identificare. Già nel 2005 un epidemiologo americano dell'Università di Stanford, John Ionnadis, aveva pubblicato un'analisi che smentiva la stima corrente secondo la quale solo un articolo scientifico su 20 sarebbe sbagliato: tutto dipende dal cosiddetto margine di significatività, ha detto Ioannidis, cioè dal limite convenzionale oltre il quale si ritiene che un risultato sia significativo. “Il limite statistico usato oggi nella scienza è troppo basso” ha scritto, fornendo anche prove a sostegno della sua ipotesi, ma senza riuscire a scalfire più di tanto abitudini ormai radicate. Per avere numeri statisticamente più significativi bisognerebbe però fare esperimenti più lunghi, ripeterli più volte o reclutare più soggetti volontari, a seconda del disegno sperimentale: in pratica servono più soldi e più tempo, esattamente ciò di cui gli scienziati di oggi non dispongono. dosug-tomsk.ru

Oltre agli errori, però, nella scienza esistono anche le frodi: alcuni casi - come quello del biologo evoluzionista Marc Hauser, accusato di aver inventato di sana pianta i dati di otto importanti studi nel settore delle neuroscienze - hanno portato non solo alle dimissioni degli scienziati fraudolenti ma anche alla ritrattazione degli articoli. “In genere sono le riviste stesse che ritrattano i lavori sbagliati o che contengono frodi” spiega Ivan Oransky, un giornalista scientifico statunitense che ha creato alcuni anni fa Retraction Watch, il primo blog di segnalazione sistematica di tutti i lavori ritrattati in ambito biomedico. “Il problema è che spesso nessuno viene a sapere della ritrattazione, così come pochi badano agli errata corrige dei giornali. È quindi possibile che uno studio considerato sbagliato rimanga in giro per anni e venga citato da tutti gli scienziati del settore come uno dei fondamenti del proprio lavoro”.

Le ragioni per cui uno studio scientifico viene ritrattato possono essere diverse e non tutte altrettanto gravi: a fianco dei lavori sbagliati e di quelli fraudolenti vi sono molti studi in cui gli autori hanno plagiato parti di testo o di studi altrui o a volte persino di se stessi. E sebbene il galateo scientifico richieda che ogni nuovo articolo scientifico venga scritto ex novo, è ovvio che è meno grave copiare un paragrafo da un altro lavoro che falsificare i dati degli esperimenti. Come dimostrano però i recenti casi di cronaca di ministri e deputati costretti alle dimissioni per aver copiato capitoli o parti di articoli altrui nelle loro tesi di dottorato (è accaduto per esempio nel marzo 2011 al ministro della Difesa tedesco Karl-Theodor zu Guttenberg) sono comportamenti che il mondo della scienza ritiene inaccettabili.

 

Aperture e chiusure

A fronte delle denunce reiterate, il mondo degli scienziati appare diviso: c'è chi, come il Nobel Schekman, chiede un momento di riflessione collettiva sul fatto che la scienza è un'attività umana e come tale soggetta a imperfezioni e chi invece difende il sistema attuale, forte del fatto che le critiche sono state pubblicate dalle stesse riviste scientifiche che sono sotto accusa. Tra queste anche la neo senatrice a vita Elena Cattaneo che sulle pagine del Corriere della Sera, proprio commentando l'articolo dell'Economist, ha confermato l'esistenza del problema ma ha tenuto a sottolineare che nei laboratori seri certe cose non succedono e che la scienza possiede al proprio interno anticorpi sufficienti a contrastare l'eventuale infezione.

E l'Italia, in cui il mondo della scienza appare sotto attacco per le derive antiscientifiche come quelle legate alla vicenda Stamina, non sembra essere il luogo più adatto a dare il via a un lavoro lungo e complesso di revisione delle modalità di produzione scientifica, che coinvolgono a loro volta i meccanismi di promozione degli scienziati all'intero dell'accademia e delle istituzioni di ricerca. Che sia però necessario, oltre che inevitabile, rimettere in gioco il modello “publish or perish” è dimostrato dal gran numero di inchieste che ne svelano i limiti sempre maggiori (quasi tutte le pubblicazioni citate sono frutto delle inchieste di giornalisti scientifici).

L'ultima, uscita pochi giorni fa su Science e firmata da Mara Hvistendhal punta il dito sul mercato degli studi effettuati in Cina: il ricercatore che non riesce a portare a termine il proprio esperimento o che teme di non raggiungere un numero di pubblicazioni scientifiche sufficienti a sopravvivere nella giungla dei finanziamenti alla ricerca può ordinare un esperimento “chiavi in mano” a istituti specializzati che hanno sede nel Celeste Impero. E portare a casa, per una cifra tutto sommato modesta, l'ambita pubblicazione.