Publico ergo sum

Leggermente off-topics ma non troppo. Con l’aumento delle specializzazioni scientifiche la rosa di possibili referee per un articolo si va sempre più assottigliando. Se il referee di un lavoro di ricerca è uno specialista del tuo stesso settore, o è un tuo amico (e il referaggio sarà quindi poco sincero) o è un tuo nemico (e il referaggio sarà quindi poco sincero). Se non è uno specialista del tuo stesso settore poco ci capirà, e il fato aggiudicherà una risposta incompetentemente soave (non capisco, quindi mi affascini), o rancorosamente ostile (non capisco, quindi ti rinnego). Le fortunate e encomiabili eccezioni, ahimé, confermano la regola. Riconoscendo gli enormi limiti del peer-review, si è comunque sempre detto che è il minore dei mali. Forse peró con l’esplosione di informazione che stiamo vivendo queste imperfezioni stanno diventando patologiche, travolgendo a volte il sistema di pubblicazione oltre un limite di efficienza e garanzia. Una proposta recente suggerisce di mettere a disposizione ufficialmente il processo di revisione degli articoli. In questo caso gli editori stessi, nel nome della buona faccia del loro giornale, veglierebbero su livelli di serietà e professionalità soddisfacenti tra autori e revisori. Si, perchè di fatto se i referee troppo spesso mancano di competenza, è anche vero che gli editori (per ragioni che posso andare dalla connivenza geopolitica dell’establishment alla semplice impossibilità di controllare tutte le variabili di un sistema cosí complesso) troppo spesso la prendono un pò troppo alla leggera. Se si considera anche la recente centralizzazione editoriale della letteratura specialistica, con poche multinazionali che gestiscono quasi l’intera gamma delle riviste di settore (magari con appoggi strutturali in remote, impersonali, e incredibilmente economiche situazioni logistiche sperdute in misteriose officine dell’oriente estremo …) si può facilmente intendere come una revisione dell’attuale sistema di pubblicazione scientifica sia auspicabile. Si accettano idee.

E Bruner

Peer review: chi revisiona i revisori?

~ di Emiliano Bruner su marzo 15, 2010.

8 Risposte to “Publico ergo sum”

  1. Io trovo che la questione risenta di un aspetto quantitativo, ossia: è necessario pubblicare MENO. Nel mio campo si pubblicano 1-2 articoli l’anno a testa, quando si è coinvolti in prima persona nell’esperimento (i professori magari pubblicano anche 12/anno). Benchè sia vero che i lavori sono sempre più specialistici, è pur vero che ogni revisore si interessa, generalmente, di più campi. La mole di articoli prodotti in un certo campo diventa difficile da seguire, la qualità spesso è scarsa (a vantaggio della rapidità) e questo crea una mole di lavoro che per forza di cose costringe a cercare revisori poco competenti oppure competenti, ma troppo impegnati per valutare appropriatamente gli articoli. Questo trend oltretutto spinge i ragazzi a una cultura scientifica “del fare” in cui praticamente si raccolgono dati con presupposti teorici relativamente poco elaborati. L’avanzamento scientifico diventa così il noto ago nel pagliaio.
    Io non sono un revisore, ma nel centinaio di articoli l’anno che leggo ne selezionerei una decina che davvero dicono qualcosa.
    Trovo che il peer review funzioni bene, ma i suoi optima di funzionamento siano stati oltrepassati. Se ci fossero meno pubblicazioni (io punterei al 30% del tasso attuale) si potrebbero anche avere 5 revisori per articolo mantenendo intatto il carico di lavoro e, a mio parere, l’avanzamento scientifico.

  2. E’ sicuramente vero che la corsa alla pubblicazione sfrenata sta creando problemi in termini di “massa critica” di informazione da gestire e di errori (incremento vertiginoso negli errata corrige), ma non credo sia questo il vero problema. Vorrei invece mettere in evidenza alcuni punti.
    1. Molti “scienziati”, indipendentemente dall’esperienza, sono tanto presuntuosi quanto ignoranti. Ricevo spesso commenti aggressivi di colleghi con nessuna competenza sull’argomento o che in teoria ce l’hanno, ma in realtà NO! Mi sto accorgendo di come molti scienziati che vanno x la maggiore siano veramente superficiali e con competenze limitate, ma malgrado questo hanno grandi certezze, proprie di una GRANDE presunzione, che ritengo sia uno dei grandi mali della scienza odierna. Einstein amava dire che il suo miglior compagno era il DUBBIO!
    2. Molte riviste richiedono un bilanciamento tra valore scientifico e fascino dell’articolo. Il prodotto è un “cosmetic paper” altamente speculativo, senza supporto e spesso senza senso.
    Ma certamente ben spendibile da parte della rivista su newspapers e programmi TV. La behavioral ecology moderna è un bel esempio di disciplina ricca di belle favole, molto affascinanti, che sicuramente colpiscono la mente, ma con poco valore scientifico.
    3. “Razzismo” scientifico: molti scienziati, soprattutto delle istituzioni che vanno x la maggiore partono prevenuti verso scoperte effettuati in altre nazioni, tra le quali la nostra bella Italia.
    4. Conflitti di interessi in grande aumento, visto il ruolo sempre + rilevante della scienza nella produzione di tecnologie e soldi.
    5. Scienziatucoli da 4 soldi (e ce ne sono tanti) che producono la loro teoria e la difendono ad oltranza, indipendentemente dai dati.
    6. Colonizzazione culturale e mentale, ovvero ti devi adeguare alla logica e stilistica scientifica e di stesura di un articolo dei paesi che dominano la scienza e che come ben sapete gestiscono anche la gran parte delle riviste scientifiche e dei grant.
    7. Scarso training dei giovani dottorandi e post-doc … la figura del maestro sta ormai tramontando ed è un vero peccato! I giovani vengono lasciati un pò a loro stessi con l’unico obiettivo di produrre dati e senza un attento controllo dei senior … Vedo spesso giovani tesisti o dottorandi sbattuti in lab per la prima volta nella loro vita con l’ordine di seguire un protocollo di analisi. Potete immaginare la pulizia dei dati ottenuti con questo sistema!

  3. Trovo tutte le considerazioni di David altamente condivisibili… ma alcune di esse (la #1 e la #5) un pò fuorivianti e contraddittorie: anche tacciare il referee di turno di “presunzione e incompetenza” è un atto di presunzione, in sè, che stravolge le regole del gioco. E’ verissimo che, tanto la facilità di vedere pubblicati i proprio paper quanto la possibilità di essere referee di riviste prestigiose, sia legata a questioni lobbistiche. Io però penso che il sistema del peer-to-peer possa superare questa fase (ormai critica per il vertice inflazionistico ben descritto da Giulio, di cui condivido il pensiero) a patto che:
    1) come alcune riviste già fanno, il processo di revisione diventi parte integrante del manoscritto; Questo determinerebbe un immediato ridimensionamento dei referaggi “prevenuti”.
    2) fosse imposta la condizione di anonimato anche per gli autori (non ho mai capito perchè un referee debba essere in possesso di questa informazione, che è irrelavante in sè o addirittura fuorviante);
    3) si esca da logiche di carriera che, a mio avviso, NON oscillano tra due opposti: sistemi autoreferenziati in cui il numero o la qualità delle pubblicazioni non conta nulla (l’Italia ne è piena) e sistemi in cui la produzione (il semplice fare massa) è tutto.

  4. A mio avviso l’anonimato degli autori serve a poco. Ci sono già riviste che hanno adottato questo sistema, ma spesso è facile risalire agli autori, soprattutto nelle discipline ecologiche. Quando leggi nei M&M che lo studio è stato effettuato in una data area geografica, su una certa specie e su un argomento specifico, è gioco da ragazzi risalire agli autori! Parlo x esperienza.
    Invece, a mio avviso, tutto dovrebbe essere trasparente, tutti devono conoscere tutti e si deve lasciare maggiore possibilità di replica agli autori, anche quando le critiche sono forti.
    Riguardo il considerare “presuntuoso” il definire presuntuoso un collega, dipende dalle basi su cui si ragiona. Io mi riferisco a casi ben specifici ove il referee ti dice di non essere familiare con l’argomento, ma poi fa critiche non supportate dalla letteratura o semplicemente dice scemenze, di nuovo non supportate da niente. Alle volte dice “io penso che” oppure “io credo che”, ma così siamo tutti bravi a parlare di tutto. Per non parlare poi quando il referee si permette di dire “non è possibile, io non ci credo, è un artefatto”, nuovamente senza argomentazioni. L’autore di un articolo deve supportare ciò che scrive con “citazioni”. Allo stesso modo dovrebbe essere obblicato in referee.
    Io personalmente quando mi arrivano articoli da referare sui quali non mi sento competente, semplicemente declino l’invito. Se invece accetto perchè si parla di cose di cui mi occupo, ma trovo parti dell’articolo dove ne so poco, semplicemente esprimo di non essere in grado di valutare quelle parti dell’articolo.
    Forse, un modo x migliorare, sarebbe quello di far gestire le riviste a persone pagate x fare questo mestiere e senza conflitti di interessi, ovvero non devono essere impegnati nella ricerca, ma ovviamente devono essere competenti. Ci sono tanti colleghi che fanno poca ricerca, ma hanno competenze vastissime perchè leggono e si tengono continuamente aggiornati.

  5. E’ chiaro che su questo argomento da un lato ci sono le difficoltà intrinseche del sistema di revisione, dall’altra le esperienze personali che a tutti ci hanno lasciato cicatrici ancora belle calde! La qualità del revisore chiaramente influisce sulla qualità del referaggio, ma è ovvio che sempre e in ogni modo ci si incontrerà con le solite meschinità umane. Tutto sta nel trovare una formula che ne minimizzi il peso relativo.

    Sono d’accordo sul fatto che si pubblica “troppo”, a cannone, tutti in una corsa affannata per cercare di mettere quante più tacche possibili sul calcio del fucile, ma ho paura che anche qui la regola faccia parte del gioco. Se infatti da una parte dobbiamo riconoscere che stiamo sicuramente cadendo in una isteria di massa nel pubblicare quanto più e quanto più in fretta (e questo abbatte la qualità della produzione scientifica intasando allo stesso tempo le “catene di montaggio” …), dobbiamo però anche considerare che la ricerca ha una sua componente di competizione intrinseca. Nessuno vorrebbe spendere anni dietro un progetto, per poi vedersi pubblicare i risultati da qualcun altro cinque minuti prima della sua submission … E quindi anche qui si tratta di bilanciare l’isteria diffusa alla pubblicazione coatta con un necessario temporeggiamento che tenga conto degli scenari internazionali.

    L’anonimato sicuramente aiuta, anche se non risolve. E’ vero che può succedere di poter ipotizzare l’identità di un autore anonimo, ma resta comunque l’incertezza (persa se quel nome è stampato sulla front page). Ed è anche vero che la stessa identica cosa si può dire dell’anonimato dei revisori (anonimato che nessuno ovviamente può e deve mettere in dubbio): senza contare chi si autocita per megalomania o per “leggerezza”, o chi si dimentica di cancellare i dati personali dai file nei casi in cui ancora non si utilizzino servizi di submission on-line, se l’ambiente di ricerca è ristretto anche il revisore alla fine ha le iniziali stampate sulla fronte.

    Molto interessante la proposta di “referee di professione”, non è la prima volta che la sento, bisogna parlarne molto per aprire un po’ il dibattito su questo punto e far si che si possa valutare sul serio … Un referee di professione è competente in quanto “formato”, ma appunto non ha conflitti di interesse con i ricercatori di quella stessa disciplina. Inoltre si forma non solo sul piano scientifico, ma anche su quello degli scopi reali di una revisione (quante volte i referee esagerano il loro ruolo di controllori e incominciano a forzarti su “come avrebbero scritto loro il lavoro” piuttosto che sulla correttezza delle affermazioni …). Un referee di professione si suppone sia meno legato all’establishment accademico, perlomeno in linea diretta, e lavora esplicitamente per il “bene” della produzione del Publisher. Considerando che (come detto) ormai le riviste sono tutte in mano a multinazionali, in termini di sforzo economico e logistico queste società possono ben permettersi il lusso di gestire una figura come questa. Credo sia davvero una alternativa effettiva …

  6. Aggiorno con questo post su BrainFactor:

    NYT: peer review addio, è tempo di web

    Si parla di revisioni aperte e massive … no so … detto così non suona benissimo, sia per la qualità (si prescinde mi pare dalla competenza specifica) sia per la fattibilità (difficile trovare e organizzare orde di commentatori, da parte degli editor e da parte degli autori ….)

  7. Beh, questa la racconto in questa sede, che mi pare adeguata … Ho fatto il mese scorso una review per il giornale di evoluzione umana di maggior impatto, Journal of Human Evolution … Ci ho perso tempo e energie, come sempre, consegnando la mia esperienza a colleghi che poi pubblicheranno forse un lavoro senza traccia nessuna di un mio contributo intellettuale. Per questo articolo ho suggerito l’eliminazione di una parte analitica e una decina di proposte metodologiche. Ma l’articolo viene rifiutato. Beh, nella lettera agli autori l’editor, tralasciando ampiamente l’anonimato base di questo tipo di processi, mi cita a tutta callara e a nome aperto per avvallare alcune critiche tecniche dell’analisi!!!! Ovviamente gli autori mi hanno bombardato di offese e di ripicche con tremila email, l’editore è sparito dalla circolazione e solo dopo qualche giorno mi ha spedito una email personale scusandosi e amen … Grande professionismo in paleoantropologia, come sempre … e grande professionismo nelle sfere alte dei good-fellows delle riviste scientifiche, come sempre …

    Errore umano? Può darsi … o no … Beh, allucinante, in entrambi i casi!!!

  8. […] e di riconoscimento professionale, e ancor meno all’attenzione mediatica e accademica. E il sistema di revisione è danneggiato da relazioni personali e istituzionali che vanno dalle geopolitiche su tutte le […]

Lascia un commento

Inserisci i tuoi dati qui sotto o clicca su un'icona per effettuare l'accesso:

Logo WordPress.com

Stai commentando usando il tuo account WordPress.com. Chiudi sessione / Modifica )

Foto Twitter

Stai commentando usando il tuo account Twitter. Chiudi sessione / Modifica )

Foto di Facebook

Stai commentando usando il tuo account Facebook. Chiudi sessione / Modifica )

Google+ photo

Stai commentando usando il tuo account Google+. Chiudi sessione / Modifica )

Connessione a %s...

 
%d blogger cliccano Mi Piace per questo: