Novembre Dicembre 2016 - In depth review

Indicatori bibliometrici delle riviste di nefrologia: criticità e pregi

Abstract

Le riviste scientifiche costituiscono un importante strumento di comunicazione attraverso cui autori, editori, revisori, lettori, bibliotecari, agiscono favorendo la circolazione dell’informazione.

Come scelgo la rivista in cui pubblicare? In che modo la mia ricerca può avere la più ampia diffusione? Come posso far sì che il mio articolo e la mia attività scientifica siano considerate positivamente dagli organi di valutazione? Queste sono alcune fra le prime domande che un autore si pone quando sceglie di scrivere un articolo.

La valutazione della ricerca può basarsi su indicatori qualitativi come la revisione dei pari e/o quantitativi di tipo non bibliometrico o bibliometrico quali l’Impact Factor o lo SCImago Journal Rank indicator. Lo studio si propone di analizzare, senza presunzione di esaustività, l’impatto e le specificità delle riviste di nefrologia a supporto di coloro che decidono di pubblicare un articolo.

Il confronto effettuato tra i dati di alcuni indicatori bibliometrici fa emergere un quadro comune a molte discipline mediche in cui l’Inghilterra e gli Stati Uniti da una parte e la lingua inglese dall’altra occupano un ruolo di primissimo piano costituendo un punto di riferimento per quanti vogliano cimentarsi nella pubblicazione di un articolo. La realtà italiana, soprattutto attraverso alcune riviste, offre interessanti spunti di pubblicazione.

Gli indicatori bibliometrici, pertanto, costituiscono un valido riferimento per orientarsi nel complesso mondo delle pubblicazioni scientifiche solo a condizione che si sappia guardare oltre il dato meramente matematico e statistico non trascurando realtà “minori” che possono costituire il giusto trampolino di una produzione scientifica di valore. 

Parole chiave: eigenfactor, accesso aperto, indicatori bibliometrici, journal impact factor, nefrologia, SCImago Journal & Country Rank, valutazione della ricerca

 

Introduzione

L’era delle reti caratterizza, rivoluzionandolo continuamente, il modo di produzione e diffusione della conoscenza. Gli strumenti di ricerca sempre più potenti, la loro semplicità d’uso, l’immediatezza nel recupero dei dati e la capacità di condividere e riutilizzare i risultati, sono molto apprezzati da tutti gli utenti.

In questo contesto le riviste scientifiche costituiscono uno dei più importanti veicoli della comunicazione attraverso cui i diversi attori (autori, editori, revisori, lettori, bibliotecari, ecc.) agiscono favorendo la circolazione dell’informazione svolta presso enti privati e pubblici.

Ma come scelgo la rivista in cui pubblicare? In che modo la mia ricerca può avere la più ampia diffusione? Come posso far sì che il mio articolo e la mia attività scientifica siano considerate positivamente dagli organi di valutazione? Queste sono alcune fra le prime domande che un autore si pone quando sceglie di scrivere un articolo.

L’utilizzo di criteri e metodi in grado di misurare coerentemente il valore delle produzioni scientifiche assume, quindi, notevole importanza. Sappiamo, infatti, che la valutazione della ricerca può basarsi su indicatori qualitativi come la revisione dei pari (peer review) [1] e/o quantitativi di tipo non bibliometrico (dati brevettuali) o bibliometrico quali Impact Factor (IF), SCImago Journal Rank (SJR) indicator, H-index.
Alcuni studiosi tra cui Alan Pritchard [2], Derek John De Solla Price [3] e Eugene Garfield [4]hanno effettuato specifici studi in questo settore occupandosi di bibliometria, scientometria ed IF.

Se Alan Pritchard ha utilizzato per primo il termine bibliometria con riferimento alla statistica bibliografica come semplice raccolta di dati relativi alla produttività scientifica, Derek John De Solla Price è considerato da tutti il principale esponente della scientometria, la scienza che si propone di applicare metodi e tecniche matematiche e statistiche per la misurazione dell’attività e delle pubblicazioni degli scienziati.

Ad Eugene Garfield va, invece, riconosciuto il merito di aver costruito l’IF e fondato l’Institute for Scientific Information (ISI) nel 1960 poi acquisito nel 1992 da Thomson Scientific & Healthcare, oggi parte dell’Intellectual Property & Science business di Thomson Reuters [5]. L’idea iniziale[6] era di offrire, con riferimento ad una core collection di riviste scientifiche, il relativo elenco delle citazioni che avrebbe portato alla realizzazione del Science Citation Index pubblicato fin dal 1964.

Il loro contributo, l’enorme sviluppo dei database e la sempre maggiore importanza dell’impatto di una rivista nei sistemi di valutazione accademica, contribuiscono a mantenere i riflettori accesi sugli indicatori bibliometrici usati per qualificare le istituzioni di ricerca ed indirizzare, verso queste ultime, ingenti risorse pubbliche.
Per alcuni settori scientifico-disciplinari fra cui quelli delle scienze biomediche l’importanza di un riscontro metrico ha avuto e continua ad avere grande rilevanza.

Lo studio si propone più specificamente di analizzare, senza presunzione di esaustività, l’impatto e le specificità delle riviste di nefrologia a supporto di coloro che decidono di pubblicare un articolo.

Journal Citations Report (JCR) e Impact Factor (IF)

L’impatto di una pubblicazione su una rivista frequentemente viene associato all’Impact Factor (IF).

Il Journal Citations Report (JCR), altrimenti definito web-based research evaluation tool, la cui prima edizione risale al 1975 è un database creato dall’ISI (Institute of Scientific Information) con l’obiettivo di fornire alla comunità scientifica uno strumento utile a determinare con sistematicità il grado di influenza di ciascuna rivista nella specifica categoria tematica nella quale è inserita attraverso il rapporto citazionale fra riviste. È pubblicato annualmente in una prima versione, tra la tarda primavera e l’estate, ed in una versione definitiva nei mesi autunnali.

Il 18 giugno 2015 è stata pubblicata la lista dei titoli con IF relativo al 2014 [7] . Le 11.149 riviste, distribuite tra le 232 discipline ed indicizzate secondo specifici criteri, vengono inserite nelle edizioni Science (contenente 8.659 riviste nel 2015) e Social Science (contenente 3.154 riviste nel 2015). Ogni anno l’elenco viene aggiornato con nuove riviste (272 nel 2015) [8] e con l’eliminazione di quelle che non confermano i criteri di selezione (39 nel 2015).

L’IF è un indice che misura il numero medio di citazioni ricevute da ogni articolo (o review) pubblicato dalla rivista nei due anni precedenti.

Prerequisito essenziale affinché una rivista possa avere un IF è che sia indicizzata in Web of Science Core Collection (che a gennaio 2016 ne indicizzava 12.760) da Thomson Reuters. Ciò avviene secondo specifici fattori qualitativi e quantitativi ritenuti necessari dall’editore [9] quali:

  • regolarità e puntualità di pubblicazione;
  • rispetto delle convenzioni editoriali internazionali: inclusione di abstract, informazioni bibliografiche complete, dettagliate (riferimenti citati secondo l’alfabeto latino, informazioni relative all’autore), in lingua inglese;
  • applicazione del processo di revisione tra pari (peer review);
  • contenuto editoriale;
  • eterogeneità degli autori;
  • analisi delle citazioni.

La formula con la quale si calcola l’IF di una rivista è:

IF (anno X) rivista Y 

citazioni (anno X) ottenute da articoli pubblicati dalla rivista Y negli anni X-1 e X-2 / articoli e reviews pubblicati dalla rivista Y negli anni X-1 e X-2  

IF (2014) = 155 (100 + 55) / 75 (38+37) = 2.066 

Per intenderci: i documenti usciti nei due anni precedenti sulla rivista presa ad esempio nella formula sopra riportata – che ha pubblicato negli stessi anni 75 articoli e reviews (citable items38+37) – sono stati citati rispettivamente 100 (documenti pubblicati nel 2013) e 55 (documentipubblicati nel 2012) volte nel 2014. Ciò significa che i documenti della rivista in esame sono stati citati mediamente 2.066 volte. È bene, inoltre, precisare che editoriali, lettere all’editore, news ed abstract di meeting non sono presi in considerazione mentre possono giocare un ruolo rilevante anche le autocitazioni. Chiaramente un articolo può essere un riferimento per molti lettori ma, se ciò non si trasforma in citazione, l’IF non ne subisce alcuna influenza. Allo stesso modo un articolo fortemente critico e facilmente confutabile potrebbe attrarre molte citazioni facendo così innalzare l’IF della rivista.

Numerosi autori hanno messo in luce in diversi articoli le criticità degli indici citazionali fra cui: Figà Talamanca A. [10], Seglen P.O. [11], Rossner M., Van Epps H. e Hill E. [12], Lozano G.A., Larivière, V., Gingras, Y. [13], Tammaro A.M. [14] La regolarità di pubblicazione o l’uso della lingua inglese per esempio non possono essere considerati univocamente indici di autorevolezza di una rivista.

Diverse strategie, inoltre, possono permettere ad una rivista di aumentare il proprio IF:

  • pubblicare research reports o argomenti di ampio interesse (main stream);
  • obbligare gli autori ad effettuare sporadiche self-citations;
  • praticare citazioni incrociate tra riviste (anche se vi è un monitoraggio che in caso di superamento di determinati limiti porta all’esclusione: stacking);
  • diminuire le pubblicazioni che difficilmente possono essere citate;
  • pubblicare all’inizio dell’anno gli articoli che probabilmente riceveranno più citazioni (a favore di calendario).

Nel JCR, oltre l’IF, sono presenti ulteriori indicatori (key indicators):

  • Total Cites è il numero delle citazioni di una rivista ricevute dalle altre riviste indicizzate nel JCR durante l’anno preso in considerazione;
  • Impact Factor without Self-Cites cioè senza le autocitazioni;
  • 5-Year Impact Factor esprime l’IF relativo ad un quinquennio;
  • Immediacy Index è la misura di quanto velocemente la media degli articoli pubblicati su una certa rivista in un anno viene citata nello stesso anno;
  • Citable Items indica il numero totale di articoli e reviews pubblicati in una rivista per l’anno preso in considerazione dal JCR;
  • Cited/Citing Half Life misura l’età media degli articoli citati di una rivista (citazioni ricevute)/degli articoli citati in quella rivista (citazioni effettuate);
  • % Articles in Citable Items evidenzia i cosiddetti prodotti originali di ricerca (journal’s original research).

Nell’edizione del JCR pubblicata nel 2015 sono state introdotte nuove metriche e strumenti elaborate da E. Garfield, A. Pudovkin ed un team di studiosi appositamente creato: il Journal Impact Factor Percentile, il Normalized Eigenfactor, la funzione di estrazione dati in formati (xls) specifici, l’Open Access (OA) Filter ed una varietà di tools per gli utenti che consentono una maggiore trasparenza ed un più facile accesso ad una maggiore quantità di dati.

In particolare il Journal Impact Factor Percentile “transforms the rank in category by Journal Impact Factor into a percentile value”, permettendo così un confronto adeguato e significativo fra riviste appartenenti a diverse categorie al fine di ridurne le disomogeneità di peso. Infatti diversi ambiti di ricerca solitamente hanno diversi tempi e riscontri bibliografici tali da determinare un diverso modo di citare ed essere citati.

Per ben valutare il reale posizionamento di una rivista bisogna, quindi, sempre contestualizzarla[15], innanzitutto nella propria categoria di appartenenza: a tal fine nel JCR è possibile per ciascuna rivista ottenere il “Journal Ranking” anche per categoria.

Chiaramente l’obiettivo primario di ciascuna rivista indicizzata è migliorare i propri valori per incrementare la propria posizione rispetto alle riviste concorrenti. Allo stesso modo anche gli autori normalmente mirano a pubblicare in riviste con alto IF per motivi di prestigio ed autorevolezza riflessi, oltreché per aumentare la capacità attrattiva di finanziamenti rispetto alla propria istituzione.

Per operare un ulteriore livello di confronto fra riviste appartenenti a categorie differenti, come sopra riportato, si potrebbe, sulla base dell’IF grezzo, collocare una singola rivista in uno dei quattro quartili disponibili per ottenerne un IF cosiddetto “normalizzato”. Sulla base di questo dato il confronto restituirà un risultato in alcuni casi più coerente.

Eigenfactor

L’Eigenfactor [16] è uno dei principali indicatori bibliometrici e nasce nel gennaio 2007 da un progetto di ricerca sviluppato da Jevin West and Carl Bergstrom presso l’Università di Washington con l’obiettivo di offrire un metodo matematico, complementare all’IF, che utilizzando l’algoritmo PageRank di Google (brevettato nel 1998 dalla Stanford University e scritto da Sergey Brin e Larry Page fondatori della famosissima azienda) fosse in grado di valutare l’impatto dei periodici accademico-scientifici.

L’indicatore tiene in considerazione tempi e standard citazionali diversi per disciplina modulandone rispettivamente il prestigio e, a differenza del JCR da cui trae i dati, per un arco temporale maggiore.

Anche dal JCR è possibile consultare la sezione dedicata all’Eigenfactor Metrics che comprende l’Eigenfactor Score (EF) e l’Article Influence Score (AI). Queste metriche, basate sulle citazioni degli ultimi cinque anni, considerano non solo il numero complessivo delle citazioni ma anche la struttura della rete citazionale.

L’Eigenfactor Score (EF) è il risultato del numero di citazioni, pesate in relazione al “prestigio” della rivista in cui sono apparse, ricevute in un anno rispetto alla totalità delle pubblicazioni effettuate nei cinque anni precedenti. Come tutti gli indicatori anche questo è soggetto a numerose critiche tra cui ricordiamo l’eccessiva incidenza derivante dalla quantità di articoli pubblicati e l’esclusione di tutti i lavori citanti la stessa rivista. In aggiunta vi è anche l’Eigenfactor Score normalizzato.

L’Article Influence Score (AI), invece, corrisponde al punteggio Eigenfactor della rivista diviso per la frazione di articoli pubblicati dalla rivista stessa (normalizzato a 1). Anche in questo caso vengono esclusi tutti i lavori citanti la stessa rivista.

SCImago Journal & Country Rank, SCImago Journal Rank Indicator (SJR), Impact per Publication (IPP)

Nel portale ad accesso gratuito SCImago Journal & Country Rank [17] sono inclusi indicatori scientifici, costruiti sulle informazioni tratte dalla base dati Scopus [18] dell’editore Elsevier contenente oltre 21.500 peer-reviewed journals, che mettono in relazione le riviste con la loro provenienza geografica.

La piattaforma nata nel 2007 mutua il nome dallo SCImago Journal Rank (SJR) indicator realizzato da SCImago sulla base del famoso algoritmo di Google PageRank e frutto del lavoro congiunto di un gruppo di ricerca costituito dal Consejo Superior de Investigaciones Científicas (CSIC), dall’Università di Granada, Extremadura, Carlos III (Madrid) e Alcalá de Henares, “to information analysis, representation and retrieval by means of visualisation techniques”come recita lo stesso sito.

SJR, indipendentemente dal numero di articoli pubblicati da una rivista, analizza specificamente le citazioni ricevute se provenienti da periodici autorevoli (peer-reviewed, conference papers). Partendo dall’algoritmo Google PageRank si propone di collegare in maniera riflessa l’importanza di una rivista secondo il relativo rapporto citazionale sviluppandolo, a differenza dell’IF, su un arco temporale di tre anni.

Oltre alle funzionalità di Journal Rankings e Journal Search certamente interessanti sono il Country Rankings e Country Search.

Nella speciale classifica (1996-2014) di SCImago, dedicata alla produttività scientifica per nazioni, l’Italia si colloca all’ottavo posto con 1.200.448 documenti pubblicati e 18.019.464 citazioni ricevute contro gli 8.626.193 documenti pubblicati e le 177.434.935 citazioni ricevute dagli Stati Uniti che occupano il primo posto. Fra i paesi europei il Regno Unito occupa il primo posto con 2.397.817 documenti pubblicati e 44.011.201 citazioni ricevute (Tabella 1).

Con riferimento specifico alla categoria nephrology l’Italia si colloca, invece, al quinto posto con ben 7.268 documenti prodotti (Tabella 2).

Attraverso la funzionalità Compare è possibile confrontare più paesi e zone geografiche sia rispetto alle subject area che alle categorie (subject category) tematiche nonché effettuare una comparazione fra più riviste (massimo quattro) contemporaneamente. Il sistema genera mappe (map generator) della produzione scientifica di ciascun paese secondo le subject area e le subject category predefinite.

La banca dati Scopus, facendo leva sui dati relativi alle riviste ivi indicizzate da Elsevier, presenta anche l’Impact per Publication (IPP) che misura il numero medio di citazioni ricevute in un determinato anno Y dagli articoli (scholarly papers) pubblicati sulla rivista nei tre anni precedenti (Y-1, Y-2, Y-3).

La formula con la quale si calcola l’IPP di una rivista è:

IPP (anno X) rivista Y 

citazioni (anno X) ottenute da articoli pubblicati dalla rivista Y negli anni X-1, X-2 e X-3/ articoli pubblicati dalla rivista Y negli anni X-1, X-2 e X-3

IPP (2014) = 155 (52 + 55 + 48) / 75 (25+25+25) = 2.066

Per intenderci: i documenti usciti nei tre anni precedenti sulla rivista presa ad esempio nella formula sopra riportata – che ha pubblicato negli stessi anni 75 articoli (scholarly papers 25 + 25 + 25) – sono stati citati rispettivamente 52 (pubblicati nel 2013), 55 (pubblicati nel 2012) e 48 (pubblicati nel 2011) volte nel 2014. Ciò significa che i documenti della rivista in esame sono citati mediamente 2.066 volte.

Le riviste di nefrologia ed il loro impatto

Con riferimento alle riviste di nefrologia inserite nella categoria Urology & Nephrology del JCR Science Edition abbiamo raccolto i dati per l’arco temporale che va dal 2004 al 2014 (Figura 1). Al fine di fornire un quadro di riferimento non esclusivo abbiamo preso in considerazione gli indici presenti (Total Cites, Impact Factor, Immediacy Index, Articles, Cited Half-life), la tipologia degli articoli pubblicati e la loro distribuzione geografica e linguistica.

Più specificamente la categoria Urologia e Nefrologia (nel JCR) riguarda le riviste che si occupano di diagnosi e trattamento delle malattie del tratto genito-urinario e dei reni. Sono comprese, pertanto, risorse di urologia generale e nefrologia nonché risorse specializzate su prostata, dialisi e altre tecniche di purificazione del sangue, trapianto e insufficienza renale.

Se da una parte il numero delle riviste della categoria è tendenzialmente cresciuto nel tempo, passando dalle 52 del 2004 alle 78 del 2014 (Figura 2), non altrettanto può dirsi dell’Aggregate impact factor (IF della categoria) che ha avuto un andamento altalenante negli ultimi anni toccando il suo picco nel 2008 (Figura 3).

Il numero complessivo delle riviste aumenta ed il valore complessivo unitario diminuisce. Nel 2014 per la categoria urologia e nefrologia sono espressi i seguenti valori: 78 Journals, 10.493 Articles, 361.573 Total Cites, 1.751 Median Impact Factor, 2.904 Aggregate Impact Factor, 0.720, Aggregate Immediacy Index, 6.8 Aggregate Cited Half Life. Delle 78 riviste presenti, 36 possono considerarsi strettamente attinenti all’ambito nefrologico, 38 si occupano più specificamente di urologia, mentre le rimanenti 4 afferiscono sia al primo che al secondo ambito disciplinare (Figura 4).

Fra le riviste di area nefrologica quella col più alto IF è Kidney International Supplements (10.435) mentre 4, sono ad accesso aperto (Open Access): Bmc Nephrology, Iranian Journal of Kidney Diseases, Kidney & Blood Pressure Research, Nefrologia. Significativi studi sono stati condotti sul rapporto tra analisi citazionale ed indicatori bibliometrici rispetto all’Open Access[19], alcuni dei quali dimostrano che le pubblicazioni ad accesso aperto producono un incremento citazionale certo dovuto ad esempio alla loro diffusione nei paesi in via di sviluppo.

Per completare i dati che è possibile estrapolare da JCR abbiamo inserito le Tabella 3 e Tabella 4 contenenti l’elenco delle prime 10 riviste rispettivamente ordinate per Eigenfactor Score ed Article Influence Score ed esclusivamente riconducibili all’area nefrologica. In entrambe notiamo che il Journal of the American Society of Nephrology occupa il primo posto.

In SJR, a differenza del JCR, è presente la categoria nephrology disgiunta da quella di urologia. I dati relativi al periodo 2004-2014 mostrano una costante crescita del numero di riviste che dalle 47 del 2004 divengono 59 nel 2014 (Figura 5).

Il numero delle riviste indicizzate in SCImago (59) è superiore rispetto al JCR (39). È possibile in questo modo avere un diverso orizzonte per effettuare una diversa valutazione (Figura 6) poiché, è bene sottolinearlo, le rispettive fonti citazionali (Scopus e WoS) presentano specificità sia quantitative che qualitative [20]. Scopus si distingue per il maggior numero di riviste e la versatilità nella ricerca mentre WoS ha il suo punto di forza nella diversificazione delle fonti e nella copertura temporale.

Tra le quattro riviste italiane indicizzate notiamo che sia il Journal of Nephrology che Minerva Urologica e Nefrologica sono presenti in entrambe le risorse. Ad essi si aggiunge il Journal of Vascular Access che però nel JCR è inserito in una categoria diversa: Peripheral vascular disease.Il Giornale Italiano di Nefrologia è, invece, indicizzato in SCImago.

Quanto alla residenza geografica delle riviste Inghilterra e USA sono seguite da Svizzera, Italia e Germania (Figura 7).

Se, invece, leggiamo la classifica in base al numero di pubblicazioni, il Giappone si posiziona, fra le 109 nazioni presenti, secondo dietro agli USA ma prima del Regno Unito (Tabella 5), mentre l’Italia, sesta nella predetta classifica, perde una posizione a favore del Canada con riferimento alle citazioni ricevute (Tabella 6).

Da un punto di vista linguistico l’inglese è ovviamente la lingua più comune e diffusa.

Purtroppo le riviste pubblicate in Africa, Asia e Sud America occupandosi di problematiche che affliggono quei paesi perdono una parte della rilevanza internazionale che, invece, probabilmente meriterebbero.

Discussione

La pubblicazione di un articolo dovrebbe sempre essere il coronamento di un percorso che comporta l’aggiunta di un tassello importante nella conoscenza di un determinato argomento con inevitabili ricadute per il lettori e specificamente per le conseguenti applicazioni cliniche che ne possono derivare.

Non bisogna dimenticare, innanzitutto, il pubblico di lettori a cui ci si rivolge e rispetto ad esso scegliere il linguaggio più appropriato.

In secondo luogo, occorrerà sapere che esistono diverse tipologie di riviste: traditional academic research journal (rigorosamente peer-reviewed), letters journal (con comunicazioni veloci e peer-reviewed), review journal (dedicati ai progressi ed alle ultime tendenze), conference proceedings archives (essenziali per individuare il momento in cui presentare risultati non pubblicati), professional journal/magazine (con articoli sulla formazione professionale, informazioni varie, appuntamenti e non sempre peer-reviewed). 

Nell’ambito della ricerca scientifica la peer review indica la procedura di selezione degli articoli o dei progetti di ricerca proposti da membri della comunità scientifica, effettuata attraverso una valutazione esperta eseguita da specialisti del settore per verificarne l’idoneità alla pubblicazione scientifica su riviste specializzate o, nel caso di progetti, al finanziamento degli stessi. Gli editori e le agenzie di finanziamento usano, dunque, la tecnica di valutazione tra pari per selezionare le proposte ricevute. Questo processo costringe gli autori ad adeguarsi ai migliori livelli di qualità della loro disciplina, oppure ai requisiti specifici della rivista, o dell’agenzia finanziatrice [21].

L’autore dovrebbe, pertanto, conoscere e mettere a confronto le pubblicazioni esistenti in base alle specificità (Aims & Scope) che le contraddistinguono e, secondo queste ultime, scegliere quella che più si confà all’argomento ed ai relativi ambiti tra cui quelli territoriali e linguistici.

Chiaramente molto spesso a pubblicare un articolo sono coloro che, ai fini della carriera universitaria, intendono proporsi per la ricerca e la docenza. L’arduo percorso è sottoposto a frequenti cambiamenti tipici della realtà italiana.

L’Agenzia nazionale di valutazione del sistema universitario e della ricerca (ANVUR), l’ente che si occupa della valutazione dell’attività delle università in Italia e conseguentemente dei prodotti della ricerca, ha emanato nel 2015 il “Regolamento recante criteri di classificazione delle riviste ai fini dell’Abilitazione Scientifica Nazionale” indicando quali condizioni debba avere una rivista per poter essere qualificata come scientifica: soggetto promotore della rivista, direttore della rivista, comitato editoriale, comitato scientifico, periodicità regolare non superiore all’anno, pubblico di riferimento, formato degli articoli, presenza della peer review. Nello stesso regolamento [22] si dichiara che: al fine della formulazione del giudizio di classe A, il Gruppo di lavoro utilizza principalmente i seguenti criteri: 

a. Diffusione nazionale e internazionale; 

b. Presenza nelle banche dati e nelle classificazioni nazionali e internazionali; 

c. Stima, posizione accademica e provenienza degli autori; 

d. Qualità dei saggi pubblicati, accertata anche attraverso la valutazione da essi ricevuta nelle VQR; 

e. Tipologia delle procedure di peer review anonima per l’accettazione degli articoli; 

f. Criteri bibliometrici, laddove pertinenti e comunemente accettati dalle comunità scientifiche di riferimento; 

g. Formato degli articoli; 

h. Reputazione nella comunità scientifica di riferimento.

Certamente la possibilità di avere un processo di sottomissione e di pubblicazione online chiaro e veloce in aggiunta ad una grafica ed un layout efficace ed accattivante fanno il resto.

L’ANVUR ha recentemente pubblicato, con riferimento alla valutazione dei prodotti della ricerca per il periodo 2011-2014, i criteri che utilizzerà il Gruppo di Esperti della Valutazione (GEV) dell’Area delle Scienze Mediche (06) [23]. Per quanto riguarda i contributi in rivista verranno presi in considerazione:

  1. Articolo scientifico (Research article, Clinical trials, Randomized clinical trials, Metaanalysis, International Guidelines, Position paper)
  2. Articolo scientifico di rassegna critica di letteratura (Review e systematic review)
  3. Lettera
  4. Contributo a forum/Editoriali su invito della redazione della rivista

Per quanto riguarda le aree scientifiche, i trial clinici (randomizzati e non): il prodotto va presentato soltanto se il proponente è autore (e non investigatore) dell’articolo. Le metanalysis, le guidelines, i position papers oppure documenti di working group o commentaries sono considerati nella categoria di articoli originali ma saranno assegnati alla revisione peer.

Non verranno invece presi in considerazione: Author’s reply, bibliographies, Abstracts, Biografia, Database/ BioBank, Antologie, Enciclopedie, Case reports.

Solo i prodotti indicizzati nelle banche dati citazionali Web of Science e Scopus possono essere oggetto di valutazione bibliometrica in base ad un algoritmo che terrà conto in misura diversa a seconda della data di pubblicazione dell’articolo, sia del numero di citazioni che dell’indicatore di impatto Journal Metric (JM) della rivista ospitante: IF5Y (popolarità), AI (prestigio) per WoS e IPP (popolarità), SJR (prestigio) per Scopus. L’algoritmo dovrebbe in questo modo restituire all’articolo l’appartenenza ad una delle 5 classi individuate: Eccellente, Elevato, Discreto, Accettabile, Limitato. L’utilizzo di questi criteri per la Valutazione della Qualità della Ricerca (VQR) ha anch’esso attirato numerose critiche [24].

Ritornando all’analisi condotta ed ai principali strumenti di valutazione delle riviste scientifiche (IF, Eigenfactor, SJR) emerge che la rivista Journal of the American Society of Nephrology: JASN occupa sempre le primissime posizioni (Tabella 7).

La rivista Kidney International Supplements ha, secondo gli ultimi dati relativi all’anno 2015, messo a segno un incredibile exploit balzando da un IF di 0.606, che la collocava nel 2013 fra le ultime posizioni nella classifica di categoria, al primo posto per la nefrologia con un IF di 10.435.

Le riviste nefrologiche italiane, più diffuse ed indicizzate nelle principali banche dati, sono Journal of Nephrology, Minerva Urologica e Nefrologica, Journal of Vascular Access, Giornale Italiano di Nefrologia.

La prima è la rivista ufficiale della Società Italiana di Nefrologia (SIN) e pubblica articoli che si occupano dei grandi temi della nefrologia, della dialisi e del trapianto. Minerva Urologica e Nefrologica è anch’essa una rivista peer-reviewed che però pubblica sia articoli sia di urologia che nefrologia. Journal of Vascular Access pubblica manoscritti originali che si occupano di indagini cliniche e di laboratorio nel settore vascolare.

II Giornale Italiano di Nefrologia (GIN), è anch’esso organo ufficiale della Società Italiana di Nefrologia (SIN), e pubblica specialmente articoli relativi all’Educazione Continua in Medicina (ECM).

Le quattro riviste sono indicizzate dai principali repertori di settore.

Conclusioni

Abbiamo visto che la scelta della rivista su cui pubblicare dipende dalle tante variabili che di volta in volta entrano in gioco. Abbiamo avuto modo di comprendere come la bibliometria si prefigga “l’ambizioso obiettivo di valutare la ricerca scientifica – in termini di produttività, impatto, popolarità, prestigio e capacità critica – attraverso l’uso di metodi quantitativi” [25].

La comunità scientifica internazionale ha guardato con grande interesse al JCR ed all’IF attribuito alle riviste in esso contenute, talvolta esaltandone le qualità, talaltra criticandone fortemente metodi e risultati. Allo stesso modo in anni recenti si è affermato anche lo SJR indicator che a differenza del primo è liberamente accessibile.

Chiaramente il “comportamento citazionale” ha un’incidenza diversa fra le varie discipline e, per quelle biomediche in particolare, bisogna considerare che il rapido invecchiamento produce, per la maggioranza degli articoli, una breve vita citazionale. In tutti i casi i database citazionali (Web of Science, Scopus, Google Scholar, ecc), con varianti relative al numero delle pubblicazioni ed alle citazioni prese in considerazione, giocano un ruolo molto delicato.

Dal confronto effettuato tra i dati dell’IF, dell’Eigenfactor e dello SJR relativamente alle riviste di area nefrologica emerge un quadro comune a molte discipline mediche in cui l’Inghilterra e gli Stati Uniti da una parte e la lingua inglese dall’altra occupano un ruolo di primissimo piano costituendo per questo motivo un punto di riferimento per quanti vogliano cimentarsi nella pubblicazione di un articolo scientifico. La realtà italiana, soprattutto attraverso alcune riviste, offre interessanti spunti di pubblicazione poiché, per esempio, organizzata in sezioni dedicate alla professione (di carattere deontologico, etico elegislativo), agli approfondimenti su specifici temi, agli aspetti clinici (linee guida applicate ai casi clinici) o a quelli della comunicazione e del marketing, alla recensione di libri.

Nel convegno “Science and Technology Indicators – STI 2014” tenutosi nella cittadina olandese di Leiden nel 2014, gli scientometristi hanno dichiarato: “… we have watched with increasing alarm the pervasive misapplication of indicators to the evaluation of scientific performance“. Evidentemente l’abuso è diventato troppo diffuso per essere ulteriormente ignorato. Su queste basi è stato redatto il “Leiden Manifesto for research metrics” pubblicato su Nature [26] e contenente 10 principi (tradotti dalla redazione ROARS [27]) che i valutatori devono seguire per il corretto uso della bibliometria tra cui, a nostro avviso, meritano particolare attenzione il riconoscimento del ruolo di supporto della valutazione quantitativa rispetto al giudizio qualitativo, la protezione delle eccellenze quale espressione della specifica ricerca locale, la necessità di passare in rassegna regolarmente gli indicatori e procedere al loro aggiornamento.

Alla luce dei dati riportati e delle considerazioni effettuate sin qui, si può affermare che, così come qualsiasi strumento, anche gli indicatori bibliometrici costituiscano un valido riferimento per orientarsi nel complesso mondo delle pubblicazioni scientifiche solo a condizione che si sappia guardare oltre il dato meramente matematico e statistico non trascurando realtà “minori” che in alcuni casi possono costituire il giusto trampolino di una produzione scientifica di valore ma con specifici target. Un basso IF o SJR, pertanto, non sono sinonimi di scarsa qualità.

Spezziamo, altresì, una lancia a favore delle pubblicazioni ad accesso aperto che si caratterizzano per una libera disseminazione condivisa del sapere scientifico offrendo nel contempo significativi incrementi citazionali.

Il comportamento dell’utenza è, infine, un elemento da non trascurare: esso acquista un’importanza sempre maggiore nella valutazione delle pubblicazioni scientifiche laddove nuovi ed innovativi metodi di misurazione tendono ad affermarsi in un mondo sempre più dominato da logiche di condivisione del sapere.

Bibliografia

[1] Brown T. Peer Review and the acceptance of new scientific ideas. London, Sense About Science, 2004

[2] Pritchard A. Statistical bibliography or bibliometrics? J Doc 1969;25(4):348-349

[3] De Solla Price DJ. Citation measures of hard science, soft science, technology, and nonscience. In: Nelson CE, Pollock DK (Eds), Communication among scientists and engineers, Lexington, MA, D.C. Heath and Company, 1970;3-22.

[4] GARFIELD E Citation indexes for science; a new dimension in documentation through association of ideas. Science (New York, N.Y.) 1955 Jul 15;122(3159):108-11

[5] Thomson Corporation acquired ISI (Institute for Scientific Information). Online 1992; July

[6] Garfield E The history and meaning of the journal impact factor. JAMA 2006 Jan 4;295(1):90-3

[7] Thomson Reuters, 2015 “Journals in the 2015 release of JCR” (accesso il 3 marzo 2016)

[8] Thomson Reuters, 2015 “Journals receiving their first Impact Factor” (accesso il 3 marzo 2016)

[9] Testa J, 2015 “The Thomson Reuters journal selection process” (accesso il 3 marzo 2016)

[10] Figà-Talamanca A. L’Impact factor nella valutazione della ricerca e nello sviluppo dell’editoria scientifica. In: IV Seminario sistema informativo nazionale per la matematica, Lecce, 2000 (accesso il 3 marzo 2016)

[11] Seglen PO Why the impact factor of journals should not be used for evaluating research. BMJ (Clinical research ed.) 1997 Feb 15;314(7079):498-502

[12] Rossner M, Van Epps H, Hill E et al. Show me the data. The Journal of cell biology 2007 Dec 17;179(6):1091-2

[13] Lozano G A, Larivière V, Gingras Y. The weakening relationship between the Impact Factor and papers’ citations in the digital age. J Assoc Inf Sci Technol 2012; 63(11):2140-45. DOI: 10.1002/asi.22731

[14] Tammaro, A M. Indicatori di qualità delle pubblicazioni scientifiche ed open access, in Partecipare la scienza, a cura di Adriana Valente, Roma: Biblink, 2004;51-89

[15] Belter CW Bibliometric indicators: opportunities and limits. Journal of the Medical Library Association : JMLA 2015 Oct;103(4):219-21

[16] University of Washington, 2015 “Eigenfactor.org” (accesso il 3 marzo 2016)

[17] SCImago, 2007 “SJR — SCImago Journal & Country Rank” (accesso il 3 marzo 2016)

[18] Scopus Content Coverage Guide, Elsevier B.V. 2016 (accesso il 3 marzo 2016)

[19] De Robbio A. Analisi citazionale e indicatori bibliometrici nel modello Open Access. Bollettino AIB 2007;47(3):257-288

[20] Mongeon P, Paul-Hus A.  The journal coverage of Web of Science and Scopus: a comparative analysis.  Scientometrics  2016; 106(1):213-228.

[21] European Science Foundation, European peer review guide integrating policies and practices into coherent procedures. Strasbourg: European Science Foundation 2011 (accesso il 3 marzo 2016)

[22] Agenzia Nazionale di Valutazione del Sistema Universitario e della Ricerca (ANVUR), Regolamento recante criteri di classificazione delle riviste ai fini dell’Abilitazione Scientifica Nazionale. 2015 (accesso il 3 marzo 2016)

[23] Agenzia Nazionale di Valutazione del Sistema Universitario e della Ricerca (ANVUR), Valutazione della Qualità della Ricerca 2011-2014 (VQR 2011-2014) – Criteri per la valutazione dei prodotti di ricerca Gruppo di Esperti della Valutazione dell’Area Scienze Mediche (GEV06) (accesso il 3 marzo 2016)

[24] ROARS (Return On Academic ReSearch), (accesso il 3 marzo 2016)

[25] Cassella M, Bozzarelli O. Nuovi scenari per la valutazione della ricerca tra indicatori bibliometrici citazionali e metriche alternative nel contesto digitale. Biblioteche oggi, 2011; 29(2):66-78

[26] Hicks D, Wouters P, Waltman L et al. Bibliometrics: The Leiden Manifesto for research metrics. Nature 2015 Apr 23;520(7548):429-31

[27] Traduzione tratta da ROARS, Leiden Manifesto for research metrics, “ROARS – Return on academic research” (accesso il 3 marzo 2016)

Tabella 1
Lista delle prime dieci nazioni per numero di documenti totali prodotti nel periodo 1996-2014

Rank

Country

Documents

Citable documents

Citations

Self-Citations

Citations per Document

1

United States

8.626.193

7.876.234

177.434.935

83.777.658

23,36

2

China

3.617.355

3.569.652

19.110.353

10.462.121

7,44

3

United Kingdom

2.397.817

2.103.145

44.011.201

10.321.539

21,03

4

Germany

2.176.860

2.045.433

35.721.869

9.141.181

18,5

5

Japan

2.074.872

2.008.410

27.040.067

7.619.559

13,79

6

France

1.555.629

1.468.286

24.700.140

5.516.943

17,95

7

Canada

1.227.380

1.134.588

22.152.666

4.136.384

21,4

8

Italy

1.200.448

1.117.013

18.019.464

4.186.908

17,52

9

India

998.544

944.632

6.989.150

2.409.025

9,61

10

Spain

952.099

884.670

12.628.097

3.068.362

16,14

Fonte: SCImago Journal & Country Rank elaborato dagli autori

Tabella 2
Lista delle prime dieci nazioni per numero di documenti prodotti nella categoria nephrology, periodo 1996-2014

Rank

Country

Documents

Citable documents

Citations

Self-Citations

Citations per Document

1

United States

30.272

26.357

762.783

340.493

27,29

2

Japan

9.335

8.304

150.284

40.283

16,31

3

Germany

9.074

7.964

172.696

35.542

19,4

4

United Kingdom

7.299

6.254

143.337

26.015

21,11

5

Italy

7.268

6.301

124.808

22.515

17,41

6

Spain

5.360

4.126

62.243

12.276

13,01

7

France

5.042

4.270

109.282

16.893

22,2

8

Canada

4.458

3.891

108.441

16.604

28,91

9

Turkey

3.517

2.962

29.638

5.121

9,07

10

Netherlands

3.242

2.860

83.127

13.530

27,59

Fonte: SCImago Journal & Country Rank elaborato dagli autori

Tabella 3
Lista delle prime dieci riviste per Eigenfactor Score di nefrologia presenti nella categoria urology and nephrology, per l’anno 2014 in JCR

Rank

Rivista

Eigenfactor®Score

1

Journal of the American Society of Nephrology

0.05931

2

Kidney International

0.05516

3

Nephrology Dialysis Transplantation

0.04799

4

Clinical Journal of the American Society of Nephrology

0.04187

5

American Journal of Kidney Diseases

0.03309

6

American Journal of Physiology-Renal Physiology

0.02774

7

Pediatric Nephrology

0.01741

8

Nature Reviews Nephrology

0.01269

9

American Journal of Nephrology

0.00916

10

Current Opinion in Nephrology and Hypertension

0.00783

Fonte: 2015  Journal Citation Reports (Thomson Reuters, 2015)

Tabella 4
Lista delle prime dieci riviste per Article Influence Score di nefrologia presenti nella categoria urology and nephrology, per l’anno 2014 in JCR

Rank

Rivista

Article Influence®Score

1

Journal of the American Society of Nephrology

3.377

2

Kidney International Supplements

3.299

3

Nature Reviews Nephrology

2.764

4

Kidney International

2.701

5

Current Opinion in Nephrology and Hypertension

1.197

6

Seminars in Nephrology

1.099

7

Nephrology Dialysis Transplantation

1.056

8

American Journal of Physiology-Renal Physiology

1.053

9

Pediatric Nephrology

0.887

10

American Journal of Nephrology

0.835

Fonte: 2015  Journal Citation Reports (Thomson Reuters, 2015)

Tabella 5
Lista delle prime dieci nazioni per numero di documenti nella categoria Nephrology, anno 2014

Rank

Country

Documents

Citable documents

Citations

Self-Citations

Citations per Document

1

United States

1.857

1.545

1.559

796

0,84

2

Japan

519

388

286

79

0,55

3

United Kingdom

485

407

310

82

0,64

4

China

461

406

225

83

0,49

5

Germany

438

373

366

99

0,84

6

Italy

359

299

272

45

0,76

7

Canada

309

258

282

49

0,91

8

Spain

257

192

119

31

0,46

9

France

247

211

203

41

0,82

10

Turkey

247

197

60

15

0,24

Fonte: SCImago Journal & Country Rank elaborato dagli autori

Tabella 6
Lista delle prime dieci nazioni per numero di citazioni nella categoria Nephrology, anno 2014

Rank

Country

Citations

Documents

Citable documents

Self-Citations

Citations per Document

1

United States

1.559

1.857

1.545

796

0,84

2

Germany

366

438

373

99

0,84

3

United Kingdom

310

485

407

82

0,64

4

Netherlands

287

218

191

59

1,32

5

Japan

286

519

388

79

0,55

6

Canada

282

309

258

49

0,91

7

Italy

272

359

299

45

0,76

8

Australia

232

241

212

38

0,96

9

China

225

461

406

83

0,49

10

France

203

247

211

41

0,82

Fonte: SCImago Journal & Country Rank elaborato dagli autori

Tabella 7
Elenco delle prime dieci riviste di nefrologia per indicatore (Impact factor, SCImago Journal Rank Indicator, Eigenfactor Score, Article Influence Score e Impact per Publication) anno 2014

Rank

Rivista

IF

Rivista

SJR

Rivista

E

Rivista

AI

Rivista

IPP

1

KIDNEY INT SUPPL

10.435

J AM SOC NEPHROL

4302

J AM SOC NEPHROL

0.059310

J AM SOC NEPHROL

3.377

J AM SOC NEPHROL

8.198

2

J AM SOC NEPHROL

9.343

KIDNEY INT

2808

KIDNEY INT

0.055160

KIDNEY INT SUPPL

3.299

KIDNEY INT

5.904

3

KIDNEY INT

8.563

CLIN J AM SOC NEPHRO

2269

NEPHROL DIAL TRANSPL

0.047990

NAT REV NEPHROL

2.764

NAT REV NEPHROL

5.069

4

NAT REV NEPHROL

8.542

KIDNEY INT SUPPL

1941

CLIN J AM SOC NEPHRO

0.041870

KIDNEY INT

2.701

CLIN J AM SOC NEPHRO

4.771

5

AM J KIDNEY DIS

5.900

NAT REV NEPHROL

1707

AM J KIDNEY DIS

0.033090

CLIN J AM SOC NEPHRO

1.880

AM J KIDNEY DIS

3.965

6

CLIN J AM SOC NEPHRO

4.613

AM J KIDNEY DIS

1651

AM J PHYSIOL-RENAL

0.027740

AM J KIDNEY DIS

1.864

CURR OPIN NEPHROL HY

3.65

7

CURR OPIN NEPHROL HY

3.862

NEPHROL DIAL TRANSPL

1373

PEDIATR NEPHROL

0.017410

CURR OPIN NEPHROL HY

1.197

NEPHROL DIAL TRANSPL

3.266

8

NEPHROL DIAL TRANSPL

3.577

SEMIN NEPHROL

1346

NAT REV NEPHROL

0.012690

SEMIN NEPHROL

1.099

AM J NEPHROL

2.696

9

SEMIN NEPHROL

3.483

CURR OPIN NEPHROL HY

1330

AM J NEPHROL

0.009160

NEPHROL DIAL TRANSPL

1.056

PEDIATR NEPHROL

2.442

10

AM J PHYSIOL-RENAL

3.248

AM J NEPHROL

1112

CURR OPIN NEPHROL HY

0.007830

AM J PHYSIOL-RENAL

1.053

NEPHRON EXP NEPHROL

2.265