Il tema della valutazione dell’attività svolta da università ed enti di ricerca è molto attuale e si distingue per la complessità delle analisi da effettuare. In Italia, la quota di finanziamento assegnato in base a meccanismi di valutazione basati sulla performance è tra le più alte a livello europeo. È di prossima pubblicazione il III Rapporto biennale sullo stato del sistema universitario e della ricerca da parte dell’ANVUR - Agenzia Nazionale di Valutazione del Sistema Universitario e della Ricerca. Abbiamo posto al dott. Marco Malgarini, Dirigente dell’Area Valutazione della Ricerca di ANVUR, alcune domande di approfondimento.
L’affidabilità del data set è fondamentale per una buona attività di valutazione. Qual è la fonte di dati utilizzata da ANVUR?
La fonte di partenza primaria utilizzata da ANVUR nelle sue attività valutative è la banca dati Logimiur, che costituisce l’embrione di un Current Research Information System (CRIS). In Loginmiur, i docenti italiani archiviano i metadati relativi a tutte le loro pubblicazioni scientifiche, catalogate secondo tipologie predefinite (articoli, atti di convegno, monografie, etc). A fini valutativi, nei settori cosiddetti bibliometrici, ossia quelli delle scienze naturali, mediche, matematiche e ingegneristiche, le informazioni contenute in Loginmiur sono integrate con quelle provenienti da database commerciali internazionali e relative a citazioni e indicatori di impatto della sede di pubblicazione. A garanzia della correttezza del processo di identificazione delle pubblicazioni nei database internazionali, tutti i docenti italiani che hanno partecipato alla VQR 2011-14 sono dotati di un codice identificativo personale univoco denominato ORCID. Nei settori non bibliometrici, per le analisi relative alla Abilitazione Scientifica Nazionale e all’accreditamento dei dottorati di ricerca, le informazioni relative alle pubblicazioni su rivista scientifica contenute in Loginmiur sono incrociate con quelle di fonte ANVUR relative alla classificazione delle riviste. L’architettura informativa appena descritta fornisce buone garanzie di affidabilità del dato per il suo utilizzo a fini valutativi; il sistema potrebbe tuttavia essere ulteriormente migliorato con il varo della cosiddetta Anagrafe Nazionale della Ricerca, originariamente prevista da una legge del 2009 ma mai avviata. Ciò che manca è una definizione univoca, fissata con un decreto ministeriale, dei criteri alla base dell’inclusione delle pubblicazioni nel database e della classificazione interna di quest’ultimo. Inoltre, l’Agenzia effettua un controllo ex post, sulla base di criteri che ha reso pubblici, delle informazioni di Loginmiur che utilizza, ma la banca dati sarebbe più affidabile se fossero i docenti e le Università stesse a certificare le informazioni.
Come vengono utilizzati gli indicatori bibliometrici e, in particolare, che peso viene dato alle pubblicazioni su riviste scientifiche?
Nei settori cosiddetti bibliometrici, gli articoli su riviste scientifiche e, in particolare, su quelle indicizzate nei principali database internazionali (WOS e SCOPUS) costituiscono circa il 90% di tutte le pubblicazioni valutate nella VQR. Per la valutazione, si utilizza il metodo della peer review informata, in cui la revisione dei pari è coadiuvata dalle informazioni provenienti dagli indicatori bibliometrici. Gli indicatori utilizzati sono quelli relativi alle citazioni ricevute dai singoli articoli e al fattore di impatto della sede di pubblicazione. A seconda del settore scientifico e dell’anno di pubblicazione, per la valutazione dell’impatto scientifico di un articolo, citazioni e impact factor possono assumere pesi diversi: in generale, le citazioni sono più importanti tanto più tempo è trascorso tra il momento della pubblicazione e quello della valutazione, e quanto più velocemente le citazioni tendono ad accumularsi in una data disciplina scientifica.
In che termini viene valutato l’impatto socio-economico della ricerca?
L’attività di ricerca può avere, oltre ad un impatto nel mondo scientifico, effetti più ampi che coinvolgono l’intera sfera socio-economica, attraverso ad esempio l’impulso allo sviluppo di nuove tecnologie e nuovi prodotti, o la produzione di beni pubblici. La valutazione di questo tipo di impatto sta assumendo una crescente importanza nel dibattito di policy, anche se gli strumenti a disposizione sono ancora in via di sperimentazione. Nel nostro paese, per la valutazione dell’impatto della ricerca e delle cosiddette attività di “terza missione” delle Università si è adottato un approccio fondato sul metodo della revisione dei pari informata dall’uso di indicatori. Gli indicatori utilizzati riguardano le attività di valorizzazione della ricerca, da un lato, e quelle di produzione di beni pubblici, dall’altro: i primi includono informazioni riguardanti la gestione della proprietà intellettuale (brevetti, privative vegetali), gli spin off accademici, le attività conto terzi e l’attività di intermediazione (incubatori, parchi scientifici); i secondi, invece, riguardano la gestione dei beni culturali (scavi, musei, etc.), la formazione, il public engagement e la tutela della salute. Come accennato, gli indicatori servono a fornire informazioni ai gruppi di esperti incaricati di valutare la qualità del coinvolgimento dell’Università su questi temi. Per ciascun ambito, ANVUR elabora quindi una valutazione comparativa delle Istituzione universitarie e degli Enti, senza arrivare (come avviene invece per la valutazione della ricerca) a costruire un indicatore aggregato a livello di istituzione. È importante infine sottolineare che tale attività di valutazione riveste ancora carattere sperimentale e non è utilizzata al fine della ripartizione dei fondi premiali.
L’ANVUR ha in programma di valutare i dottorati di ricerca. Puoi fornire qualche anticipazione al riguardo?
Sino ad oggi ANVUR si è occupata di accreditamento ex ante dei corsi di dottorato, ma non di valutazione ex post. Da questo punto di vista, a giudizio dell’Agenzia assume un ruolo molto rilevante la valutazione degli studenti e dei dottori di ricerca sul percorso di studio intrapreso e sulle seguente attività lavorativa. Anche per questo, ANVUR ha recentemente intrapreso i passi necessari per entrare a far parte del Sistema Statistico Nazionale, così da poter iniziare una collaborazione con l’ISTAT per la realizzazione di indagini ad hoc sulle opinioni degli studenti di Dottorato. Il sistema di indagini ANVUR-ISTAT (a cui parteciperanno a vario titolo anche MIUR e INPS) dovrebbe andare a regime a partire dal 2020 e si articolerà su due indagini svolte a frequenza annuale: la prima indagine rileverà le opinioni dei dottorandi, ossia di quelli all’ultimo anno di corso che stanno per conseguire il titolo, e la seconda invece rileverà le opinioni dei dottori di ricerca, intervistati dopo due e quattro anni dal conseguimento del titolo. Nella prima indagine saranno raccolte informazioni circa la qualità della didattica e del tutoraggio ricevuti, le attività laboratoriali svolte e le opportunità offerte dal corso per lo sviluppo di connessioni con reti di ricerca internazionali. Per questa indagine abbiamo appena concluso un esperimento pilota su due Università e stiamo analizzando i risultati; alla luce delle informazioni raccolte, procederemo già prima dell’estate a ricalibrare il questionario e ad avviare l’indagine su base nazionale. La seconda indagine è un aggiornamento e miglioramento di quella già svolta da ISTAT, che ha però periodicità irregolare e viene svolta dopo 3 e 5 anni dal conseguimento del titolo. L’indagine si concentra sul curriculum accademico dell’intervistato, la sua situazione occupazionale attuale, l’eventuale attività di ricerca di lavoro e la mobilità territoriale, e raccoglie anche notizie sulle caratteristiche della famiglia. Per entrambe le indagini le informazioni raccolte saranno non solo utilizzate da ANVUR a fini valutativi ma anche “restituite”, una volta opportunamente anonimizzate, alle Università, che potranno utilizzarle come utile strumento di conoscenza e autovalutazione delle proprie attività di formazione superiore.