Gli esperti di politiche pubbliche insistono sulla valutazione quantitativa come meccanismo di accountability. La Commissione Europea si è messa alla testa di una campagna per l’adozione di tecniche di valutazione quantativa anche in aree tradizionalmente “morbide” come la coesione sociale o l’innovazione sociale. Il messaggio è semplice: sono tempi duri per i bilanci pubblici. Se volete che finanziamo qualcosa, dovete spiegare perché questa cosa è più importante di altre. Ha senso. Come potrebbe essere sbagliato?
Eppure non sono convinto. La valutazione ha solide basi teoriche quando misura i risultati nella stessa unità in cui è misurato l’input. Il gold standard in questo senso è il famoso rendimento dell’investimento (ROI): investi dollari. Raccogli dollari. Dividi i dollari raccolti per i dollari investiti. Facile. Se investi dollari per ottenere, diciamo, un aumento della popolazione di aironi di una zona umida, o una riduzione attesa dell mortalità del cancro ai polmoni, le cose iniziano a farsi più complicate. E se cerchi di paragonare un aumento della popolazione di aironi con una riduzione della mortalità da cancro ai polmoni si fanno molto più complicate.
Io lo so bene. Sono un veterano di una battaglia molto simile.
Negli anni 80, pensatori influenti come David Pearce, consigliere per l’ambiente della signora Thatcher, gli economisti dell’ambiente hanno tentato di quantificare il valore economico dei beni ambientali. L’obiettivo era di insegnare all’umanità ad abbandonare l’idea che l’ambiente si possa dare per scontato, e a cominciare a trattarlo come una risorsa scarsa. La roccaforte di questa scena era University College London, dove Pearce dirigeva un centro ricerche e un programma di Master. Mi sono iscritto al secondo nel 1992. Il nostro strumento principale era un’estensione dell’analisi costi-benefici, attrezzo ben collaudato dei valutatori dell’era del New Deal. Avevamo tutta una serie di trucchi intelligenti per tradurre i benefici ambientali in dollari o sterline: prezzi edonici, valutazione contingente, metodo dei costi di viaggio. Una volta convertiti in unità monetarie, costi e benefici ambientali potevano essere confrontati con qualunque cosa, rendendo possibile una valutazione rigorosa. O no?
Spostandoci dalle nostre aule londinesi alla pratica, abbiamo scoperto che le cose erano molto più complicate. Anzitutto c’era un grosso problema teorico: cercavamo di emulare i mercati per valutare i benefici ambientali perché, secondo la teoria economica standard, mercati ben funzionanti assegnano ai beni esattamente i prezzi che massimizzano il benessere collettivo. Sfortunatamente, le condizioni matematiche perché questo si verifichi sono molto restrittive, tanto da non verificarsi praticamente mai nella vita reale. Joseph Stiglitz, uno dei miei economisti preferiti, ha vinto un Nobel dimostrando che, rimuovendo una sola condizione (informazione perfetta e simmetrica), le proprietà virtuose dei mercati collassano completamente. In secondo luogo, anche se siamo disposti a un atto di fede nelle fondamenta teoriche, arrivare a quantificare è difficile. Molto. I dati necessari in genere non sono disponibili, ed è molto costoso generarli, quindi molti ricercatori si rifugiavano nei sondaggi di opinione (chiamati “valutazioni contingenti”, che suona più scientifico). Mossa sbagliata: ci siamo impantanati subito nei paradossi di psicologia cognitiva esplorati in dettaglio da Daniel Kahneman e Amos Tversky, che hanno mostrato in modo conclusivo che gli umani non valutano le cose allo stesso modo dei mercati – e hanno vinto un altro Nobel.
In più c’era una situazione politica molto sfavorevole per questo tipo di ricerche. Gli unici soggetti disposti a finanziare generosamente la valutazione ambientale erano le imprese inquinatrici più grandi e aggressive. Un’intera branca della letteratura è fiorita all’ombra del famigerato naufragio della petroliera Exxon Valdez: a Londra studiavamo i papers degli esperti incaricati da Exxon di produrre una valutazione dei danni causati all’ambiente artico da cento milioni di litri di greggio sversati in mare. Questi esperti avevano i mezzi per fare una valutazione vera, ma quelli che li pagavano non erano esattamente neutrali rispetto ai loro risultati. Non deve essere una situazione facile.
Eppure, valutare si doveva. Quindi ci abbiamo provato. E abbiamo scoperto una cosa interessante: con tutti i limiti, facendo un esercizio di valutazione su un progetto arrivi a capirlo molto meglio. Alla fine si ottiene un risultato, e si è in grado di difenderlo. Purtroppo, questo risultato non è mai uno scalare (tipo “questo lago vale 20 milioni di euro”); prende quasi sempre la forma “se realizzi questo progetto guadagnerai A ma perderai B e C”, con A, B e C misurati in unità completamente diverse e irriducibili. Inoltre, gli unici a imparare davvero da una valutazione sono i valutatori: tutti gli altri vedono solo il risultato finale, e non la logica sofisticata che serve per produrlo.
La causa della valutazione come requisito delle opere pubbliche ha fatto progressi innegabili. La valutazione di impatto ambientale, usata in America fino dagli anni 60, è stata resa obbligatoria in Europa per molti progetti pubblici da una direttiva del 1985. Si è investito. Molti consulenti hanno fatto qualche corso improbabile e si sono messi a vendere valutazioni di impatto ambientale. Questo ha favorito l’avvento di una valutazione oggettiva e sorretta dall’evidenza? Non credo. Anche adesso, venticinque anni dopo, ambientalisti e imprese appaltatrici continuano a combattersi in tribunale, ciascuna brandendo la propria valutazione di impatto ambientale, o semplicemente insistendo che l’altra parte ha fatto fare una VIA non imparziale per sostenere la propria posizione (questo è ciò che sta succedendo sul collegamento ad alta velocità Torino-Lione). Questo non significa che la VIA sia inutile: però significa che non è oggettiva. La promessa di valutazione quantitativa e quindi imparziale era illusoria. Sospetto che questo sia non un caso, ma parte della struttura fondamentale della valutazione: valutare, dopotutto, implica valori. Anche il ROI incorpora una serie di valori: in particolare, implica che tutta l’informazione rilevante è contenuta nei segnali di prezzo, per cui se stai facendo soldi vuol dire che stai aumentando il benessere della società.
Sarei curioso di tentare un approccio alternativo alla valutazione: l’emergenza di una comunità che partecipa a un progetto, contribuisce tempo, porta doni. Per esempio, nel corso di un progetto del Consiglio d’Europa che si chiama Edgeryders, ho registrato un breve video introduttivo in inglese. Un membro della nostra comunità lo ha caricato su Universal Subtitles, ha trascritto l’audio in sottotitoli inglesi e li ha tradotti in spagnolo. Due settimane dopo, erano stati tradotti in nove lingue. Cose così non succedono tutti i giorni ai dipendenti pubblici: il nostro piccolo gruppo di eurocrati ne è stato molto felice, ma soprattutto – insieme all’impegno sulla nostra piattaforma online ai continui apprezzamenti su Twitter e ad altre iniziative di comunità come la mappa dell’impegno civile – l’abbiamo preso come un segnale che stavamo facendo qualcosa di buono. Come una valutazione, un voto espresso in tempo-uomo e impegno. Una valutazione di questo tipo non è un’attività eseguita da un valutatore, ma una proprietà emergente del progetto stesso; e quindi rapida, a basso costo, impietosa nei riguardi dei progetti che non riescono a rendere la propria utilità chiara ai cittadini.
Certo, i progetti costruiti intorno a comunità online come Edgeryders o Kublai si prestano particolarmente bene a essere valutati in questo modo – contengono migliaia di ore, donate dai cittadini, di lavoro umano di alta qualità, un’unità di conto naturale per la valutazione. Ma è un criterio che può essere più generalizzabile di quanto sembri. Di recente un amico, che dirige una piccola azienda di software, mi ha stupito con questa considerazione:
Di questi tempi, metà del lavoro di un programmatore consiste nel far crescere e motivare una comunità su Github.
Quindi non è solo un mio errore di prospettiva: in un numero sempre maggiore di ambiti, la complessità dei problemi è diventata ingestibile a meno che non la affronti con gli strumenti dell’intelligenza collettiva, di sciame. Sempre più sono i problemi che possono – e forse devono – essere concepiti in termini di una comunità online che cresce loro intorno. Se questo è vero, quella comunità può essere usata come base di una valutazione. In realtà dovrebbe essere ovvio: non ho mai conosciuto un ecologo o un assistente sociale che pensi che valutare un impatto ambientale o sociale in termini di ROI abbia il minimo senso. Se riusciamo a inventare un percorso teoricamente solido e a basso costo per la valutazione possiamo e dovremmo sbarazzarci del ROI per le attività nonprofit. Non credo ne sentiremo la mancanza.
Ciao, la mia professione è quella del valutatore da 15 anni ormai. Lo premetto perchè il tema che poni mi è molto caro, e l’ho vissuto da diversi punti di vista nella mia vita di cittadino, amministratore per un periodo della mia vita, e professionista che vive di valutazione.
La riflessione che tu proponi credo possa essere arricchita da una domanda, che spesso mi sono fatto: la valutazione è una questione di metodo e di tecnica oppure, come credo, una questione che parte dal metodo perchè sia stabilito e comunicato prima a chi ne è coinvolto a diverso titolo, ma che necessita di ampi processi partecipativi per potere acquisire forza, credibilità, e cittadinanza nella società civile?
Negli ultimi anni ho sviluppato, insieme al gruppo di lavoro del quale faccio parte, una teoria (attraverso la connessione tra metodologia della ricerca sociale applicata a disegni valutativi, informatica e statistica) e una pratica, diventata quotidiana nei progetti/programmi che seguiamo, che va nella direzione di mettere a disposizione, su una piattaforma elettronica condivisa con i finanziatori e la governance operativa di programmi/politiche, un supporto digitale on line che permetta di raccogliere tutte le informazioni economiche e progettuali di una iniziativa complessa diventando nel tempo un grande data base proprio grazie all’impegno condiviso di chi realizza operativamente il progetto/programma dentro quella specifica politica.
Dalle informazioni inserite, si può poi procedere a sviluppare, periodicamente, tutte le analisi economico/statistiche che servono, e ad estrarre grafici, tabelle pivot ecc…che aiutino la governance dell’iniziativa e il finanziatore ad avere a disposizione in tempo reale e con facilità, anche in autonomia, una reportistica dettagliatissima sia ad uso interno che ad uso comunicativo.
I dati inseriti dai protagonisti delle iniziative, su una piattaforma metodologica e di contenuti proposta dal valutatore e condivisa con il committente prima di iniziare, possono poi servire come base per procedere a valutazioni di processo di carattere amministrativo, di utilizzo di beni e servizi avviati e, nel medio periodo successivo alla conclusione delle iniziative stesse, di impatto. A questo fine possono essere utilizzate metodologie anche, dico anche, fortemente spinte sul versante quantitativo/statistico come ad esempio l’analisi controfattuale.
Nel caso della mia esperienza, l’impegno che tu citi alla base della voglia di partecipare da parte di persone che prendono parte ad iniziative innovative (come quelle di cui tu sei testimone e protagonista), è mediato dal fatto che chi inserisce i dati durante tutto il processo, lo fa come parte della sua professione e perchè è inserito in una filiera che lavora al fine di ricevere il finanziamento, privato o pubblico che sia, perchè si riesce a dimostrare che quanto progettato, e posto alla base della richiesta di finanziamento, è stato effettivamente realizzato, e che questo ha prodotto determinati risultati. Quindi, in questo caso, lo stimolo alla partecipazione è di tipo economico.
Ma nulla vieta, che a livello di comunità come Edgeryders (per la quale anche io ho partecipato alla traduzione in italiano del testo che dicevi) lo stimolo possa essere diverso e l’impegno possa consistere invece che nel partecipare ad una traduzione come in quel caso, nell’inserire in modo concordemente formalizzato, dati utili ad un esplicito percorso di monitoraggio finalizzato alla valutazione di quanto si sta facendo.
Il punto fermo è che un sistema di questo tipo, dal mio punto di vista, favorisce e aiuta la motivazione di chi pensa che il monitoraggio e la valutazione possano essere utili al progredire più trasparente possibile di iniziative importanti per le collettività alle quali si rivolgono. La comunità cresce, in questo caso, contribuendo a creare in modo strutturato e formalmente definito, la base dati che sarà poi alla base della valutazione di quanto si è sviluppato. Il tipo di valutazione che si sceglierà di compiere, qualitativa e/o quantitativa che sia e più o meno spinta su versanti di tecnicismo specifici, partirà dalla costruzione comune del data base che nel tempo si sarà risuciti a mettere a disposizione con l’impegno e la costanza di tutti quelli che hanno voluto parteciparvi.
Ho letto con interesse i due pezzi, la riflessione di Cottica e quella di Turbati. Mi ha fatto piacere leggere di valutazione, penso al ragionamento di Cottica, al di fuori dei ‘giri’ che meglio conosco e frequento. Sono, dal 2009 fino al 2013, presidente della Associazione Italiana di Valutazione (www.valutazioneitaliana.it) e sono interessato ovviamente, anche professionalmente, a temi di metodo e di relazione tra metodo ed evaluando. Non voglio fare qui (grandi) rfilessioni ma solo dire che mi piacerebbe che la discussione si allargasse alla associazione attraverso la sua pagina facebook che mi pare il posto più idoneo a questi approfondimenti. Di tutte le questioni poste da Cottica e riprese da Turbati (Renato), quella dell permeabilità tra “fuori” della valutazione e “dentro” la valutazione mi pare di particolare interesse. Lo dico perché quest’anno il congresso AIV (a Bari, il 19 e 20 aprile) si focalizzerà sulla “evidence based evaluation”. Banale, mi è stato detto: tutta la valutazione – i suoi esiti, i suoi risultati, le sue raccomandazioni – deve essere “evidence based”. Certo, ma il punto è “come si fa a produrre delle evidence affidabili, solide e usabili” dai policy maker? Le risposte sono molte e se, tendenzialmente ed in prima battuta, si appoggiano all’utilizzo di logiche e di metodi che convenzionalmente definiamo come “quantitativi” (“hard men do not use soft data”, diceva qualcuno), forse non è solo/proprio così. Discutiamone, io per esempio non lo credo e non lo penso. Allarghiamo questa discussione, in questo sito ma anche dentro e intorno all’AIV. Grazie e (spero) a presto.
Having experienced both sides – evaluation and online community-, sounds like you have a strong case on assessing social value. Very interesting proposal!
Thank you Tiago. I’d like to share the experience of mine in a different context. Who knows…..?
Ciao, volevo segnalare che a questo link http://www.valutazioneitaliana.it/new/attachments/364_CESP%20-%20%20Da%20Trento%202011%20a%20Bari%202012%2010%20aprile%202012%20PER%20SITO.pdf, è appena stato pubblicato un documento da parte del Comitato Esecutivo Soci Professionisti di AIV (Associazione Italiana di Valutazione), al quale ho collaborato come membro e coordinatore. Trattasi di un documento che sintetizza un anno di riflessioni del Comitato, e per la prima volta in Italia, tenta di fare emergere pubblicamente quali sono le questioni fondamentali che riguardano la professione di valutatore, sulle quali lavorare in futuro all’interno dell’Associazione e tra tutti quelli che sono interessati a questa professione. Se ne parlerà a Bari il 19 e 20 aprile, al XV Congresso dell’Associazione Italiana di Valutazione. Se qualcuno fosse interessato, fate un cenno. Vi terrò informati. Ciao.
Molte questioni sono complesse. La dicotomia tecniche qualitative/quantitative è ormai superata in molti contesti, sicuramente nell’ambito dei servizi alla persona. Si va verso una integrazione che spesso aumenta l’esaustività delle informazioni valutative agibili (in più contesti, su più tavoli).
Credo invece che una delle domande cruciali resti quella dell’uso che della valutazione si fa. Pensando ad una valutazione svolta: l’accountability interessa il finanziatore, l’analisi costi/benefici il commitente, l’efficacia l’utente, l’umanizzazione il cittadino … e così via.
Allora io credo che una domanda interessante potrebbe essere: A chi risponde/dovrebbe rispondere la Valutazione? Solo a chi la paga?
Con tutto il rispetto, non considero la dicotomia in questione superata nei contesti che mi interessano. È tecnicamente posssible produrre un ROI; come ho tentato di argomentare, quel numero è concettualmente privo di significato a meno chenon siano verificate tutte le condizioni matematiche di continuità e derivabilità delle funzioni di utilità che assicurano la tenuta dei teoremi fondamentali dell’economia del benessere. Soprattutto, la dicotomia non è superata nei fatti, perché permane (per lo meno in ambito europeo) una specie di ideologia del ROI che finirà per condizionare in modo molto netto le scelte di finanziamento.