Home - i/stanze - valutare per capire - PISA 2012: siamo migliorati, anzi no...

di Bruno Lositovalutare per capire

18/12/2013

PISA 2012: siamo migliorati, anzi no...

Il 3 dicembre l’OCSE ha presentato i risultati di PISA 2012, quinta rilevazione realizzata nell’ambito del programma. Nello stesso giorno, a Roma, l’Invalsi ha presentato il rapporto nazionale italiano. Il rapporto internazionale è diviso in quattro volumi, tre dei quali sono già disponibili sul sito dell’OCSE. Il rapporto nazionale, curato dall’Invalsi, è disponibile sul sito Web dell’Istituto.
Si tratta di rapporti molto ricchi, soprattutto quello internazionale, che affrontano una pluralità di aspetti relativi ai sistemi di istruzione e alle competenze degli studenti quindicenni dei paesi partecipanti al programma, sui quali sarà necessario e utile tornare con maggiore puntualità.

L’aspetto che vorrei affrontare preliminarmente, però, è come l’Invalsi ha presentato i risultati di PISA 2012, perché da questa presentazione hanno tratto lo spunto i vari commentatori che in modo più o meno estemporaneo, o più o meno approfondito, li hanno commentati sulla stampa nazionale.
Dico subito che la presentazione fatta dall’Invalsi lascia quanto meno perplessi. Per almeno tre motivi. Il primo è che dei risultati di PISA 2012 si è parlato in realtà abbastanza poco. Il secondo è che l’obiettivo principale della presentazione (il fascicolo distribuito è pubblicato sul Web) sembra piuttosto essere quello di dimostrare, a partire dal confronto con i dati PISA, la validità delle rilevazioni effettuate a livello nazionale dall’Invalsi. Il terzo è che nella presentazione dei dati vengono compiuti quelli che – se non si conoscesse il livello di competenza dei ricercatori dell’Istituto – potrebbero apparire come gravi errori di interpretazione, se non di manipolazione dei dati (il termine è forse troppo forte, ma non riesco a trovarne un altro più appropriato).
Vorrei presentare le motivazioni che mi portano a dare questo giudizio.

Della ricchezza dei risultati della comparazione internazionale, nella presentazione c’è molto poco, soprattutto se si considera che PISA è - appunto - una indagine comparativa internazionale, volta a offrire elementi di confronto tra i diversi sistemi di istruzione, che possano essere utilizzati per orientare le politiche dell’istruzione nei diversi paese. Di questi risultati, poco è detto nella presentazione, in cui - al contrario - è dedicato più spazio alla comparazione interna al nostro paese. Questo a ulteriore dimostrazione di un uso non del tutto corretto che di PISA facciamo in Italia, in cui è nettamente prevalente l’interesse per la comparazione interna, piuttosto che per quella internazionale. Di questo uso in parte non corretto sembrerebbe essere consapevole l’Invalsi, quando nella presentazione si sottolinea che dal 2015 non “sarà più assicurato per tutte le regioni il costoso sovra-campionamento adottato nel 2006 e nel 2009”. Forse, ci si sarebbe aspettata una riflessione sull’utilità di questo sovra-campionamento piuttosto che dei suoi costi, ma tant’è.

È forse questo il motivo che spiega perché tanta attenzione sia dedicata al confronto tra dati PISA e dati delle rilevazioni Invalsi: a dimostrazione che le rilevazioni Invalsi, grazie alla comparabilità con “il benchmark internazionale rappresentato da PISA” sono valide e attendibili, a dispetto delle voci critiche che in questi anni si sono indirizzate verso le prove utilizzate nelle rilevazioni soprattutto in riferimento alla loro validità (non entro qui nel merito della questione e degli altri aspetti delle rilevazioni Invalsi, su cui si è sviluppato di più il dibattito1). Di qui una conseguenza, quasi ovvia: non abbiamo più bisogno di PISA per analizzare le differenze interne al nostro sistema di istruzione, bastano le rilevazioni Invalsi.
Anche nel rapporto nazionale uno specifico spazio è dedicato alla discussione di questo aspetto. Tra l’altro, a proposito di questa comparabilità, c’è un dato su cui sarebbe opportuno andare più in profondità. In PISA 2012, come già nelle rilevazioni precedenti, la varianza tra scuole è molto più ampia della varianza all’interno delle scuole (e superiore alla media OCSE). Questo a indicare che le differenze rilevabili tra i nostri studenti sono in larga misura associabili alle differenze di sistema (divari territoriali, indirizzi di studio) che caratterizzano il nostro sistema di istruzione. Nelle tabelle relative alle rilevazioni nazionali e inserite nella presentazione dei risultati di PISA 2012, risulta nettamente più alta la varianza all’interno delle scuole. Il dato riportato, per altro, si riferisce ai soli studenti 15enni regolari - e che, quindi, presumibilmente frequentano il secondo anno della scuola secondaria di secondo grado. Credo che questi dati vadano analizzati e letti con maggiore attenzione, perché indicano due situazioni abbastanza diverse, che implicano interpretazioni altrettanto diverse, in grado di sollecitare differenti scelte politiche (sempre ammesso che nel nostro paese le politiche dell’istruzione vogliano effettivamente tenere conto delle evidenze empiriche che emergono dalla ricerca).

Ma l’aspetto che colpisce di più, al di là di una certa difficoltà di lettura di una parte delle tabelle inserite nella presentazione sintetica (che per altro nelle loro intitolazioni e nelle loro legende utilizzano un linguaggio di tipo econometrico, diverso da quello che fino a oggi era stato utilizzato dall’Invalsi), è il modo in cui alcuni dati vengono presentati.
Due esempi in particolare. Una delle affermazioni ricorrenti nella presentazione dei risultati è che l’Italia è in costante miglioramento dal 2006, al 2009 al 2012. Per quanto riguarda il confronto 2009-2012 si dice che: “Rispetto al 2009 la variazione è positiva, sia in assoluto sia nel confronto con la media OCSE”. Di qui l’affermazione riportata da quasi tutti gli articoli sulla stampa nazionale che il rendimento dei nostri studenti è, seppure di poco, migliorato ancora nel 2012, dopo il grande miglioramento registrato dal 2006 al 2009. Peccato che subito dopo si aggiunga: “L’incremento è però piccolo e statisticamente non significativo”. Dietro questa affermazione di carattere tecnico e apparentemente neutrale si nasconde, però, il fatto che se le differenze non sono statisticamente significative, non sono tali. Le differenze di punteggio rilevate possono dipendere da altri fattori e non da un effettivo miglioramento, anzi è probabile che dipendano dal passaggio dalle misure campionarie (dai risultati del campione) alle stime dei valori riferiti alla popolazione. Cioè al cosiddetto errore standard. In realtà, quindi, dal 2009 al 2012 non è riscontrabile alcuna differenza nel rendimento dei nostri studenti.
Potrebbe essere una svista, ma poi c’è un altro aspetto che sembra smentire una interpretazione di questo genere. Nelle tabelle in cui si presentano i risultati della comparazione internazionale tra i Paesi e in confronto con la media OCSE, l’Italia compare due volte, una volta come dato nazionale e una volta come dato relativo ai soli studenti quindicenni "regolari": il dato nazionale è sotto la media OCSE, quello dei soli "regolari" si colloca al di sopra. Nessuna obiezione se questa comparazione viene operata a livello nazionale. Quello che non è legittimo è inserire il dato dei soli studenti regolari nelle tabelle in cui questi risultati vengono comparati con quelli degli altri Paesi. Poiché il disegno di campionamento di PISA è lo stesso per tutti i Paesi, anche in tutti gli altri, ovviamente, ci sono studenti regolari e studenti ‘non regolari’ ed è presumibile che anche in tutti gli altri il risultato degli studenti ‘regolari’ sia migliore. Se tutti i Paesi disaggregassero i loro dati per regolari e irregolari e volessero anch’essi essere contati due volte nelle tabelle, non sappiamo come si collocherebbero i nostri studenti regolari. In realtà, è come se l’Invalsi avesse deciso di eliminare una quota degli studenti con i punteggi più bassi, facendo lievitare così la media dei restanti. Ripeto, nessun problema se si volesse analizzare questo aspetto a livello nazionale, i problemi nascono quando si fa valere surrettiziamente questa differenza nelle comparazioni internazionali.

Questi due esempi di modalità di presentazione dei dati sembrano, purtroppo, coerenti tra loro e funzionali all’intento di presentare i nostri dati sotto una luce più positiva. La mia sarà pure una interpretazione malevola, sarei felice di essere smentito, anche perché negli ultimi anni lo sforzo di trasparenza operato dall’Invalsi era stato notevole.

Potrebbe anche sembrare che si tratti di alterazioni di poco conto. Ma uno dei compiti dell’Invalsi, sul quale molto spesso i suoi stessi dirigenti insistono, è quello della diffusione di una solida cultura della valutazione. Non mi sembra che questo modo di presentare i risultati di PISA 2012, almeno negli esempi che ho riportato, vada in questa direzione.

Note

1 Vedi, al riguardo C. Corsini, B. Losito, Le rilevazioni Invalsi: a che cosa servono?, Cadmo XXI, 2, 2013. pp. 55-76.

Di che cosa parliamo

All’espandersi delle attività valutative della scuola e delle università si affianca un senso sempre più diffuso di incertezza, di insoddisfazione, di insofferenza, in larga misura generato dall’alone di tipo ideologico che intorno alla valutazione è stato costruito.
Non  sempre le critiche e le resistenze nei confronti delle attività valutative risultano giustificate, al contrario, a volte nascondono criteri e procedure di valutazione degli studenti certamente non migliori delle prove utilizzate nelle rilevazioni nazionali.
È per questo che è necessario riaprire un dibattito pubblico sulla valutazione in grado di coinvolgere decisori politici, scuole, università e comunità scientifica.

L'autore

Insegno Pedagogia sperimentale e Docimologia all’Università Roma Tre – Dipartimento di Scienze della formazione.
Sono stato ricercatore presso l’Invalsi e insegnante di Scuola secondaria di II grado. Mi occupo di valutazione dei sistemi di istruzione e delle scuole, con un interesse particolare per la valutazione delle competenze chiave e di cittadinanza.