I risultati del Programme for International Student Assessment (universalmente noto con il suo acronimo: PISA) sono arrivati puntuali. Agli studenti italiani è toccato nuovamente sentirsi dire che non sanno leggere, contare, non sanno nulla di scienze. Accade dal 2000, anno di nascita del PISA. Da allora ogni tre anni gli studenti italiani per un giorno diventano gli zimbelli d’Europa. Poi l’eco si esaurisce, ma lascia strascichi, critiche e buoni propositi. Il ministro dell'Istruzione Lorenzo Fioramonti ha commentato: “Sono dati che ci preoccupano, non perché siano diversi da quelli di un anno fa ma perché sono molto peggio rispetto a quelli di 20 anni fa”. E ha promesso più investimenti: speriamo.

I dati PISA come base per progettare riforme scolastiche

Gli organizzatori asseriscono che i test fotografano la situazione e indicano quali politiche sono necessarie perché i giovani acquisiscano le competenze utili per primeggiare nei prossimi anni. I detrattori invece hanno un'opinione opposta: semplicemente bisognerebbe evitare di partecipare alla rilevazione. Detto in maniera chiara e semplice.

Già alla precedente tornata, tre anni fa, più di 80 personalità tra esperti di educazione, matematici e statistici soprattutto USA e UK, avevano affidato a una lettera aperta le loro critiche molto puntuali a tutto il programma (OECD and Pisa tests are damaging education worldwide - academics, The Guardian 2014). David Spiegelhalter, insigne statistico britannico, dalla rete radiofonica della BBC e dal sito della Royal Statistical Society (The problems with PISA statistical methods) aveva criticato il metodo statistico del PISA, in particolare aveva puntato il dito contro i “plausible values”: gli studenti che partecipano al test possono non rispondere a tutte le domande oppure possono non ricevere il test per intero; in questi casi PISA riempie queste celle lasciate vuote con "valori plausibili", calcolati a loro volta tramite dati campionari. Non sono una novità nel mondo della statistica inferenziale ma nel caso del PISA la loro base sembra essere debole: i valori plausibili potrebbero avere una variabilità molto alta che dovrebbe indurre a utilizzarli con più prudenza (John Micklewright et al 2012, Durrant GB et al 2017, Brown G et al 2006).

Chi contesta il PISA test

Anche la pubblicazione degli ultimi risultati è stata accompagnata da molte critiche in Norvegia, Svezia, Canada. Negli USA il Washington Post ha pubblicato un lungo articolo di Yong Zhao, docente di scienze dell'educazione, dal titolo inequivocabile "How PISA created an illusion of education quality and marketed it to the world". Secondo Zhao, il test PISA è simile ad altri programmi già disponibili da anni ma l'OCSE ha saputo comunicare il proprio prodotto in modo più efficace: promette di dare risposta al sentimento di ansia che genitori e politici provano verso il futuro della nuove generazioni. PISA garantisce di poter misurare se i giovani abbiano gli strumenti adeguati per affrontare le sfide che la società e il mondo del lavoro riserveranno loro negli anni successivi. Zhao è scettico, "non vi sono prove che giustifichino, e tanto meno dimostrino, l'affermazione secondo cui PISA misura effettivamente le competenze essenziali per la vita nelle economie moderne":  ne segue che anche i dibattiti sui risultati rischiano portare fuori strada perché possono generare scelte fondate su premesse sbagliate.

Sulla stessa lunghezza d'onda Svein Sjøberg, dell'università di Oslo, che - già molto critico nel 2015 (Pisa testing A global educational race?) - ora definisce PISA "una peste da sradicare" e chiede al suo paese, la Svezia, di non partecipare più alle rilevazioni. Secondo Sjøberg ha solo portato a un uso più massiccio di test, privatizzazioni nel settore scolastico e sfiducia nel corpo insegnanti.

Quali azioni suggerisce PISA

Analizzando ciò che correla con buoni risultati, Sjøberg nota che non sembrano influire le risorse a disposizione delle singole scuole, la spesa pubblica, i salari degli insegnanti, la dimensione della classe (PISA 2018 Vol II pag 106), il numero di ore di insegnamento. Addirittura i buoni risultati nelle scienze non sono correlati con un approccio sperimentale dell'insegnamento delle materie scientifiche. Anzi i buoni risultati sono correlati al disinteresse verso le materie: è il caso degli studenti finlandesi che hanno ottimi punteggi in ambito scientifico ma dichiarano scarso interesse verso la scienza. “Uno strano risultato”, nota polemico Sjøberg. Oltre a questo Sjøberg denuncia anche un potenziale conflitto di interessi: nel board di PISA siedono rappresentanti di aziende che propongono al servizio pubblico programmi per aumentare il proprio punteggio nei test PISA.

Cosa misurano i dati PISA

Il programma dichiara di poter dare indicazioni sul sistema scolastico. Secondi i critici, invece, PISA è in grado solo di rilevare le differenze socioeconomiche, le quali poi determinano la differenza nelle prestazioni degli studenti. Analizzando i dati per l'Italia si può notare che la curva dei punteggi PISA per nord, centro, sud e isole è quasi perfettamente sovrapponibile alla curva che si ottiene mettendo in fila i rispettivi PIL. Mostrare una correlazione tra situazione economica e performance scolastica è un risultato che conferma teorie ormai consolidate. OSCE però utilizza i risultati PISA, spiega Sjøberg, per spingere gli stati non a colmare le disuguaglianze sociali ma a intervenire sul sistema scolastico in modo da aumentare le competenze che PISA ritiene fondamentali e garantirsi così un aumento del PIL. Una soluzione semplice, matematica. Però chi la propone sembra scambiare gli effetti per la causa.

Come sta messa l'Italia? (Veramente)

Un'ultima questione riguarda il dato secco, il numero che da solo racchiude la valutazione del sistema osservato. Per l'Italia 476 (lettura), 487 (matematica) e 468 (scienze), sotto la media OCSE, rispettivamente: 487, 489, 489. E rispetto alle economie di riferimento? Di seguito sono affiancati i risultati dell'Italia con quelli di Francia, Germania e Israele (c'è un motivo).

Figura 1. Il grafico a linee rappresenta l'andamento del punteggio nel tempo. Sulla linea orizzonatale la posizione dei paesi all'interno dell'intervallo compreso tra il punteggio minimo e massimo nella classifica del 2018.

Come si può notare le differenze sono minime, inoltre secondo Sjøberg e Spiegelhalter, l'intervallo di confidenza del punteggio PISA può essere anche di 50 punti (da -25 a +25): una incertezza che impedisce giudizi netti. E' quindi davvero legittimo valutare un sistema scolastico osservando queste curve? Israele come dovrebbe riformare il proprio sistema di istruzione? Il paragone non è casuale. Da anni Israele è tra i paesi col più alto numero di bandi competitivi ERC vinti da giovani ricercatori: lo scostamento tra quanto osservato da PISA nella scuola secondaria israeliana e gli ottimi risultati in ambito scientifico ottenuti successivamente incuriosisce e andrebbe indagato. Si può comunque concludere che c'è speranza anche per gli asini.

Questa è solo una prima e molto parziale lettura dei dati del rapporto 2019, ne seguiranno altre che possano entrare tra le pieghe delle decine di indicatori. Si è qui tralasciata la critica più radicale: i sistemi scolastici non possono ridursi a produrre lavoratori competenti. La sfida educativa è più complessa.