Inversione dell'esame: dietro l'algoritmo che ha innescato il caos dei voti di livello A
I 'semi del disastro politico' seminati nella lettera inviata da Gavin Williamson all'annuncio del blocco a marzo
I 'semi del disastro politico' seminati nella lettera inviata da Gavin Williamson all'annuncio del blocco a marzo
Chris J Ratcliffe/Getty Images
Mentre la rabbia è scoppiata in seguito al rilascio dei voti di livello A la scorsa settimana, il primo ministro Boris Johnson ha insistito sul fatto che i risultati fossero solidi, buoni e affidabili per i datori di lavoro.
Ma pochi giorni dopo, a seguito dell'improvviso ritiro da parte di Ofqual dei criteri per appellarsi ai voti, il governo è stato costretto a un'imbarazzante inversione di marcia, con risultati che ora si basano sulle previsioni degli insegnanti piuttosto che su quelle di un controverso algoritmo.
Il sistema automatizzato è stato utilizzato nel tentativo di evitare ciò che il segretario all'Istruzione Gavin Williamson ha descritto come un'inflazione dilagante nel contesto della pandemia di coronavirus e degli esami annullati. Ma chi ha inventato l'algoritmo, che potrebbe finire per costare a Williamson il suo lavoro di gabinetto?
Circostanze senza precedenti
I semi del disastro politico sono stati gettati il giorno in cui è entrato in vigore il blocco, quando Williamson ha avvertito in una lettera a Ofqual che evitare l'inflazione di grado era una priorità, I tempi rapporti.
Ofqual dovrebbe garantire, per quanto possibile, che gli standard di qualificazione siano mantenuti e che la distribuzione dei voti segua un profilo simile a quello degli anni precedenti, ha detto Williamson al regolatore degli esami.
In altre parole, dice il quotidiano, nonostante gli alunni non sostengano gli esami, il governo ha voluto trattare la classe del 2020 come quella degli anni precedenti. I livelli A erano trattati come il 'gold standard' del sistema educativo e non dovevano essere svalutati.
Ma nel commissionare al regolatore degli esami di stipulare una polizza assicurativa sotto forma del suo sfortunato algoritmo, questo desiderio di limitare l'inflazione di grado è andato troppo oltre, aggiunge il BBC .
Che cosa è andato storto?
Su richiesta del segretario all'istruzione, gli statistici dell'autorità di regolamentazione si sono attivatiideare un sistema per la consegna dei voticiò non ha permesso di aumentare i risultati degli esami rispetto agli anni precedenti, spiega Jo-Anne Baird, professore di valutazione educativa all'Università di Oxford e membro del comitato consultivo di Ofqual.
Il problema era che nel caso della classe Covid, la preoccupazione per il mantenimento degli standard ha avuto un prezzo troppo alto, secondo la BBC.
Un totale di Il 39% dei risultati di livello A pubblicati giovedì scorso è stato declassato , e gli alunni delle aree svantaggiate sono stati i più colpiti in modo sproporzionato, afferma NS Tech , una divisione del New Statesman.
L'algoritmo prevedeva i voti dopo aver ricevuto vari bit di dati.
Il primo era il voto previsto dall'insegnante per ogni studente in base al rendimento in classe e ai finti esami, spiega il sito di notizie. Ma questo è stato ritenuto di per sé insufficiente, quindi agli insegnanti è stato anche chiesto di classificare ogni studente dal più alto al più basso in base al voto previsto.
Le scuole si sono lanciate nel compito di valutazione, aggiunge The Times, con i capi dipartimento che guidavano riunioni in cui gli insegnanti discutevano il caso per i loro studenti.
Ma, dice il giornale, c'era un problema nel sistema Ofqual. UN rapporto rilasciato dal regolatore la scorsa settimana ha rivelato che i voti assegnati dagli insegnanti avevano la priorità solo nelle classi con meno di 15 studenti, un sistema che ha favorito le scuole private con classi più piccole.
Al contrario, per gli alunni delle scuole più grandi, i voti sono stati molto più influenzati dalle prestazioni storiche della scuola e dalla classifica del loro insegnante rispetto ai voti previsti, aggiunge NS Tech.
Questa discrepanza spiega il numero sproporzionato di studenti delle scuole che di solito non mandano gli alunni alle migliori università del Regno Unito che hanno visto i loro voti previsti declassati in modo aggressivo.
Era possibile un sistema più equo?
Secondo I tempi ' editore scientifico Tom Whipple, creare un algoritmo equo è come cercare di sbollentare un uovo, cioè impossibile.
Il problema, scrive Whipple, è che quando le persone estrapolano dai dati della popolazione per fare previsioni sugli individui... si può finire per commettere ogni sorta di errori controintuitivi, sorprendenti e talvolta assurdi.
Questo è ciò che è andato storto con un algoritmo basato così pesantemente sui risultati storici di una scuola, sostiene. Chiaramente, questo sarà ingiusto nei confronti dei bambini eccezionali nelle scuole non eccezionali, mentre, al contrario, sarà eccessivamente gentile nei confronti di quelli non eccezionali nelle scuole eccezionali.
Sam Freedman, CEO dell'organizzazione non governativa Education Partnerships Group, è d'accordo con questo verdetto. L'algoritmo avrebbe inevitabilmente colpito gli studenti anomali che erano in cima alla distribuzione nelle scuole che non hanno avuto molti alti risultati in passato, ha tweet .
Ma, aggiunge Freedman, la decisione del governo di utilizzare solo i voti previsti dagli insegnanti è ingiusta anche per gli alunni delle scuole che hanno valutato con cautela, ingiusta per le coorti passate/future e crea[d] una lotteria per i posti uni.
E l'inversione di marcia potrebbe arrivare troppo tardi per alcuni studenti, con molte università che affermano che i corsi per il prossimo anno accademico sono già pieni.
Per quanto riguarda l'algoritmo, le statistiche sono per definizione un modo di rappresentare molti numeri in un numero inferiore, afferma Whipple.
Questo è tremendamente utile, ma dobbiamo sapere cosa significa: dimenticare l'individuo.
