Egzamin zawracanie: za algorytmem, który wywołał chaos w klasach A-level
„Nasiona katastrofy politycznej” zasiane w liście wysłanym przez Gavina Williamsona, gdy ogłoszono blokadę w marcu

„Nasiona katastrofy politycznej” zasiane w liście wysłanym przez Gavina Williamsona, gdy ogłoszono blokadę w marcu
Chris J Ratcliffe/Getty Images
Gdy w zeszłym tygodniu wybuchł gniew po wydaniu ocen maturalnych, premier Boris Johnson podkreślił, że wyniki są solidne, dobre i niezawodne dla pracodawców.
Ale zaledwie kilka dni później, po nagłym wycofaniu przez Ofqual kryteriów atrakcyjnych ocen, rząd został zmuszony do żenującego zwrotu, a wyniki mają teraz opierać się na przewidywaniach nauczycieli, a nie kontrowersyjnych algorytmów.
Zautomatyzowany system został wykorzystany w celu uniknięcia tego, co sekretarz edukacji Gavin Williamson określił jako szalejącą inflację ocen w tle pandemii koronawirusa i odwołanych egzaminów. Ale kto wymyślił algorytm, który może kosztować Williamsona jego pracę w gabinecie?
Bezprecedensowe okoliczności
Ziarna katastrofy politycznej zostały zasiane w dniu, w którym weszła w życie blokada, kiedy Williamson ostrzegł w liście do Ofqual, że unikanie inflacji klas jest priorytetem, Czasy raporty.
Ofqual powinien zapewnić, na ile to możliwe, utrzymanie standardów kwalifikacji, a rozkład ocen ma podobny profil jak w poprzednich latach, powiedział Williamson organowi nadzorującemu egzaminy.
Innymi słowy, jak podaje gazeta, pomimo tego, że uczniowie nie zdawali egzaminów, rząd chciał traktować klasę roku 2020 tak, jak w latach poprzednich. A-levels traktowany był jako „złoty standard” systemu edukacji i nie miał być dewaluowany.
Ale zlecając organowi egzaminacyjnemu wykupienie polisy ubezpieczeniowej w postaci jego niefortunnego algorytmu, chęć ograniczenia inflacji ocen poszła za daleko, dodaje BBC .
Co poszło nie tak?
Na prośbę sekretarza oświaty statystycy regulatora przystąpili do pracyopracowanie systemu wystawiania ocento nie pozwoliło na podniesienie wyników egzaminów w porównaniu z poprzednimi latami, wyjaśnia Jo-Anne Baird, profesor oceny edukacyjnej na Uniwersytecie Oksfordzkim i członek komitetu doradczego Ofqual.
Problem polegał na tym, że w przypadku klasy Covid troska o utrzymanie standardów kosztowała według BBC zbyt wysoką cenę.
Łącznie 39% wyników na poziomie A opublikowanych w zeszły czwartek zostało obniżonych , a uczniowie z obszarów o niekorzystnych warunkach ucierpieli nieproporcjonalnie najbardziej, mówi Technologia NS , oddział New Statesman.
Algorytm przewidywał oceny po podaniu różnych bitów danych.
Pierwsza to przewidywana ocena nauczyciela dla każdego ucznia na podstawie jego wyników w klasie i próbnych egzaminów, wyjaśnia strona z wiadomościami. Jednak samo to uznano za niewystarczające, dlatego nauczyciele zostali poproszeni o uszeregowanie każdego ucznia od najwyższego do najniższego pod względem oczekiwanej oceny.
Szkoły rzuciły się w wir oceniania, dodaje The Times, a dyrektorzy działów prowadzą spotkania, podczas których nauczyciele dyskutują o swoich uczniach.
Ale, jak pisze gazeta, w systemie Ofqual był haczyk. A raport wydany przez regulatora w zeszłym tygodniu ujawnił, że stopnie przydzielane przez nauczycieli miały pierwszeństwo tylko w klasach liczących mniej niż 15 uczniów – system, który faworyzował szkoły prywatne z mniejszymi klasami.
Z kolei w przypadku uczniów w większych szkołach na oceny znacznie większy wpływ miały historyczne wyniki szkoły i ranking nauczyciela niż przewidywane oceny, dodaje NS Tech.
Ta rozbieżność odpowiada za nieproporcjonalną liczbę uczniów ze szkół, które zwykle nie wysyłają uczniów na najlepsze brytyjskie uniwersytety, które agresywnie obniżyły przewidywane oceny.
Czy możliwy był bardziej sprawiedliwy system?
Według Czasy redaktor naukowy Tom Whipple, tworzenie sprawiedliwego algorytmu jest jak próba rozgotowania jajka – to znaczy niemożliwe.
Problem, pisze Whipple, polega na tym, że kiedy ludzie ekstrapolują dane na temat populacji, aby dokonywać przewidywań dotyczących jednostek… można skończyć na popełnieniu wszelkiego rodzaju sprzecznych z intuicją, zaskakujących, a czasem absurdalnych błędów.
To właśnie poszło nie tak z algorytmem opartym tak mocno na historycznych wynikach szkoły, argumentuje. Oczywiście będzie to niesprawiedliwe w stosunku do wyjątkowych dzieci w niewyjątkowych szkołach, a odwrotnie, będzie zbyt uprzejme dla niewyjątkowych w wyjątkowych szkołach.
Sam Freedman, prezes organizacji pozarządowej Education Partnerships Group, zgadza się z tym werdyktem. Algorytm nieuchronnie miał uderzyć w uczniów odstających, którzy byli na szczycie rozkładu w szkołach, które w przeszłości nie miały wielu dobrych uczniów, tweety .
Ale, dodaje Freedman, decyzja rządu, by wykorzystywać tylko przewidywane stopnie nauczyciela, jest również niesprawiedliwa w stosunku do uczniów w szkołach, którzy oceniali ostrożnie, niesprawiedliwa w stosunku do kohort z przeszłości/przyszłości i tworzenia loterii dla miejsc uniwersyteckich.
A dla niektórych studentów zwrot o 180 stopni może nadejść za późno, ponieważ wiele uniwersytetów twierdzi, że kursy na następny rok akademicki są już pełne.
Jeśli chodzi o algorytm, statystyki są z definicji sposobem przedstawiania wielu liczb w mniejszej liczbie, mówi Whipple.
Jest to niezwykle przydatne, ale musimy wiedzieć, co to oznacza: zapominanie o jednostce.