Изпитен обратен завой: зад алгоритъма, който предизвика хаос в оценките на A-level
„Семена на политическото бедствие“, посято в писмо, изпратено от Гавин Уилямсън, след като блокирането беше обявено през март
„Семена на политическото бедствие“, посято в писмо, изпратено от Гавин Уилямсън, след като блокирането беше обявено през март
Крис Джей Ратклиф/Гети Имиджис
Тъй като гневът избухна след публикуването на оценките за ниво А миналата седмица, премиерът Борис Джонсън настоя, че резултатите са стабилни, добри и надеждни за работодателите.
Но само дни по-късно, след внезапното оттегляне от Ofqual на критериите за обжалване на оценките, правителството беше принудено да направи смущаващ обратен завой, като резултатите сега трябва да се базират на прогнозите на учителите, а не на тези на противоречив алгоритъм.
Автоматизираната система беше използвана в опит да се избегне това, което министърът на образованието Гавин Уилямсън описа като буйна инфлация на оценките на фона на пандемията на коронавирус и отменените изпити. Но кой измисли алгоритъма, който в крайна сметка може да струва на Уилямсън работата му в кабинета?
Безпрецедентни обстоятелства
Семената на катастрофата на политиката бяха посяти в деня, в който блокирането влезе в сила, когато Уилямсън предупреди в писмо до Ofqual, че избягването на инфлацията на рейтинга е приоритет, Времената доклади.
Ofqual трябва да гарантира, доколкото е възможно, че квалификационните стандарти се поддържат и разпределението на оценките следва подобен профил на този през предишни години, каза Уилямсън на регулатора на изпитите.
С други думи, пише вестникът, въпреки факта, че учениците не се явяват на изпити, правителството е искало да третира класа 2020 като този от предишни години. A-нивата бяха третирани като „златен стандарт“ на образователната система и не трябваше да бъдат обезценени.
Но при възлагането на регулатора на изпитите да сключи застрахователна полица под формата на своя злополучен алгоритъм, това желание за ограничаване на инфлацията на оценките отиде твърде далеч, добавя Би Би Си .
Какво се обърка?
По искане на образователния секретар се заеха статистиците на регулатораразработване на система за раздаване на оценкитова не позволи на резултатите от изпитите да се повишат спрямо предишни години, обяснява Джо-Ан Бейрд, професор по образователна оценка в Оксфордския университет и член на консултативния комитет на Ofqual.
Проблемът беше, че в случая с класа Covid, загрижеността за поддържането на стандартите беше на твърде висока цена, според BBC.
Общо 39% от резултатите от A-level, публикувани миналия четвъртък, бяха понижени , а учениците в райони в неравностойно положение са били непропорционално засегнати най-тежко, казва NS Tech , подразделение на New Statesman.
Алгоритъмът прогнозира оценки след подаване на различни битове данни.
Първият беше прогнозната оценка на учителя за всеки ученик въз основа на представянето им в клас и пробните изпити, обяснява новинарският сайт. Но това се считаше за недостатъчно само по себе си, така че учителите също бяха помолени да класират всеки ученик от най-висок до най-нисък по отношение на очакваната оценка.
Училищата се хвърлиха в задачата за оценяване, добавя The Times, като ръководителите на отдели водеха срещи, на които учителите аргументираха случая за своите ученици.
Но, казва вестникът, имаше уловка в системата Ofqual. А доклад публикувано от регулатора миналата седмица, разкри, че оценките на учителите са били с приоритет само в класове с по-малко от 15 ученици - система, която предпочита частни училища с по-малки класове.
За разлика от тях, за учениците в по-големите училища оценките са били много по-влияни от историческото представяне на училището и класирането на техния учител, отколкото техните прогнозирани оценки, добавя NS Tech.
Това несъответствие обяснява непропорционалния брой студенти от училища, които обикновено не изпращат ученици в най-добрите университети в Обединеното кралство, за които прогнозираните им оценки са агресивно понижени.
Възможна ли е по-справедлива система?
Според Времената “ Научният редактор Том Уипъл, да направиш справедлив алгоритъм е като да се опитваш да развариш яйце – тоест невъзможно.
Проблемът, пише Уипъл, е, че когато хората екстраполират от данни за населението, за да правят прогнози за индивиди... в крайна сметка можете да направите всякакви противоинтуитивни, изненадващи и понякога абсурдни грешки.
Това се обърка с алгоритъм, базиран толкова силно на историческите резултати на училище, твърди той. Ясно е, че това ще бъде несправедливо към изключителните деца в неизключителни училища, докато обратното, ще бъде прекалено любезно към неизключителни деца в изключителни училища.
Сам Фрийдман, главен изпълнителен директор на неправителствената организация Education Partnerships Group, е съгласен с тази присъда. Алгоритъмът неизбежно щеше да удари извънредни ученици, които бяха на върха на разпределението в училища, които не са имали много добри резултати в миналото, той туитове .
Но, добавя Фридман, решението на правителството да използва само прогнозираните оценки на учителите също е несправедливо по отношение на учениците в училищата, които оценяват предпазливо, несправедливо за минали/бъдещи кохорти и създават лотария за места в университета.
А обратният завой може да дойде твърде късно за някои студенти, като много университети твърдят, че курсовете за следващата академична година вече са пълни.
Що се отнася до алгоритъма, статистиката по дефиниция е начин за представяне на много числа в по-малко числа, казва Уипъл.
Това е изключително полезно, но трябва да знаем какво означава: да забравим за индивида.
