O. Botlík: Tajemná „analýza z Cermatu“ byla konečně zveřejněna – díl II.

V prosinci 2019 byla zveřejněna analýza výsledků žáků v maturitních testech z matematiky. Využiji ji k tomu, abych naznačil, jak by měl Cermat informovat veřejnost o úspěšnosti maturantů při řešení jednotlivých úloh. Přitom vysvětlím, k čemu slouží prvotní maturitní data, jež ministerstvo školství dosud nezveřejnilo, ačkoli zákonná lhůta uplynula již 17. srpna 2019. Připravilo se tím o hodnotné aktuální argumenty na podporu svých záměrů s maturitní zkouškou z matematiky.

Oldřich Botlík (eduin.cz)

Má veřejnost stejné informace jako ministr? 

Po nástupu nové ředitelky Cermatu začala veřejnost dostávat třeba diagramy o trvale klesajícím zájmu maturovat z matematiky, o vývoji neúspěšnosti v testech nebo údaje o celkových výsledcích jednotlivých skupin škol. Cermat je ve své analýze uvedl znovu.

Některé jiné informace nemá veřejnost ani ministr. Naprosté mlčení zachovává Cermat ohledně toho, co přesně každá úloha zjišťuje a proč je to důležité. Bývá problém se na tom shodnout. Nikdo – prý ani Cermat – také netuší, jaké jsou nejčetnější chybné odpovědi u úloh, v nichž maturanti odpovídají číslem, a jak často je žáci uvádějí. Takové informace mají přitom zásadní význam pro učitele, aby mohli zlepšovat svou výuku.

Mnohem skoupější k veřejnosti než k ministrovi je Cermat při informování o výsledcích jednotlivých testových úloh a podúloh. Práci s těmito informacemi neusnadňuje veřejnosti ničím. Například u výsledků úlohy typu multiple-choice (výběr jediné správné z položek A až E) si musí uživatel sám dohledat v klíči správných odpovědí, která položka je správná. Cermat přitom takovou informaci v datech určitě má, ale vypustil ji. Proč asi?

Ilustrace na konkrétní úloze 

Vyjděme třeba z informací o výsledcích podúlohy 3.2 maturitního testu „Jaro 2018“, které analýza uvádí na straně 13.

Pro Cermat je typické, že ani ministrovi školství neposkytl analogické výsledky podúlohy 3.1, ačkoli je vcelku nasnadě, že představují přirozený kontext pro výsledky podúlohy 3.2. Vyžádal si je ministr dodatečně? Vzorový postup řešení u této úlohy chybí – Cermat poprvé zveřejnil vzorová řešení až v roce 2019. U podúlohy 3.1 je postup snadný (spočítají se příslušné dílky s výsledkem 5:8), zatímco u podúlohy 3.2 už postup může být pro nematematiky obtížnější (z rovnice sestavené v podúloze 3.1 se vyjádří m; vyjde m = 5/7; z toho je už umístění obrazu čísla 1=7/7 zřejmé).

Celá úloha 3 zjišťuje, zda žáci rozumějí pojmu „proměnná“, dokážou algebraickými prostředky zacházet s podíly dvou malých přirozených čísel a chápou vztah mezi takovými zlomky a jejich obrazem na číselné ose. Ačkoli jde o naprosté základy (úloha byla zařazena jako tzv. rozjížděcí), je z dat zřejmé, že tyto výsledky matematického vzdělávání českých žáků za mnoho nestojí.

Agregovaná a prvotní data – co chybí 

Agregovaná data, která Cermat zveřejňuje v uživatelsky nevstřícné podobě, jsou navíc – jak ukážu níže – zbytečně chudá. Anonymizovaná prvotní data z maturitních testů z matematiky zatím nezveřejnil, ačkoli analogická data z jednotných přijímacích zkoušek zpřístupňuje rutinně a na základě žádosti již zveřejnil rovněž anonymizovaná prvotní data z maturitních testů a písemných prací z českého jazyka a literatury. Ukážu dále, k čemu jsou prvotní data potřebná a užitečná.

Nejprve se ovšem vraťme k datům agregovaným. Ministr získal informace o úspěšnosti úlohy 3.2 dohromady za gymnázia a lycea, zvlášť potom za SOŠ, SOU nebo nástavby. Průměrné výsledky úloh na jednotlivých typech škol Cermat jinak nezveřejňuje vůbec. Kdyby nás tedy zajímaly obdobné výsledky za podúlohu 3.1, máme smůlu – v analýze nejsou a z dat se získat nedají. Každý statistik ovšem ví, že v průměru se může ztratit leccos. Legrační je, že Cermat v ostatních svých analýzách celkové výsledky gymnázií a lyceí odděluje. Chtěl něco skrýt, když zde obě skupiny spojil?

Průměrná úspěšnost celého testu byla 59,0 %. Žáci v testu řešili rovněž kvadratickou rovnici:

V této úloze (5) získali žáci 66,1 % disponibilních bodů. Odstup od zisku 25,6 % disponibilních bodů v podúloze 3.2 je obrovský. Obě úlohy ilustrují zásadní problém současné výuky matematiky. Žáci se dokážou naučit ke zkoušce postupy, jejichž podstatě mnohdy nerozumějí, úspěšně je předvedou a potom nejspíš zase brzy zapomenou. Mají-li ovšem sami vymyslet, jak si trošku nestandardně poradit se zlomkem 5/7, jsou v koncích. Problém spočívá v tom, že řešení i mnohem složitějších rovnic snadno zvládne mobil, který mají žáci v kapse, zatímco mobily ještě dlouho nepředvedou přístup vyžadující porozumění. Hluboký problém pojetí výuky matematiky představuje také skutečnost, že opravdová matematika je to druhé – příchodem počítačů se z řešení rovnic stala „technikálie“.

Tím jsme se konečně dostali k prvotním datům. Nejde o jména maturantů (data mohou být zcela anonymizovaná), potřebujeme ale zjistit například to, čím se liší žáci, kteří si poradili se zlomkem (úloha 3), od žáků, kteří si poradili s kvadratickou rovnicí (úloha 5 – je jich mnohem víc). Ve kterých dalších úlohách žáci z každé skupiny uspěli, případně neuspěli? Odpovědi mohou mít v diskusi o povinné maturitě – má-li být kvalitní – zásadní význam. Jinak než z anonymizovaných prvotních dat se ovšem zjistit nedají. Odpovědi Cermat neposkytl ani ministrovi a připravil ho tím o zásadní argumenty. A protože prvotní data zatím nebyla zveřejněna, nemůže to zjistit nikdo. O čem má tedy diskuse k povinné maturitě z matematiky být? Kolik hodin žákům přidat, aby se naučili řešit rovnice aspoň z tisíciny tak spolehlivě a rychle, jak to dokážou jejich mobily?

Závěr: Analýzu Manažerské shrnutí – maturitní zkouška z matematiky si vyžádal od Cermatu přímo ministr školství. Informace, jak dopadly úlohy, jež Cermat ministrovi vybral, jsou zárodkem toho, jak může Cermat informovat veřejnost „lidsky čitelným způsobem“ o každé testové úloze. Odborně i časově je to banalita – s připravenými podklady zvládne jeden člověk zpracovat výsledky jednoho testu za jeden den.

Anonymizovaná prvotní data už samozřejmě nejsou určena široké veřejnosti. Je však dost lidí, kteří si nad nimi položí zajímavé otázky a budou hledat odpovědi. Aktuální jsou v tuto chvíli argumenty související s povinností maturovat z matematiky, které bohužel blíže nezkoumal ani Cermat. Jinak by se ministrovi jistě pochlubil, neboť tomu by se nyní hodily. Kdyby se mohl opřít o výsledky opravdu důkladné analýzy prvotních dat, byla by jeho argumentace mnohem přesvědčivější.

Jak ukazuje starší příklad z jiného oboru, je publikování dat důležité, i když nikdo předem neví, co při jejich důkladné analýze vynoří. Pan Tomáš Novák získal na základě zveřejněných podrobných dat z voleb do Poslanecké sněmovny v roce 2017 podezření, že některé volební komise ve Středočeském kraji nezapočítávaly hlasy kandidátům uvedeným na druhé straně hlasovacích lístků. Navrhl Nejvyššímu správnímu soudu přezkoumání výsledků v přibližně 900 volebních okrscích. Podezření se potvrdilo, soud zjistil celou řadu dalších velmi závažných nedostatků a na základě výsledku přepočtu změnil výsledek voleb ve Středočeském kraji. Současně konstatoval, že příště by mohlo být nutné, aby zrušil výsledek voleb do Poslanecké sněmovny v celé republice.

Analýza Cermatu je ke stažení na adrese http://www.msmt.cz/ministerstvo/msmt-39668-2019-1- zadost-o-poskytnuti-informace-podle-zakona-1.


První díl naleznete zde