Oldřich Botlík: Zákulisí státní maturity, díl 1: Letošní maturitní data dokazují, že Cermat připravil příliš náročný test z češtiny a manipuloval počtem propadlých.

Cermat letos připravil příliš náročný test z češtiny. Podle zveřejněných anonymizovaných zdrojových dat mělo propadnout dvakrát více maturantů než loni, ačkoli se nezměnil jejich počet ani „kvalita“. Přesněji: propadnout měl každý šestý žák, tedy 10 275 maturantů. Existuje transparentní a za daných okolností jakž takž spravedlivý postup, jímž Cermat mohl mírně vylepšit výsledek každého žáka, aby zohlednil vysokou náročnost testu a dodržel zadání ministerské zadání. Avšak i poté by propadlo 8 385 maturantů. Cermat postup nepoužil, ale zcela nestandardně změnil pravidla bodování pěti úloh, aniž o tom uvědomil nadřízený orgán.

Oldřich Botlík (eduin.cz)

Díky tomu sice počet neúspěšných poklesl na 5 896 maturantů, ovšem za cenu nespravedlivého znevýhodnění některých žáků a zvýhodnění jiných, nesplnění zadání a snížení výpovědní hodnoty testu i objektivity zkoušky. Naplno se tak vyjevil dlouhodobý problém státní maturity: neurčitost procedur, které předcházejí vydání úředního rozhodnutí o výsledku jednotlivého žáka.

O změnách bodování rozhodli metodik s koordinátorem předmětu a ředitel Cermatu Jiří Zíka. Ten v rozhovoru na DVTV řekl, že nevidí důvod, proč by měl Ministerstvo školství o provedených změnách informovat. Podle něj neupravuje bodování testových úloh žádný předpis, a to ani interní.

Pokud chcete problému rozumět lépe, najdete detaily níže.

Uvedená čísla vycházejí z totálně anonymizovaných zdrojových dat poskytnutých ministerstvem na základě žádosti podle zákona o svobodném přístupu k informacím. Data jsou zveřejněna ZDE.

Cermat měl letos jedinečnou příležitost dosáhnout toho, aby se průměrné výsledky letošního a loňského testu v zásadě shodovaly. (Průměrný výsledek testu je aritmetický průměr z počtů bodů získaných jednotlivými žáky.) Počty maturantů byly prakticky stejné, shodovalo se zastoupení gymnazistů v obou souborech testovaných žáků a nezměnil se ani Katalog požadavků. Shoda výsledků obou testů je vlastně v této situaci jiným pojmenováním požadavku MŠMT, aby Cermat meziročně zachoval obtížnost testu. Jde o požadavek pochopitelný, ale velmi neurčitý a obtížně splnitelný: není vůbec snadné „trefit se“ do průměrného výsledku loňského testu zcela přesně.

Hodnocení, nakolik se to Cermatu podařilo, totiž může v obecném případě komplikovat také meziroční změna znalostí a dovedností žáků. Případný posun jedním či druhým směrem je však tentokrát zanedbatelný. I vzhledem k tomu, jak Cermat nakonec postupoval.

Samotnou skutečnost, že Cermat do výsledků žáků zasáhl, mu nelze vyčítat. Zásadní chybu ovšem učinil již na samém začátku: poslal do škol příliš náročný test (viz níže). Jakákoli pozdější úprava výsledků žáků mohla tuto chybu napravit jen zčásti. Provedená změna pravidel bodování se týkala pěti uzavřených (zaškrtávacích) úloh. Protože loňský i letošní test obsahují stejné typy úloh, bylo možné přepočítat letošní výsledek pomocí loňských pravidel. A potom porovnat průměrné výsledky obou testů.

Průměrný výsledek maturitního testu Český jazyk a literatura v roce

- 2016 podle pravidel roku 2016 je cca 32,98 bodu.
- 2017, ale podle pravidel roku 2016, je cca 30,30 bodu.

Rozdíl 32,98 bodu – 30,30 bodu = 2,68 bodu je jasným důkazem, že letošní test byl náročnější než test loňský. Už rozdíl 1 bodu je hodně – například loni propadlo s 21 body celkem 1 048 žáků, zatímco s 22 body by se byli zachránili.

Lze také spočítat, kolik maturantů by podle pravidel roku 2016 letos propadlo: bylo by jich 10 275, což je 16,7 % celkového počtu 61 450 maturantů.

Testem Cermat vlastně měří žáky. Představme si na chvíli, že by měřil pouze jejich výšku, ale letos by použil „jiný metr“ než loni – ten letošní metr by byl o něco kratší. Údaje o výšce všech 61 450 žáků má v počítači, ale zjistí, že zatímco loňská průměrná výška byla 176 cm, ta letošní má hodnotu jen 161 cm. Protože není žádný důvod, aby se oba průměry lišily, stačí vynásobit všechny údaje o výšce letošních žáků stejným číslem 176 : 161 = cca 1,09. Po vynásobení budou oba průměry stejné.

Číslo 1,09 je také výsledkem dělení 32,98 : 30,30 (to je podíl průměrných výsledků obou testů). Cermat mohl tímto číslem analogicky vynásobit výsledky každého žáka v letošním testu, aby tak transparentně a v mezích možností spravedlivě kompenzoval všem žákům jeho vysokou náročnost. Průměrný výsledek testu ČJL 2017 by se tím dostal na hodnotu cca 32,98 bodu, tedy na hodnotu průměrného výsledku testu ČJL 2016. Ve stejném poměru by se zvýšil letošní bodový zisk každého maturanta. Díky tomu by z původního počtu 10 275 propadlíků ubylo přesně 1 890 maturantů.

Určitě nejde o ideální postup. Ten, který zvolil Cermat, ale také není ideální. Cermat přidával po bodu některým žákům v úlohách 4, 10, 13, 19 a 20 – podrobnostmi se budu zabývat v dalších dílech tohoto seriálu. To vedlo ke snížení celkového počtu propadlých o 4 354 žáků na „oficiální“ hodnotu 5 896 neúspěšných maturantů. Postupů, jimiž mohl Cermat vysokou náročnost testu kompenzovat, je celá řada. Problém je v tom, že nevedou ke stejným výsledkům a málokdy se dá říct, že jeden je lepší než druhý.

Závěr

Zdrojová data z letošního maturitního testu ČJL potvrzují, že byl výrazně náročnější než test loňský. O tolik, že nárůst musel být patrný metodikovi i koordinátorovi předmětu. Není jasné, proč tak náročný test vlastně poslali do škol. Chybu bylo možné zčásti napravit aspoň dodatečně: vylepšit bodový zisk všem žákům, a to vynásobením přesně stanoveným číslem. Taková korekce by byla zcela transparentní. Cermat by tím současně splnil zadání, které dostal od Ministerstva školství, a počet neúspěšných žáků by klesl z 10 275 na 8 385 maturantů.

Namísto toho provedl Cermat jiné úpravy, které byly nelogické, nespravedlivé a nevedly ke splnění ministerského zadání. Nezvýšily výsledek každému žákovi, ale jen některým: těm, u nichž to bylo možné technicky. Zato ovšem snížily počet neúspěšných žáků na 5 896.

Cermat zjevně korigoval především počet neúspěšných žáků. Zlepšení průměrného výsledku testu je jen vedlejším důsledkem této snahy. Principiálním problémem však není výsledek provedených úprav, ale to, že se příprava maturitních testů a výpočet výsledků žáku neřídí předem určenými zásadami a pravidly. Existují tisíce maturantů, kteří propadli, či naopak nepropadli v důsledku subjektivního rozhodování tří osob, nad nímž není efektivní kontrola. Jde navíc o problém celé státní maturity – nejen předmětu Český jazyk a literatura.

Příště Další díl seriálu bude věnován detailům meziročních změn pravidel bodování některých úloh testu Český jazyk a literatura a testu Anglický jazyk.


Úvod do seriálu naleznete zde