Oldřich Botlík pokračuje v polemice s ředitelem Cermatu: Visí nám tu nějaké úvahy. Co s nimi?

Pan Jiří Zíka, „ředitel Cermatu (správně Centra pro zjišťování výsledků vzdělávání)“, píše v závěru své reakce na můj článek Ředitel Cermatu nás vodí za nos, že pro něho jsou rozhodující názory odborných komisí. Uvádí, že polemiku se mnou vede jen proto, aby v odborném a mediálním prostoru nezůstaly viset bez odezvy žádné spekulativní úvahy. Protože stejný cíl mám i já, snad se společně už brzy dobereme výsledku, který uspokojí nejen nás dva, ale i další zájemce o vyjasnění postupů, jež rozhodly o tom, že v testu z češtiny v posledních třech ročnících propadlo celkem 15 552 prvomaturantů.



Oldřich Botlík (eduin.cz)

Nejprve chci vysvětlit, proč používám „nesprávné“ označení instituce, kterou pan Zíka řídí. Není to proto, že bych chtěl tímto způsobem snižovat její nebo jeho vážnost. Na stránce www.cermat.cz se píše, že „Organizační složka Centrum pro zjišťování výsledků vzdělávání nadále užívá historicky vzniklou slovní značku CERMAT, která je v odborné veřejnosti všeobecně známá a užívaná“.

1. Pro mě – a podle judikatury Nejvyššího správního soudu ani pro soudy – názory odborných komisí rozhodující nejsou: v případné soudní při budou brány jen jako názory expertů přizvaných jednou stranou sporu. Je třeba si neustále připomínat, že tyto komise pracují na základě podkladů, které jim Cermat poskytuje, a občas chybují. Vzpomněl jsem si na to třeba u loňské úlohy, v níž žáci hledali s průměrnou úspěšností 11,1 procenta přísudek jmenný se sponou. Tato dovednost je podle některých češtinářů zcela zásadní: je prý nutná k tomu, aby žáci dodrželi shodu přísudku s podmětem. V jarním testu z češtiny 2013 ovšem ponechali členové odborných komisí i recenzent PhDr. Jiří Kostečka, Ph.D., bez povšimnutí chybu právě v přísudku jmenném se sponou: „Cesare a Lucrezia byly děti papeže Alexandra VI.“ Asi si neuvědomili, že jim přísudek jmenný se sponou může pomoci poznat, že podmět není „děti“…

2. Panu Zíkovi a i mně jde o obtížnost a srovnatelnost testu jako celku. Domnívám se však, že tím každý z nás myslí něco jiného. Pan Zíka říká, že se mu daří obtížnost i srovnatelnost zachovat. Argumentuje přitom čísly, jež získal pomocí postupů, které se minimálně ve dvou posledních letech lišily dokonce u stejných typů úloh. A v roce 2015 byly pro veřejnost zcela neprůhledné. I tato čísla (a také jeho vyjádření, že maturantů je u nás příliš mnoho), však svědčí spíše o opaku: od roku 2013 do roku 2017 průměrná propadovost v testu z češtiny trvale stoupala. Celkový rozdíl činí 7,9 procent, z toho u gymnazistů 0,7 procent a u negymnazistů  11,7 procent. Malá část nárůstu se možná dá vysvětlit tím, že se na maturitní obory hlásí stále slabší žáci, jeho většina ovšem stěží.

3. Tvrdím, že test je pro všechny žáky stále obtížnější. To lze v zásadě prokázat dvěma odlišnými postupy. Postup „zevnitř“ mohou provést češtináři, když budou porovnávat například obtížnost práce s pojmy popisujícími různé jazykové jevy. Pro žáky bylo nejspíš obtížnější najít v Halasově básni epizeuxi (bez definice figury a bez nabídky možností) než ve Vančurově textu najít perifrázi (s její definicí, s nabídkou možností zvýrazněných navíc ve výchozím textu zatučněním). Alespoň pokud na obě úlohy měli dost času. Roli totiž může hrát třeba i to, kolikrát musejí žáci přečíst výchozí text, aby dospěli ke správným odpovědím. Postup „zvenčí“ vychází z toho, že se nejprve PODLE STEJNÝCH PRAVIDEL spočítá úspěšnost každého žáka a dále se porovnávají výsledky za celý soubor. O stejných pravidlech lze samozřejmě mluvit jen u uzavřených úloh („jediná správná možnost ze čtyř, ANO/NE, přiřazovací 3 z 5, přiřazovací 4 z 6 ap.). Není pochyb, že u otevřených úloh je přenositelnost pravidla z roku na rok problematická. Neměnit pravidlo by bylo vhodné hlavně u otevřených úloh identického typu (třeba při hledání stejného počtu pravopisných chyb ve výchozím textu). A jistě lze také zkoumat, jak se meziročně měnila celková úspěšnost za všech pět otevřených úloh s celkovou dotací 12 bodů (necelá čtvrtina bodové dotace celého testu).

4. Známe-li odpovědi nějakého žáka v testu z češtiny, měl by k výpočtu jeho úspěšnosti v zásadě stačit tzv. Klíč správných řešení. U otevřených úloh mohou v některých případech hrát roli detaily, které Klíč neřeší – o ty mi však nejde. Základní problém je, že v roce 2015 byl Klíč na informace zjevně skoupější než předtím a potom. Ilustruje to příklad úlohy ANO/NE se čtyřmi podúlohami.

Stejně skoupý na informace o pravidlech výpočtu byl v roce 2015 Klíč správných odpovědí pro test Matematika – také jako jediný v řadě. Jde-li tedy panu Zíkovi opravdu o to, aby „v odborném a mediálním prostoru nezůstaly viset bez odezvy žádné spekulativní úvahy“, jistě nás obratem seznámí s pravidly, podle nichž byly v roce 2015 bodovány úlohy 3, 6, 12, 13, 17, 23, 24, 28 a 31. Ukáže-li se, že Cermat bodoval všechny úlohy konzistentně, označím své úvahy za spekulativní sám a rád je vezmu zpět.

5. MŠMT mi sdělilo, že se chystá zveřejňovat podrobná maturitní data. Jistě tedy vyjde panu Zíkovi vstříc, když v zájmu prestiže zkoušky požádá o souhlas, aby mohl v předstihu zveřejnit totálně anonymizovaná prvotní maturitní data z testu Český jazyk a literatura z let 2015 a 2017 ve stejné struktuře a za tytéž kategorie maturantů jako data za rok 2016. Bez těchto dat totiž nelze zabránit spekulativním úvahám o tom, jak vlastně byly v posledních třech letech výsledky za celý soubor počítány.

6. V jiném svém textu ředitel Zíka napsal: „Žádným předpisem, a to ani interním, není stanoven způsob bodování jednotlivých úloh. Ten je určován autory testů s ohledem na celkovou obtížnost testu a rozložení obtížnosti jednotlivých otázek.“ Rozhodování o výsledku maturitních testů je nepochybně zásadní věc a jak jsem uvedl, i mně jde o to, aby „v odborném a mediálním prostoru nezůstaly viset bez odezvy žádné spekulativní úvahy“. Požádal jsem tudíž dne 31. 5. 2017 Cermat podle zákona o svobodném přístupu k informacím o úplný seznam autorů maturitních testů a testových úloh použitých v letech 2016 a 2017 v předmětu Český jazyk a literatura a v předmětu Matematika. Tyto informace přestávají být podle školského zákona (§ 80b, odst. 2 písm. d) veřejně nepřístupné ukončením příslušného zkušebního období. Bude jistě zajímavé vědět, kdo tedy ve skutečnosti rozhodl o tom, kolik žáků v maturitních testech propadlo.

7. Máme s panem Zíkou stejný zájem, a tak doufám, že se neuchýlí k podobným obstrukcím, jako když vyřizoval mou žádost o výsledky jedné jediné maturitní úlohy z 18. 5. 2015. MŠMT postupně dvakrát zrušilo jeho zamítavé rozhodnutí kvůli absenci jakéhokoli odůvodnění, potřetí pak (13. 1. 2016) kvůli tomu, že jeho odůvodnění bylo chybné. Poskytnuté údaje jsem poté musel ještě dvakrát reklamovat.

8. Čekal jsem, že se pan ředitel jasně vyjádří k tomu, co vypadá nepochopitelně. Cermat na jedné straně přijímá pracné a nákladné změny, aby úspěšné tipování ztížil, a na straně druhé mění pravidla bodování tak, že úspěšné tipování usnadňuje. Co je tedy vlastně jeho cílem?

9. Nikdy jsem nepochyboval o tom, že otevřené úlohy jsou pro žáky obecně obtížnější než úlohy uzavřené. Moc tudíž nechápu, proč mě o tom pan Zíka v závěru své reakce přesvědčuje, navíc dost nesrozumitelným způsobem. Až budeme mít za roky 2015, 2016 a 2017 k dispozici úplná pravidla pro bodování všech úloh i zdrojová maturitní data, bude si každý moci spočítat, co ho zajímá. Například tedy zvlášť výsledky otevřených úloh a zvlášť – ve všech třech letech PODLE STEJNÝCH PRAVIDEL – výsledky úloh uzavřených. Od toho data jsou. Teprve potom bude mít smysl zkoumat, co bylo kdy kompenzováno, jakým způsobem a s jakými důsledky. Do té doby zůstanou v odborném a mediálním prostoru viset bez uspokojivé odezvy úvahy, které někdo může označovat za spekulativní, zatímco někomu jinému připadají naopak zcela racionální.