Oldřich Botlík: Jak 1 800 lidí tipovalo průměrnou úspěšnost maturitní úlohy 1

V úterý 2. června ráno jsem na České škole vyzval čtenáře, aby odhadli průměrnou úspěš­nost maturitní úlohy 1 v letošním testu Matematika. Požádal jsem je, ať prostřednictvím jednoduchého formuláře Google svůj tip sdílejí. Do formuláře jsem zařadil také tři jednoduché otázky, abychom věděli například to, zda odpovídá učitel(ka). Řada lidí sdílela výzvu na sociálních sítích, a tak tipů rychle přibývalo. Ve čtvrtek 4. června večer, když počet respondentů dosáhl hodnoty 1 800, jsem anketu ukončil. V té době už totiž asi několik lidí skutečnou úspěšnost úlohy 1 znalo. Průměrný odhad za všechny účastníky ankety činí 65,9 %. Chci zde podrobněji informovat o záměrech a průběhu celé akce.

Oldřich Botlík (eduin.cz)

Zájem o anketu mě potěšil a rád bych ze všeho nejdříve poděkoval České škole i všem ostatním, kteří informaci o anketě šířili. Vážím si jejich pomoci i ochoty přemýšlet o tom, co vlastně úloha 1 ověřuje a jak. Několik lidí se mě ptalo, co jsem anketou sledoval. Nechtěl jsem odpovídat v době, kdy bych mohl ovlivnit tipující, a explicitně neodpovím ani nyní. Vhodná chvíle na úplnou odpověď nastane podle mého názoru teprve tehdy, až se od Cermatu dozvíme, jak maturanti v úloze 1 dopadli. Myslím, že ve srovnání s průměrným tipem výrazně hůře, ale krk bych za to nedal – loňské přidání 15 minut na práci odhad ztěžuje.

Několik slov k úloze, kterou maturanti řešili 

Lék ve formě sirupu se prodává ve dvou variantách – pro děti a pro dospělé. V 1 ml sirupu pro děti jsou 3 mg účinné látky, v 1 ml sirupu pro dospělé 7,5 mg téže účinné látky. Miloš má předepsáno užívat každé ráno 5 ml sirupu pro děti. 
Vypočtěte, kolik ml sirupu pro dospělé by měl Miloš ráno užívat, aby dostával stejné množství účinné látky jako v předepsané dávce sirupu pro děti. 
Pro úplnost správná odpověď i se zdůvodněním: V dávce 5 ml sirupu pro děti dostane Miloš 15 mg účinné látky. Stejné množství účinné látky je ve 2 ml sirupu pro dospělé (2=15:7,5). 

Můj odhad, že žáci dopadli o dost hůře, než respondenti tipovali, vychází z toho, že podob­nou úlohu zvládnou i šikovnější děti na prvním stupni. V anketě proto celkem 36,6 % lidí tipovalo úspěšnost nad 80 %. Tak vysoké úspěšnosti ovšem dosahují maturitní testové úlohy jen výjimečně, neboť potom vlastně zabírají v testu místo vhodnějším úlohám. Řada tipujících nebere v úvahu, že maturanti pracují ve stresu a na jaře trénovali spíše učivo, u něhož bylo nepochybné, že se v testu objeví. Tedy učivo, jehož zvládnutí znamená hlavně naučit se provádět určité postupy (například zacházet s algebraickými výrazy, upravit vzorec a dosadit do něho, řešit jednoduché logaritmické a exponenciální rovnice apod.). Tito maturanti potom hledali v testu spíše ta zadání, která jim umožní uplatnit, co si nacvičili. Proto možná úlohu 1 vynechali – nechtěli kvůli nejistému zisku pouhého bodu ztrácet čas pronikáním do relativně dlouhého textu. A už se k ní nevrátili. Interpretace šířená lidmi z Cermatu, že za nízkou úspěšnost podobných úloh nemůže výuka matematiky, ale slabá schopnost žáků číst s porozuměním, je myslím zkratkovitá a nepodporují ji ani výsledky testu z češtiny.

Tohle všechno je třeba mít při interpretování výsledků testových úloh na paměti: hledisko, do jakého ročníku základního vzdělávání úloha patří, je příliš prvoplánové a zavádějící. Zvlášť u úloh, které – jako typ – ještě nevyřeší mobil, mnozí maturanti zvažují, zda se vyplatí, aby se jimi v testu vůbec zabývali. Kdyby byl za vyřešení rovnice 7,5·x = 3·5 bod, asi by to zkusil každý, a to zpravidla úspěšně. Ale dospět ke stejné rovnici jako k matematickému modelu reálné situace popsané relativně dlouhým zadáním mobil nedokáže a ani některým žákům se do toho prostě nechtělo – i když to možná nebylo nad jejich síly.

Odpovědi účastníků ankety na tři jednoduché otázky zopakované v diagramu výše umožnily rozdělit respondenty do deseti podskupin, všichni dohromady pak představují jedenáctou. Velmi názornou informaci o rozložení tipů libovolné podskupiny (řekněme učitelů a učitelek) poskytuje takzvaný histogram. Vznikne rozdělením tipovací škály 0 % až 100 % na deset stejně dlouhých úseků. Každý tip je započítán v příslušném úseku. Například tip 73 % je započítán v úseku 71–80.

Následující histogram porovnává rozložení tipů dvou různých podskupin: v první jsou ti, kteří na otázku „Pracujete jako učitel(ka)?“ odpověděli ANO, ve druhé jsou ti, kteří odpověděli NE. První podskupina zahrnuje 530 respondentů, druhá 1 270 respondentů. Kvůli rozdílným počtům je výška sloupců přepočítána na procentní podíly z velikostí obou podskupin. Součet výšek modrých sloupců je tedy 100 % (všichni učitelé a učitelky), součet výšek červených sloupců také (všichni ostatní).

Z histogramu je nejspíš patrná větší zkušenost učitelů s chybujícími žáky: vědí například, že část žáků odpoví 15 mg (uvede tedy pouze mezivýsledek). Zdá se, že neučitelé se ve svých úvahách častěji omezovali jen na hodnocení míry obtížnosti úlohy, zatímco učitelé uplatnili své bohaté zkušenosti s tím, jak žáci ve skutečnosti postupují a kolik různých „nástrah“ na ně číhá – v úloze i v celém testu. Totéž si zřejmě častěji uvědomovali také respondenti, kteří kdysi maturovali z matematiky, fyziky či chemie. I z histogramu na obrázku je ovšem zcela zjevné, že představy odborníků i laiků o průměrné úspěšnosti maturantů v testu zahrnují celé dostupné spektrum možností. Ať bude skutečná hodnota průměrné úspěšnosti jakákoli, vždycky se ukáže, že významná část respondentů odhadovala výrazně nesprávně. Možná i kvůli tomu, že „přece šlo jen o trojčlenku“. Pro zájemce jsem připravil interaktivní histogram, který je ke stažení na stránce iniciativy Maturitní data – odtajněno. Pouhým klikáním na tlačítka v něm mohou volit různé podskupiny respondentů a zamýšlet se nad zobrazenými rozdíly.

Sněmovna žádá, aby zveřejňování dat uložil Cermatu zákon 

Ve chvíli, kdy tento text píšu, zná skutečnou průměrnou úspěšnost úlohy 1 jen úzký okruh spolupracovníků Cermatu (mezi něž nepatřím). A nejinak tomu bude i po zveřejnění textu. Přestože i v Cermatu o anketě nejspíš vědí, už není co utajovat a hodně lidí to zajímá.

Dlouhých pět let usiluji o změnu. Přesně 18. května 2015 jsem požádal Cermat podle zákona o svobodném přístupu k informacím, aby mi poskytl údaje o tom, kolik maturantů v jed­né úloze maturitního testu z jara 2015 vybralo odpověď A, B, C, … a E, případně kolik nevybralo žád­nou. Proti zamítavému rozhodnutí Cermatu jsem se musel třikrát odvolávat k Ministerstvu školství a po devíti (!) měsících jsem nakonec obdržel správnou šestici čísel. Od té doby se mnohé změnilo: Cermat začal tento typ informací zveřejňovat sám uprostřed prázdnin, na základě žádosti lze získat dokonce anonymizovaná prvotní data. Poslaneckou sněmovnou nedávno prošla novela školského zákona, podle níž by Cermat – kdyby už byla účinná – musel zveřejnit podrobná anonymizovaná prvotní data ode dneška do 14 dní. I bez žádosti.

Anketa o úspěšnosti úlohy 1 vyvolala o maturitní test z matematiky živý zájem, samotná úloha 1 patří v testu k nejrozumnějším, protože něco podobného občas potřebuje spočítat každý. Jedna magistra farmacie, která na Facebooku diskutovala o svém nízkém odhadu, napsala, že logiku podobných výpočtů denně marně vysvětluje několika zákazníkům. Chce-li Cermat zlepšit svou pověst, má jedinečnou příležitost udělat to tím, že průměrnou úspěšnost úlohy 1 zveřejní dříve než někdy uprostřed horkého léta, kdy už nikoho nebude zajímat. Sám se ho ovšem na ni ptát nehodlám. 


Interaktivní histogram je dostupný v sekci Ke stažení na stránce iniciativy Maturitní data – odtajněno