Josef Soukal: Oldřich Botlík (si) podráží nohy

(K článku Kolik je tedy chyb v hodnocení slohů?)

Oldřich Botlík je v oblasti testování nesporně autoritou a tvůrci státní maturity by mu svým způsobem mohli být vděčni, neboť se snaží odhalit všechny nedostatky, které tento projekt zatím má. Bohužel je však Botlíkovo úsilí - velmi usilovné, ba sveřepé - provázeno řekněme systémovou slepotou, která dotyčnému zabraňuje vidět na maturitě také něco jiného než vady. Tak snadno přejde skutečnost, že letošní centrální hodnocení slohů mělo své problémy, ale současně odhalilo zásadní systémový nedostatek provázející období předchozí a hlavně že dosavadní praxi ve svých důsledcích významně pozitivně proměnilo. Dále je pro O. Botlíka příznačné, že se slabinami maturity zabývá výběrově, tedy až ve chvíli, kdy je za vše zodpovědné centrum, nikoli samotní učitelé - nepamatuji se, že by se vloni k písemné práce vůbec vyjádřil, ačkoli o validitě a reliabilitě jejího hodnocení se tehdy vůbec nedalo hovořit. Ze stejného důvodu jsme se zatím nedočkali komentářů k ústní zkoušce, i když tady by se kritik se svými oblíbenými, ve všech pádech skloňovanými pojmy mohl vyřádit snad úplně nejvíc.

Kromě toho O. Botlík trpí přesvědčením, že rozumí všemu, tudíž se také může autoritativně vyslovovat  k čemukoli. Ani nemusím připomínat jeho loňské eskapády při kritice testových úloh z českého jazyka, neboť i jeho čerstvé exkurze do didaktiky stylistiky v diskusi pod článkem Kolik je tedy chyb v hodnocení slohů? na EDUinu jsou velmi výmluvné. Ukázka: „Teď se mi například zdá, že přinejmenším část diskutujících češtinářů chápe, že tradiční výuka slohových útvarů (nebo jak tomu říkáte) je postavená na hlavu. Můžu vás ujistit, že 99 % žáků to ví už dávno.“ Ovšem O. Botlík se nejen vyslovuje, ale také na základě svých závěrů kádruje, zejména učitele. Stačí mít jiný názor na státní maturitu a už jste v Botlíkově podání přinejmenším „strnulý“ pedagog, učitel bez autority, jedinec, jehož cílem je studentům ubližovat… Přitom není těžké poznat, že za zobecňující kritikou bývají skryty výrazně osobní útoky.

Na druhé straně se O. Botlík rád pochválí, a to jedním dechem s dehonestací názorového oponenta. A už jen jako poslední kamínek do mozaiky uvádím, že je demagogem a umí se školácky vymlouvat, popř. přímo lže (viz např. většina toho, co letos napsal v souvislosti s úlohou č. 27 v jarním češtinářském testu pro základní úroveň).

Tento poněkud delší úvod byl nutný, abychom lépe pochopili, proč Botlíkův odhad chyb v letošním hodnocení slohů je nejen vadný, ale především jako celek postavený nikoli na faktech, ale na animozitě vůči dosavadní podobě státní maturity a vůči Cermatu.

Pro přesnost budu vždy citovat Botlíkovo vyjádření či jeho podstatné části:

OB: Podle Jany Strakové, dlouholeté koordinátorky české účasti v mezinárodních průzkumech výsledků vzdělávání, se v nich pohybuje míra shody mezi hodnotiteli kolem 95 % u jedné úlohy. Jinak řečeno, kdyby odpovědi na tuto úlohu nezávisle hodnotily dvojice hodnotitelů u všech testovaných žáků, jejich hodnocení by se lišila u každého dvacátého. (..) Za prvé, sloh je výrazně složitější útvar než odpověď na úlohu třeba v mezinárodním průzkumu PISA. Mnohem složitější je i struktura a provázanost znaků, které hodnotitelé vyhledávají a posuzují. Porovnání složitosti nevylučuje, že chybovost hodnocení slohů státní maturity mohla být při stejné kvalitě hodnotitelů i několikrát vyšší než průměrná chybovost hodnocení jedné úlohy PISA.

Pomiňme fakt, že porovnání složitosti sice nevylučuje, ale určitě také NEPROKAZUJE, že chybovost mohla být větší. Důležité je, že vztah mezi mírou chybovosti u jednotlivých úloh a složitějších struktur není tak jednoduchý, jak O. Botlík naznačuje. Pokud se zmýlí hodnotitel úlohy, má jeho závěr fatální důsledky, jinými slovy jeho chyba je buď absolutní, nebo nulová; z hlediska chybovosti je jednotlivá úloha rizikovější. U slohových prací jeden omyl v jednom podkritériu pro hodnocení v drtivě většině případů nic neznamená. Složitější jsou pouze podkritéria „vetovací“, tj. naplnění tématu a útvaru, ovšem i zde mají hodnotitelé k dispozici šestibodovou stupnici (včetně nuly), tudíž CITLIVOST ROZHODNUTÍ JE MNOHEM VĚTŠÍ než u úlohy, kde se určuje, zda odpověď je správná/nesprávná.

OB: Za druhé, procedura, během níž Cermat zpracoval svá vyjádření k odvolání a dospěl k počtům těch, která byla podle něj oprávněná, má se slepou zkouškou pramálo společného. Druhý posuzovatel se totiž (nejspíš – procedurální detaily neznám) může dozvědět výsledek prvního hodnocení i argumenty stěžovatele. Určitě však ví, že nejde o druhé nezávislé hodnocení – vyjadřuje se naopak nejen k práci maturanta, ale také k práci svých kolegů. To je vždycky problém, stačí se podívat do lékařského prostředí.

Je třeba říct, že přesnost slepé zkoušky nás v daném případě vůbec nezajímá, podstatou je určení vlastní chybovosti. To, že při ověřování původního rozhodnutí hodnotitel dostává práci s upozorněním na potenciální závadu v hodnocení, někdy v odvolání přímo uvedenou, NENÍ PROBLÉMEM revize, ale naopak její VÝHODOU.

Srovnání s lékařským prostředím neznamená nic jiného než apriorní vyjádření nedůvěry vůči hodnotitelům. V daném případě je to SROVNÁNÍ MÁLO PŘÍPADNÉ (tedy pokud správně dovozuji, co konkrétně měl O. Botlík na mysli): Bude-li hodnotitel neobjektivní, kolegu nepoškodí, neboť ten zůstane anonymní (pro veřejnost i pro revidujícího), naopak sám riskuje své postavení v případě jakéhokoli dalšího zkoumání interního či vnějšího (soudně napadené rozhodnutí).

OB: Za třetí, Cermat má zjevnou tendenci popírat své chyby, případně je bagatelizovat. Například v roce 2011 prohlásil za správné dvě úlohy v testu základní obtížnosti z češtiny, jejichž závadnost uznali kromě jeho současné hlavní metodičky vlastně všichni, včetně dvou nejhlasitějších obhájců státní maturity v její současné podobě. V roce 2012 dopadly stejně například dvě jiné neoddiskutovatelné chyby: jedna v testu z fyziky, druhá v testu vyšší obtížnosti z matematiky. Nevidím důvod, proč by se Cermat choval u hodnocení slohů jinak. Každá taková mocenská facka maturantům a vědecké pravdě je ovšem vítězstvím Pyrrhovým: Cermat za ně bude ještě dlouho platit ztrátou důvěry veřejnosti. Odborné, školské i laické.

O. Botlík tedy Cermatu v ničem nevěří. Jeho apriorní (ne)víru mu nebudeme brát, ale JAKOU MÁ OBJEKTIVITU pro kohokoli, kdo je jiného, třeba zcela neutrálního smýšlení?

OB: Za čtvrté, vzorek tvořený pracemi žáků, kteří se proti výsledku hodnocení odvolali, je velmi nenáhodný. Nevím jistě, zda se odvolávali především ti, kteří ve slohu propadli. Je to však vysoce pravděpodobné, neboť těm výsledek vadil nejvíc. Pokud tomu tak bylo, pak šlo převážně o práce, jimž hodnotitelé podle vlastních vyjádření věnovali větší pozornost než ostatním a konzultovali svá hodnocení s vedoucími hodnotitelských týmů. V náhodně vybraném vzorku by potom mohlo být chybných hodnocení podstatně víc. Jiří Zíka by měl v rámci vstřícnější komunikace s veřejností, kterou vyhlásil, doplnit svou tiskovou zprávu také o rozložení počtu podaných odvolání podle dosaženého bodového zisku při prvním hodnocení – potřebné údaje v Cermatu jistě evidují.

Vzorek tvořený pracemi odvolavších se studentů  je skutečně nenáhodný. Pokud se odvolávali především propadnuvší, kteří byli při hodnocení postiženi daleko nejrizikovějšími podkritérii 1A a 1B, lze s vysokou mírou pravděpodobnosti V TÉTO SKUPINĚ očekávat MNOHEM VĚTŠÍ CHYBOVOST než v jakémkoli jiném vzorku maturitních prací.

OB: Za páté. Lze samozřejmě namítnout, že ti, kteří si nestěžovali, žádné poškození necítili, a tak je jejich hodnocení v pořádku. Nemyslím si to – při současné pověsti státní maturity šlo většině žáků pouze o to, aby prošli. Kromě propadlíků si nejspíš stěžovali už jen ti, kterým výsledná špatná známka bránila v přijetí na zahraniční univerzitu. A možná několik dalších, kterým jde o princip. Ostatním zatím mohly být detaily hodnocení zcela lhostejné.

Části studentů na prospěchu asi moc nezáleží a nikdy nezáleželo, a to nejen na prospěchu maturitním, ale zejména s ohledem na gymnazisty jsou v tomto ohledu Botlíkova slova silně SPEKULATIVNÍ, a opřu-li se o zkušenosti ze školy, kde působím, přímo NEPRAVDIVÁ. Navíc atmosféra kolem maturit rozhodnutí odvolat se naopak přímo podněcovala.

OB: Navíc by bylo metodicky nesprávné uvažovat jen o těch hodnoceních, která žáky poškodila. Pochybením hodnotitele je samozřejmě i hodnocení, které naopak žákovi „nadržuje“, přidává mu body, které by získat neměl. Neoprávněně ho totiž zvýhodňuje před ostatními například v konkurenci na pracovním trhu či při přijímání na vysokou školu.

Potenciálně nadhodnocené práce J. Kostečka ve svém výčtu skutečně neuvádí. Obecně se ale spíše poukazovalo na přílišnou PŘÍSNOST CENTRÁLNÍHO HODNOCENÍ, takže ani zde bych prostor pro výrazně větší chybovost neviděl.

Velmi zajímavé je poslední souvětí  z citované pasáže - doposud se totiž O. Botlík vyjadřoval tak, že mu devalvace maturitního vysvědčení a tím i úsilí učitelů a studentů nevadí. Uvidíme, zda mu jeho starost o objektivitu vydrží i napřesrok, kdy se dá očekávat podstatné vylepšení maturitní klasifikace.

OB: Za šesté. Přečetl jsem si zhruba před měsícem veřejné vyjádření Jiřího Zíky o tom, že Cermat musel ukončit spolupráci s „dvaceti až čtyřiceti hodnotiteli“ pro hrubé chyby, kterých se dopustili. Pamatuji-li si správně celkový počet hodnotitelů, rozloučili se tedy s každým desátým až dvacátým. Nevíme ovšem, jak Cermat tyto nekvalitní hodnotitele odhalil: dopadl je plošným pátráním, anebo jsou to pouze ti, na které se přišlo jen díky poškozenému maturantovi, tj. při posuzování žádostí o přezkum výsledků hodnocení? „Vstřícnější komunikace Cermatu“ je tak jen dalším matením veřejnosti. Kolik těch ukončených smluv s hodnotiteli bylo ve skutečnosti? Jak je možné, že to ředitel Cermatu neví přesně? Neskrývá před námi něco? Cermat se dopustil chyb, které vedly k odvolání původního ředitele. A jeho nástupce si vzápětí troufá takhle mlžit o číslech, které jasně souvisejí s některými příčinami?

Jakkoli mají čísla uváděná ing. Zíky skutečně velký rozptyl a není jasné, zda se týkají  jen češtinářů, jde z Botlíkovy strany opět o argument pro argument. CO KONKRÉTNÍHO VYPOVÍDÁ O MÍŘE CHYBOVOSTI? Jak počet chybujících hodnotitelů ovlivnil počet špatně opravených prací, zjištěný při revizi?

OB: A konečně za sedmé. Objevují se zprávy, že maturanti, kteří na jaře ve slohu propadli, na podzim při opakování zkoušky obstáli na výbornou. Až při opakování zkoušky v ní tedy dopadli tak, jak si obvykle vedli ve škole. Jistě, někteří z nich o prázdninách tvrdě trénovali, a napravili tak podceněnou přípravu na jarní termín (smažili třeba palačinky a postup si průběžně zapisovali).

Tady se O. Botlík trefil přesně, tedy pomineme-li pokus o vtip a vezmeme-li jeho vyjádření vážně. Nebylo to tak těžké, protože ten, kdo skutečně chce jakoukoli zkoušku složit, se prostě propříště PŘIPRAVÍ LÉPE. Maturanti mohli využít zkušeností z jarního pokusu, kdy si ujasnili, v čem konkrétně byla jejich, popř. školní příprava nedostatečná; k dispozici měli i volně dostupný materiál Cermatu.

Malá odbočka: Domnívám se, že už  nikdy nebude hodnocení maturitních slohovek takovým „průšvihem“ jako letos na jaře, a to ani při obnovení centrálního hodnocení. Budoucí maturanti se totiž přesvědčili, že předem stanovené podmínky nakonec skutečně mohou platit, a troufám si tvrdit, že většina učitelů, kteří slohu „moc nedali“, si mnohem pozorněji přečetla příslušné pasáže v Kostečkových učebnicích, popř. v (Kostečkou lektorované) příručce G. Baumgartnerové a A. Kapustové z Cermatu.

OB: Jiným nejspíš stačilo, že podruhé napsali zprávu v minulém čase, a vyhnuli se tak uplatnění nulovacího pravidla za nedodržení stylu.

Na toto vyjádření se po tom všem, co bylo o hodnocení zprávy napsáno, ani nechce odpovídat. Odkazuji tedy O. Botlíka, v daném ohledu zřejmě velmi nepozorného, např. na články J. Kostečky věnované centrálnímu hodnocení. Pokud někdo nuloval JEN za užití budoucího času, učinil tak vědomě V ROZPORU s několikrát (písemně) opakovanými pokyny vedoucí hodnocení předmětu i vedoucí(ho) hodnotitelského týmu.

OB: Podstatné však je, že výsledky této části maturitní zkoušky nejsou stabilní v čase: opakování zkoušky po krátké době může vést u téhož žáka na úplně jiný výsledek. Velkou váhu při hodnocení zřejmě mají i ty znaky slohových prací, které vypovídají o skutečných kvalitách žáka jen málo. Je to příklad toho, o čem jsem se zmiňoval na začátku: neshody mezi hodnotícími kritérii či jejich váhou a tím, co jako kvalitu žáka vnímají například jeho dlouholetí učitelé.

Nestabilitu, přesněji výrazné zlepšení  výkonu, jsme právě vysvětlili výše. Co se týče ostatních námitek, pro jejich nekonkrétnost se mohu jen dohadovat, co vlastně měl O. Botlík na mysli. Připomínám ovšem posté, že (pod)kritéria nebyla „vynálezem“ Cermatu, ale vycházela z letitých mezinárodních zkušeností. Pokud se náš oponent domnívá, že např. NAPROSTÉ NEDODRŽENÍ útvaru by se mělo penalizovat jen mírně, měl by své tvrzení podpořit zásadnímu argumenty, nejlépe na konkrétních příkladech.

Na rozdíl od O. Botlíka se už dva roky mohu v praxi přesvědčit, že Cermatem uváděné hodnotící prvky skutečně fungují. Psal jsem o tom už před prázdninami, dnes přidám čerstvou zářijovou zkušenost, kterou jsem učinil v oktávě a septimě při rozboru jedné z publikovaných maturitních prací (http://www.eduin.cz/titulka/podivejte-se-jak-konkretne-vypada-hodnoceni-maturitni-pisemne-prace/). Vybral jsem ji k maturitní přípravě i proto, že prošla veřejnou diskusí (polemizoval jsem zde především se Stanislavem Zajíčkem a Jiřím Lukášem), jejíž podněty jsem mohl využít. Konstatuji, že studenti se bez mého přispění (jejich názory jsem neutvářel, pouze komentoval) dokázali ve čtyřech samostatně pracujících skupinách dobrat výrazné shody ve všech podkritériích maturitního hodnocení. Myslím, že ke stejným výsledkům by dospěl každý seriózně pracující hodnotitel (nejen hodnotitel centrální).

Právě výše zmíněná diskuse ke zveřejněné  maturitní práci (provázená omyly vztahujícími se ke konkrétním jevům v různých podkritériích) a také okolnost, že dvě nabídky J. Kostečky na ověření míry chybovosti centrálního hodnocení nebyly hlasitými kritiky státní maturity přijaty, mne znovu utvrzují v závěru, že ZDALEKA NE VŠECHNA KRITICKÁ VYJÁDŘENÍ K OPRAVÁM SLOHOVEK BYLA OBJEKTIVNÍ.

Ostatně vrátíme-li se k výchozímu článku, pozorný čtenář si jistě povšiml, jak často si O. Botlík musel vypomáhat přesvědčujícími, emocionálními pasážemi, aby vůbec dal dohromady něco, co alespoň vypadá jako argument. Protože se jedná o rys pro Botlíkovy texty příznačný, je polemika s ním dosti unavující a provázená pocity marnosti. Škoda že si O. Botlík neuvědomuje, že svou umanutostí a zvykem podrážet oponentům nohy podlamuje argumentační pozici především sobě samému.   

Pokud bych měl najít na Botlíkově článku a diskusních vyjádřeních na EDUinu nějaký klad, tak by nejspíše spočíval v tom, že po T. Feřtekovi další maturitobijec veřejně uznal nutnost centrálního hodnocení, alespoň jako korigujícího prvku (zde se O. Botlík ztotožnil s naším návrhem v průvodním textu k otevřenému dopisu ministru školství). Novela zákona o maturitách a čerstvá vyjádření čelných představitelů ministerstva se ovšem objektivitou písemné a ústní zkoušky vůbec nezabývají. Celkově je kolem budoucích maturit v tuto chvíli spousta otazníků, a proto se dopisem inspirovaná neformální iniciativa Podpora maturitě nechce vyčerpávat neplodnými polemikami, ale připravila a připravuje návrhy, jejichž cílem je rozvíjení všeho pozitivního, co státní maturita našemu školství přinesla, v tuto chvíli ovšem především zkvalitnění nynější i budoucí maturity. Po ustavujícím shromáždění na počátku listopadu školské veřejnosti předložíme ucelený návrh podoby maturitní zkoušky po r. 2014.