Maturitní data k osmi ročníkům státní maturity, která lze nalézt na stránce www.novamaturita.cz, jsou značně neúplná. Tím se zdaleka nemyslí jen to, že informace o podzimních termínech bývají popelkou, neboť výsledky jarních prvomaturantů jsou navzájem srovnatelnější. Co je k dispozici v jednom roce, obvykle chybí v jiném. Některá data jsou uschována tak, aby na ně návštěvník stránek nenarazil. Spolehlivé interpretaci delších časových řad – pokud se vůbec dají z dostupných čísel sestavit – brání nedostatek doprovodných informací. Ani informace stejného typu však nejsou stejně strukturovány a jejich pojmenování někdy koliduje s označením míst, kde je lze najít. Uvedený stav znemožňuje vést o státní maturitě kvalitní diskusi.
 |
| Oldřich Botlík (eduin.cz) |
O hodnocení zprávy se nejživěji diskutovalo na jaře 2012, kdy maturitní písemné práce hodnotili centrální hodnotitelé. Jedno zadání tehdy požadovalo, aby žáci napsali zprávu o události, kterou výchozí text představil v budoucím čase. Podle výukové praxe je pro zprávu závazný minulý čas. Pokud žák použil čas budoucí, typický například pro oznámení, dávali někteří centrální hodnotitelé nulu v podkritériu 1B za nedodržení slohového útvaru. Nula v podkritériu 1B znamená propadnutí. Podle zmíněného diskutujícího ovšem platná metodika Cermatu už tehdy ukládala hodnotitelům, aby za vyhovující pokládali i práce, které byly z hlediska školní výuky oznámením.
Metodický materiál pro hodnotitele je dostupný jen za ročníky 2014 a 2015
Na stránce www.novamaturita.cz se pod záložkou „Ostatní > Archiv MZ“ tvrdí, že „v této sekci naleznete ucelené informace k jednotlivým maturitním ročníkům“. Navzdory tomu v ní zcela chybějí ročníky 2016 a 2017. Struktura materiálů se u jednotlivých ročníků liší, hledaný materiál nazvaný „Metodický materiál pro hodnotitele PP z ČJL“ je nabízen pouze za ročníky 2014 a 2015. Je možné, že se neměnil každý rok. Pak ovšem nic nebrání tomu, aby odpovídající odkaz vedl na platný materiál z předchozího roku.
Zadání písemných prací jsou dostupná jen za ročníky 2016, 2017 a 2018
Zadání z těchto tří let jsou k dispozici pod záložkou „Testy a zadání“. Starší zadání nenajdeme ani tam, ani pod záložkou „Ostatní > Archiv MZ“. Dají se sice najít na stránkách provozovaných jinými subjekty, na autentičnost ovšem nelze spoléhat. Například v zadání testu z češtiny z jara 2013 je na stránce www.statnimaturita-cestina.cz dodatečně opravena chyba ve shodě přísudku s podmětem, kterou Cermat udělal v úloze 2. Znalost zadání může být totiž důležitá pro interpretaci rozdílů mezi počty udělených nul v podkritériu 1B. V roce 2015 psali žáci „zprávu o akci“ (ve výchozím textu), zatímco ve třech následujících ročnících psali „zprávu o průběhu akce“ (ve výchozím textu). Rozdíl hrál nejspíš významnou roli v tom, jaké procento maturantů volilo budoucí čas. A tedy také v tom, v kolika maturitních pracích mohli hodnotitelé porušit platnou metodiku.
Agregované výsledky jsou dostupné jen za ročníky 2015 až 2018
Nejpodrobnější informací v agregovaných výsledcích jsou počty žáků. Tedy třeba počet žáků, kteří psali zprávu a dostali nulu v kritériu 1B. Agregované výsledky za ročníky 2015 a 2016 jsou dobře ukryté pod záložkou „Ostatní > O testování > Vybraná statistická data“. Z doprovodných informací není zřejmé, zda počty zahrnují rovněž nějaké žáky s přiznaným uzpůsobením podmínek. Zato odtud vede odkaz na odpovídající zadání v roce 2015, která pod záložkou „Testy a zadání“ chybějí. Pro agregované výsledky za ročníky 2017 a 2018 musíme do záložky „Výsledky MZ“. Nikoli však do podzáložky „Agregované výsledky maturitních zkoušek“, kde místo toho najdeme přehledně zpracované souhrnné zprávy ve formátu PDF. Musíme jít do záložky „Výsledky MZ – analytická data“, kde nás znovu zmate tlačítko „Výsledky maturitních zkoušek – agregovaná data“. Správné tlačítko se jmenuje „Maturitní a přijímací zkouška – anonym. data“, ačkoli o anonymizovaná data nejde (viz níže). Zde najdeme agregované výsledky za rok 2017 (pouze jaro) a za rok 2018 (jaro i podzim). Počty tentokrát zahrnují rovněž žáky s přiznaným uzpůsobením podmínek maximálně skupiny 1. Nedávno se zde objevila poznámka, že data byla aktualizována – datum aktualizace ovšem chybí. Data za ročníky 2015 a 2016 mají úplně jiný formát než data za ročníky 2017 a 2018 – jistě ne kvůli tomu, aby se v nich lidé lépe vyznali a mohli na jejich další zpracování vynaložit co nejmenší úsilí.
Anonymizovaná prvotní data jsou dostupná jen za ročníky 2016 a 2017
Anonymizovaná prvotní data obsahují informaci o zadání, které každý žák psal, a počty bodů, které při hodnocení dostal v každém ze šesti kritérií. S takovými daty se dá dále pracovat: například se můžeme dívat, jak hodnocení za pravopis souvisí s celkovým výsledkem žáků. Rovněž tato data jsou dobře ukrytá pod záložkou „Ostatní > O testování > Vybraná statistická data“. V roce 2017 se s agregovanými daty shodují, v roce 2016 obsahují o 38 žáků víc. Počty nul udělených v kritériu 1B jsou ale v roce 2016 stejné a vůbec nejmenší: pouhých 19. To je zajímavé hlavně proto, že onen diskutující vůbec nezahrnul rok 2016 do své argumentace. Zcela tedy pominul argument ve prospěch hodnocení na školách, který se mu nehodil do krámu.
Agregovaná data za školy a jejich obory vzdělávání jsou dostupná jen za ročníky 2013 až 2018, nesouhlasí ovšem s ostatními údaji
Jde o další zdroj informací využitelný k získání údajů za všechny žáky, kteří písemnou práci psali a neměli přiznané uzpůsobení podmínek. Jejich počty ovšem nesouhlasí s počty uváděnými v agregovaných datech za roky 2015 a 2016, kdy by souhlasit mohly. V letech 2017 a 2018 by ani souhlasit neměly, neboť tam data (agregovaná i anonymizovaná) obsahují některé žáky s přiznaným uzpůsobením podmínek. Zvláštní ale je, že například v roce 2017 nesouhlasí propadovost. Vypadá to, jako by zhruba z 3,75 % žáků propadnuvších podle anonymizovaných dat nakonec propadlo jen 3,08 % žáků. To by mohlo znamenat například poměrně vysokou úspěšnost odvolání proti rozhodnutí centrálních hodnotitelů (uspělo by kolem 450 žáků).
Závěr
Interpretování jakéhokoli číselného údaje v takovém Augiášově chlévu je ovšem nezodpovědné. Celý „problém“ s budoucím časem způsobila nesmyslnost tohoto pojetí písemných prací u státní maturity. Kdyby měli žáci napsat zprávu o akci, které se sami zúčastnili, nejspíš by budoucí čas nepoužil ani jeden. Zmíněnou aktualizací dat chtěl Cermat opravit chybnou interpretaci interních údajů, s níž je onen diskutující pustil do světa. Aktualizace ale jednak nebyla důsledná (obdobná data za roky 2015 a 2016 aktualizována nebyla), jednak díky ní vyšlo najevo, že někteří lidé jsou si u Cermatu rovnější než jiní. Mají totiž přístup k informacím, který je ostatním odepřen. Nerozumějí jim, ale bez zábran je zneužili ke zpochybňování návrhu novely školského zákona.
Kvalitní diskusi o státní maturitě nelze vést bez veřejně dostupných, podrobných a úplných dat. Když nejsou k dispozici, nelze se divit, že nejvíce jsou v ní slyšet bezvýznamní žvanilové.
11 komentářů:
Oldřich Botlík samozřejmě opět manipuluje a lže. Žádná data z maturitních zkoušek NIKDY NESVĚDČILA VE PROSPĚCH ŠKOLNÍCH HODNOTITELŮ. Stačí nahlédnout do grafů v Připomínkách Asociace češtinářů k novele školského zákona. Školní hodnocení písemných výkonů se vyznačuje výrazným vylepšováním výkonů maturantů, a to především maturantů ze škol, které mají celkově nejslabší výsledky.
Nevím, proč O. Botlík nezmínil mé jméno, ale protože jsme oním diskutujícím, kterého O. Botlík napadá, musím se DŮRAZNĚ OHRADIT proti tomu, že bych kdy měl k dispozici interní informace: Jak jsem v diskusi uváděl, opíral jsem se o údaje, jež Cermat uvádí v rámci školení externistů. Opravu jednoho z údajů - počtu nul v podkritériu 1B za rok 2015 - jsem učinil na základě svého dotazu do Cermatu; tento dotaz jsme vznesl poté, co J. Lukáš ve zdejší diskusi vyjádřil pochybnosti o věrohodnosti údajů za r. 2017 a 2018. Tyto informace jsou dohledatelné na zdejším webu v diskusi, jíž se O. BOTLÍK zúčastnil - přesto OPĚT LŽE.
Stejně tak lživá je informace, že jsem neuvedl údaj, který se mi podle O. Botlíka "nehodil do krámu" - žádný takový údaj jsem k dispozici neměl.
V případě O. Botlíka nejde o žvanění, ale o SPROSTÉ LŽIVÉ ŽVÁSTY.
Asi je třeba vyjasnit si, co jsou informace veřejně dostupné, a co interní.
Zákon o svobodném přístupu k informacím říká v § 5 odst. 3 mimo jiné: Do 15 dnů od poskytnutí informací na žádost povinný subjekt tyto informace zveřejní způsobem umožňujícím dálkový přístup. Od chvíle, kdy Cermat jako povinný subjekt zveřejnil pod záložkou „Ostatní > O testování > Vybraná statistická data“ informace, o které jsem v roce 2016 požádal, o této skrýši vím. Cermat tím svou zákonnou povinnost formálně splnil. Kdybych byl jeho nadřízeným orgánem, už dávno bych zjednal nápravu. Já můžu na takovou zlovolnost jen upozornit, což jsem dnes ani zdaleka neudělal poprvé. Například 13. září 2017 byl na ČŠ můj článek Co Cermat zveřejnil-nezveřejnil a kde. V této skrýši jsou mimo jiné dva soubory s anonymizovanými prvotními daty z písemných prací z ČJL, o které požádal někdo jiný. Já jsem na ČŠ například o souboru z jara 2016 několikrát psal v souvislosti se zfalšovaným argumentem v důvodové zprávě k novele zákona, která vrátila hodnocení slohových prací do Centra. Nemohu si pomoci – podle zákona i podle toho, kolikrát se na ČŠ o datovém souboru týkajícím se písemných prací na jaře 2016 psalo, je tato informace veřejně dostupná.
V době, kdy onen diskutující argumentoval tím, že v kritériu 1B bylo v roce 2015 za zprávu 380 nul, zatímco v letech 2017 a 2018 byla nula udělena dohromady jen ve dvou případech, vypadala veřejně dostupná data týkající se nul za zprávu v kritériu 1B takto:
2015 (zadání 4): 371 nul, 2016 (zadání 10): 19 nul, 2017 (zadání 10): 60 nul, 2018 (zadání 1): 140 nul
Školení externistů Cermatu nepochybně není akcí, která je veřejně přístupná. Jména řady svých externích spolupracovníků Cermat dokonce stále utajuje. Pokud se někdo dozvěděl nějaké jiné než zveřejněné informace v rámci školení externistů, pak jde nepochybně o informace interní. Docela by mě zajímalo, kde vlastně ta tichá pošta tak ostudně selhala: Popletl to už účastník školení, nějaký prostředník, anebo až onen diskutující? I to je důvod, proč se má argumentovat pouze veřejně dostupnými informacemi.
A konečně, co si myslet o inteligenci člověka, který argumentuje údaji z let 2015, 2017 a 2018, ale nezajímá se o tentýž údaj z roku 2016? Proč se v Cermatu nezeptal, když JEMU Cermat odpovídá obratem, a dokonce kvůli němu aktualizuje již zveřejněné údaje?
S hodnocením zprávy je to od začátku, od roku 2012, celé takové podivné (viz diskuze k článku „Oldřich Botlík: Opravené podklady pro tiskovou zprávu k hodnocení maturitních prací“). Řada otázek zůstává nezodpovězená. V souvislosti s článkem, pod nímž probíhá tato diskuze, se nabízejí třeba tyto:
1.Proč jsou některá data přístupná jen pro školící se externisty?
2.Proč Cermat na školení externistů, kterého se zúčastnil J. Soukal, uvedl jen data k hodnocení zprávy za vybrané roky, tj. 2015, 2017 a 2018 (jak J. Soukal psal v jednom z komentářů k výše uvedenému článku), a ne všechny relevantní údaje, které J. Soukal uvádí v těchto hodnotách: 2013 – 31; 2014 – 49; 2015 – 347; 2016 – 8; 2017 – 0; 2018 – 2? Úplná a částečná data přece vytvářejí zcela odlišný obraz o školním a centrálním hodnocení.
3.Jak lze vysvětlit výkyv v roce 2015?
1) Pro začátek uveďme, že FALŠOVATELEM DŮVODOVÉ ZPRÁVY JE POUZE OLDŘICH BOTLÍK.
2) V rozporu s tvrzením O. Botlíka NEEXISTUJE JEDINÝ ÚDAJ, KTERÝ BY HOVOŘIL VE PROSPĚCH ŠKOLNÍHO HODNOCENÍ. Naopak všechny zveřejněné údaje ukazují, že TVRZENÍ MINISTRA ŠKOLSTVÍ VE SMYSLU, ŽE NEHROZÍ SNÍŽENÍ MATURITNÍ LAŤKY, JE EVIDENTNĚ NEPRAVDIVÉ.
3) Tady diskuse o rozdílu centrálním a školním hodnocení končí.
4) Svoji domněnku o možném částečném výkladu důvodové zprávy jsem sám odvolal, neboť ve skutečnosti hovořila proti tomu, co ukazují všechny údaje z hodnocení písemné práce. Další a další komentáře na toto téma JSOU EVIDENTNĚ ZOUFALÝM POKUSEM ODVÉST POZORNOST OD PODSTATY VĚCI, VIZ BODY 1 a 2.
5) Jak jsem uvedl, nečerpal jsem údaje z webu. Uváděné údaje jsou ve dvou případech ZCELA PŘESNÉ, v jednom případě se liší o necelých devět procent, přičemž upravený údaj NIJAK NEZKRESLUJE ZÁKLADNÍ INFORMACI O POČTU NUL.
6) Informace o počtu udělených nul NEJSOU INTERNÍ, externí spolupracovníci (a kdokoli další, kdo se s informacemi seznámí) nejsou nijak omezeni v jejich šíření, např. mezi své kolegy na škole.
7) Cermat mi tedy potvrdil neutajované informace. O potvrzení jsem požádal na základě prosby p. Lukáše.
Jediné, co mohu z kritických komentářů přijmout, je fakt, že jsem si měl zjistit informace z dalších let. Rozdíl v počtu udělených nul školními hodnotiteli a centrálními hodnotiteli tedy zřejmě není či nemusí být tak extrémní, pouze několikanásobně vyšší. Všem čtenářům se za nechtěné zkreslení omlouvám.
... rozdílu mezi...
Pane Lukáši,
odpovědi na všechny otázky, které pokládáte, jsou důležité.
Pro vysvětlení výkyvu v roce 2015 mám nějaké hypotézy. Raději bych ale počkal, až Cermat údaje z bodu 2 potvrdí. Jak se totiž ukázalo, J. Soukal není důvěryhodný zdroj.
Pokud o ta čísla požádal podle zákona o svobodném přístupu k informacím, měl by je Cermat do 15 dní zveřejnit (nejspíš zase v nějakém úkrytu). Pokud je J. Soukalovi poskytli v Cermatu "jen tak", měli by je samozřejmě poskytnout "jen tak" rovněž vám, případně mně.
Napíšete jim, nebo to mám udělat já?
Ještě krátký dodatek k mému předcházejícímu komentáři o nezodpovězených otázkách:
Josef Soukal není v diskutované věci příliš podstatný. On říká, co říká Cermat. Nepřemýšlí o tom, neklade otázky – zkrátka věří.
Podstatné je, jak Cermat nakládá s informacemi – jaké informace poskytuje veřejnosti a jak informace interpretuje.
Jak jsem ukázal, slovo důvěryhodnost je v případě O. Botlíka naprosto nepoužitelné. Výsledky maturit vypovídají o hodnocení maturitních slohů jednoznačně, O. Botlík však o nich mlčí, nebo je dezinterpretuje, popř. se je pokouší překrýt dalšími zkreslujícími informacemi. Dokladem je i jeho nedávná Analýza propadovosti... a Opravené podklady. Je naprosto neomluvitelné, že první z obou "tiskových zpráv" je stále na webu, dokonce bez toho, aby alespoň v úvodu upozornila na to, že titulek je zcela nepravdivý. Pokud vím, O. Botlík proti tomu nikdy veřejně neprotestoval a nevyjádřil se ani k článkům, které z této nepravdivé zprávy vycházejí.
V těchto tiskových zprávách O. Botlík píše o předvídatelnosti hodnocení, ačkoli je mu známo, že hodnocení na školách vykazuje dva základní problémy, které ho činí neobjektivním, takže jde o předvídatelnost v tom, že hodnotitelé na školách budou vylepšovat výsledky žáků. Tyto problémy konstatovala mj. důvodová zpráva k novele školského zákona z r. 2015.
O. Botlík se rád namyšleně a hloupě vyjadřuje k inteligenci jiných, přitom se sám spoléhá především na primitivní strategii polopravd a nepravd intenzivně šířených v médiích. Rozhodnutí činěná právě na základě medii pokřivené skutečnosti nemohou nebýt diletantská a nepoškozovat vzdělávání. Jen velmi nemoudrý člověk si může vytyčit takovýto cíl.
O. Botlík: "Napíšete jim, nebo to mám udělat já?"
Hodnověrná data by byla pro řešení diskutovaného problému víc než žádoucí.
Rád bych Vám navrhl, abyste o příslušné informace požádal Cermat Vy. Myslím, že se v této věci orientujete o hodně líp než já.
Děkuji a věřím, že Cermat bude reagovat rychle a jasně.
Dobrá, pane Lukáši,
poslal jsem před chvílí do Cermatu tuto žádost.
Žádost o poskytnutí informace podle zákona č. 106/1999 Sb., o svobodném přístupu k informacím, v platném znění
Požadované informace se týkají hodnocení maturitní písemné práce (PP) z ČJL v letech 2012 až 2018 včetně, kdy si v jarním termínu maturanti mohli jako zadání vybrat psaní zprávy. Jedná se tedy o celkem sedm maturitních ročníků. Vzhledem k tomu, že podstatnou částí požadované informace jsou počty žáků, rád bych upřesnil, že jde o tzv. prvomaturanty (žáky, kteří psali PP v řádném termínu). Ohledně případného zahrnutí/nezahrnutí žáků s přiznaným uzpůsobením podmínek (PUP) vycházím Centru vstříc – jediným požadavkem (kvůli srovnatelnosti) je, aby všech sedm souborů žáků bylo vytvořeno stejným způsobem (tj. nikoli například v jednom roce prvomaturanti bez PUP, ve druhém třeba prvomaturanti s PUP 1. skupina, v dalším všichni prvomaturanti bez ohledu na PUP).
Za každý rok 2012 až 2018 včetně požaduji
a) Metodický pokyn pro hodnotitele PP z ČJL platný pro hodnocení PP jarního termínu v příslušném roce (tj. analogii souboru, který je pro rok 2014 k dispozici na adrese www.novamaturita.cz/maturitni-zkouska-2014-1404037587.html);
b) číslo zadání se zprávou a jeho autorizované znění;
c) popis složení souboru žáků (tj. prvomaturanti + příp. kteří žáci s PUP);
d) celkový počet žáků v souboru;
e) celkový počet žáků z bodu d), kteří psali zprávu;
f) počet žáků z bodu e), jejichž PP získala (před případným odvoláním) 0 bodů celkem v důsledku nuly v kritériu 1B;
g) počet žáků z bodu f), kterým byla nula v kritériu 1B udělena (před případným odvoláním) kvůli nedodržení rozsahu;
h) počet žáků z bodu f), kterým byla nula v kritériu 1B udělena (před případným odvoláním) z jiných důvodů než nedodržení rozsahu;
i) u kolika žáků z bodu h) pokládá Centrum udělení nuly v kritériu 1B za chybu hodnotitelů spočívající v nedodržení Metodického pokynu pro hodnotitele PP z ČJL platného v příslušném roce a uvedeného v bodě a);
j) počet žáků z bodu h), kteří se proti výsledku hodnocení odvolali;
k) počet žáků z bodu h), jejichž odvolání bylo vyřízeno kladně.
(pokračování v dalším komentáři)
(pokračování žádosti o informace z předchozího komentáře)
Odůvodnění žádosti
Josef Soukal uvedl 16. března 2019 v 8:21 v diskusi o hodnocení maturitních písemných prací pod článkem Oldřich Botlík: Opravené podklady pro tiskovou zprávu k hodnocení maturitních prací (Za svými slovy si i nadále stojím) zveřejněném na České škole dne 14. března 2019 informaci, která se později ukázala jako nepravdivá:
Jiný příklad: Hned v prvním ročníku CH se strhla polemika o definici útvaru ZPRÁVA. Cermat respektoval vyjádření Ústavu pro jazyk český AV (jež zohlednilo publicistickou praxi, nikoli praxi výukovou) a jako vyhovující hodnotil i ty práce, které byly z hlediska školní výuky OZNÁMENÍM (vadná hodnocení v tomto podkritériu byla dána nedodržením metodiky některými hodnotiteli). Od té doby se situace nezměnila. Přesto se objevuje výrazná disproporce mezi hodnocením školním a centrálním - např. v r. 2015 školní hodnotitelé udělili v tomto podkritériu za zprávy ve 380 případech nula bodů (tudíž práce "neprošly"), v l. 2917 a 2018 centrální hodnotitelé udělili nulu dohromady ve dvou případech (…). Je pravděpodobné, že část školních hodnotitelů se závazného stanoviska ÚJČ nedržela.
Jak J. Soukal následně napsal, požádal Centrum o přesné informace. Byly mu poskytnuty v podstatě obratem a Centrum potom aktualizovalo některé již zveřejněné datové soubory.
V celé záležitosti nyní ovšem panuje značný zmatek. Informace, které požaduji, mají k nalezení odpovědi jasný vztah. J. Soukal tvrdí, že jsou předmětem školení externích spolupracovníků Centra. Předpokládám tudíž, že Centrum jimi disponuje – jinak by je stěží mohlo zodpovědně šířit a interpretovat.
Věřím, že Centrum má stejně jako já zájem na tom, aby veřejnost dostávala přesné a úplně informace, a proto mou žádost vyřídí bez zbytečných odkladů.
O podání žádosti i o jejím vyřízení hodlám informovat veřejnost na stránkách Česká škola.
Okomentovat