V podkladech pro tiskovou zprávu EDUinu vydanou dne 11. března 2019 s titulkem Analýza propadovosti – Hodnotitelé na školách dosahují stabilnějšího výsledku jsem se dopustil chyby, za kterou se čtenářům ještě jednou omlouvám. Spočívala v tom, že jsem hodnocení písemných prací z češtiny, které žáci psali v roce 2013 jako součást společné části maturitní zkoušky, zahrnul pod centrální hodnocení organizované Cermatem, ačkoli práce byly tehdy hodnoceny na školách. Zdrojová data jsem proto přepočítal. Jaké jsou tedy správné číselné výsledky téže jednoduché analýzy? Budou-li interpretovány stejně jako poprvé, co z původní tiskové zprávy už neplatí? A co naopak platí i nadále?
 |
| Oldřich Botlík (eduin.cz) |
Původně stejné počty se tedy změnily na nepoměr, v němž srovnávání přestalo být korektní. U čtyř hodnocení totiž existuje ze zřejmých důvodů více příležitostí, aby maximální výkyv mezi jejich výsledky byl větší než u hodnocení dvou – zde například kvůli třikrát delšímu časovému rozpětí.
2. Jaké jsou nové hodnoty maximálních výkyvů ve výsledcích hodnocení?
Největší výkyv propadovosti při hodnocení na školách je mezi začátkem a koncem čtyřletého období 2013–2016 a činí 0,86 procentního bodu. Rozdíl mezi oběma hodnotami propadovosti centrálního hodnocení za období 2017–2018 činí 0,50 procentního bodu. Po přepočtu velikosti těchto maximálních výkyvů na průměrný počet 66 693 žáků za sledované období 2013–2018 to znamená maximální výkyv 572 propadlíků při školním hodnocení a maximální výkyv 329 propadlíků při hodnocení centrálním.
3. Důsledky pro titulek tiskové zprávy
Čistě technicky z toho vyplývá, že informace „Hodnotitelé na školách dosahují stabilnějšího výsledku“ není pravdivá. Korektnější srovnání ovšem bude možné už po letošním jarním kole. Přál bych maturantům, aby naznačený „trend“ meziročního nárůstu propadovosti při centrálním hodnocení nepokračoval. Bude-li však pokračovat, informace „Hodnotitelé na školách dosahují stabilnějšího výsledku“ jako interpretace těchto jednoduchých dat už za dva měsíce zase pravdivá bude. Rozdíl v propadovosti za tři ročníky by totiž činil 1,00 procentního bodu, a byl by tedy větší než maximální výkyv 0,86 procentního bodu zjištěný u čtyř ročníků hodnocení na školách.
4. Důsledky pro argumentaci, že spory kvůli počtům propadlíků jsou absurdní
Zatímco původní rozdíl mezi počty propadlíků, které odpovídají maximálním výkyvům, činil 587 žáků, nyní činí pouze 243 žáků (572 – 329 = 243). Ukazuje se tedy, že zmíněné spory jsou z tohoto hlediska ještě výrazně absurdnější. Tento hlavní argument tiskové zprávy proto získal na síle.
5. Tatáž argumentace vyjádřená jinými slovy
Protože jsem z komentářů pod tiskovou zprávou nabyl dojmu, že některým diskutujícím unikla podstata argumentace, dovolím si ji vysvětlit podrobněji.
Pokud je mi známo, neexistují žádné veřejně dostupné informace o dvojím nezávislém hodnocení reprezentativních vzorků písemných prací, které by umožnily korektně srovnat výsledky práce hodnotitelů na školách s výsledky práce centrálních hodnotitelů. Provedení takových hodnocení jsem v minulosti několikrát navrhoval, ale marně. Ukazatele typu „počet propadlíků“, případně „počet podaných odvolání“ jsou totiž jen velmi dílčí (například odvolání může podat každý maturant – důležité je, kolika odvoláním je nakonec vyhověno a z jakých důvodů). Počty propadnuvších prvomaturantů jsou nicméně veřejně dostupné v souvislé časové řadě a – upřímně řečeno – hodně žáků zajímá hlavně to, aby nepropadli.
Na jediné mně známé dvojí hodnocení vzorku písemných prací, jež ovšem pokládám za nekorektní, se odvolávala důvodová zpráva k novele školského zákona, kterou se s účinností od jara 2017 vrátilo hodnocení písemných prací do Centra. Tisková zpráva citovala má slova, jimiž jsem použitý argument označil za zfalšovaný. Odkaz na důvody, které pro to mám, je uveden na konci. Z dnešního pohledu je pak možné dodat, že argument byl vyvrácen rovněž samotným návratem k centrálnímu hodnocení v roce 2017.
Tisková zpráva srovnávala rozdíl mezi maximálními výkyvy centrálního a školního hodnocení, který se zmenšil a po opravě činí pouhých 242 žáků. Centralisté volají po větším počtu propadlíků, který pokládají za přiměřenější úrovni některých písemných prací, s nimiž se při centrálním hodnocení setkávají. Absurditu sporů mezi centralisty a decentralisty spatřovala tisková zpráva v tom, že ve zdánlivě objektivním maturitním testu z češtiny jde o řádově větší výkyvy. Například v roce 2017 upravily dosud neznámé osoby bodování nejméně pěti uzavřených úloh. Podle tehdejšího ředitele Cermatu neexistují pro bodování úloh žádná pravidla. Cermat přitom zjevně nedodržuje ani zadání ministerstva školství, které požaduje meziročně srovnatelnou náročnost maturitního testu. Lze se o tom snadno přesvědčit v oficiálních analýzách výsledků maturitní zkoušky. Zmíněná úprava vedla ke změně v počtu propadlíků o 4 379 žáků. To je – po přepočtu na stejné počty maturujících žáků – dvacetkrát (!) více, než činí rozdíl ve výkyvech hodnocení písemných prací, o který se přou centralisté s decentralisty.
Za svými slovy citovanými na konci tiskové zprávy EDUinu z 11. března 2019 si proto i nadále stojím.
------------------------------------------------------------------------------------------------------------------------ Odůvodnění, proč nebyla oficiální argumentace pro návrat k centrálnímu hodnocení korektní, naleznete například zde
Tisková zpráva tehdejšího ředitele Cermatu, v níž konstatoval, že pro bodování testových úloh neexistují žádná pravidla, byla zveřejněna zde
Oficiální grafy trendů vývoje výsledků maturitních testů z češtiny jsou na straně 12 analytického materiálu uveřejněného zde
Původní tiskovou zprávu naleznete zde
26 komentářů:
Pane Botlíku, aby vaše čísla o něčem vypovídala, měl byste mít srovnání všech tří částí maturitní zkoušky u každého žáka, tzn. úspěšnost v DT, PP a ÚZ. Tam teprve můžete dojít k nějakým relevantním závěrům. Výborný žák bude výborný ve všem, slabý bude slabý ve všem a průměrný bude průměrný ve všem. Ale samozřejmě se může stát ledacos i v tomhle případě. Jsou to tři různé časové termíny a žák může mít někdy svůj špatný den.
Komentář V. Stanzla odjinud:
Myslím, že celý článek měl skončit hned po tomto konstatování v bodě 1.: "Původně stejné počty se tedy změnily na nepoměr, v němž srovnávání přestalo být korektní." To by naopak bylo jednoznačně korektní (a smysluplné).
14. března 2019 13:14
Protože se Oldřich Botlík nadále pokouší mást veřejnosti manipulativními tvrzeními a účelovým výběrem dat, znovu uvádím svůj komentář k původní zprávě:
Je těžké a lidsky nepříjemné reagovat na článek, v němž se suverénně tvrdí, že obhájci centrálního hodnocení cosi chtějí apod., aniž by to bylo podloženo čímkoli věcným, a který zamlčuje podstatné skutečnosti. V podstatě nejde o nic jiného než o snahu autora odvést pozornost od své vlastní motivace někoho a něco pošpinit. Stačí pohled do souhrnných výsledků maturitní zkoušky dostupných na stránkách Cermatu a snadno zjistíme, že ve skutečnosti centrální hodnocení především narovnává výraznou celkovou disproporci v hodnocení na různých typech škol. V zásadě platí, že čím mají žáci určitých typů škol celkově slabší výsledky, tím větší je snaha vylepšit tyto výsledky tam, kde je hodnocení právě v rukou škol. Údaje Cermatu - nejen ty o procentu úspěšných odvolání - a samotná organizace hodnocení (a revize hodnocení) dále ukazují, že centrální hodnocení mnohem účinněji chrání žáky před hodnocením nekvalitním. Některé doklady lze najít v Připomínkách ASČ k novele školského zákona.
Nejnovější maturitní výstupy O. Botlíka znovu ukazují, proč je nutné jakékoli jeho tvrzení přijímat s velkou rezervou. Bohužel právě takovéto manipulace dostávají mimořádný prostor v médiích a vytlačují skutečně věcnou a seriózní diskusi na maturitní téma.
Další komentář připojím později.
OB pro Komsomolskou pravdu vyjádřil přesvědčení, že poctivá (jeho) argumentace může být solidním východiskem bez ohledu na data, ze kterých vychází. Data jsou jen pokřiveným obrazem reality, kterou ON (OB) nadán ezoterickými schopnostmi dokáže očistit od bahna všedního dne a zobrazit úzkým prizmatem snů, které se mu zdají, když náhodou nespí.
Kde tady prodávají sítě?
Škoda slov. Když pánovi není trapně samotnému, tak mu asi není pomoci.
Argumentace odpůrců Cermatu je ale čímdáltím zoufalejší.
Ještě slíbený komentář:
1) V důvodové zprávě zmiňované O. Botlíkem se v příslušné pasáži nejprve píše o nárůstu „počtu písemných prací maturujících žáků, které byly učiteli z kmenových škol hodnoceny takovým nejnižším možným bodovým hodnocením, aby žák ještě u této dílčí zkoušky uspěl a nemusel zkoušku opakovat". Tento stav centrální hodnocení v r. 2017 zčásti, v r. 2018 téměř úplně napravilo.
Připojuji údaje vždy za jarní termín:
V r. 2016 udělili školní hodnotitelé 12 bodů ČTYŘICETKRÁT častěji než již "neúspěšných" 11 bodů a dvacetkrát častěji než 10 bodů, konkrétně (v procentech) 4 : 0,1, resp. 4 : 0,2.
V r. 2018 tento poměr činil 2,1 : 0,8, resp. 2,1 : 1,0;
Vzhledem k celkové křivce počtu prací podle udělených bodů by měl první z uvedených poměrů být asi 2,1 : 1,5; druhý poměr (2,1 : 1,0) je již standardní.
2) Důvodová zpráva pokračuje:
"Kontrolní komparační hodnocení vybraného vzorku písemných prací z ČJL hodnotiteli CZVV také ukazuje, že určitá část učitelů českého jazyka a literatury stále není při hodnocení prací schopna správně aplikovat jednotnou metodiku. (…)“
K tomu cituji z jiného svého komentáře:
"S prvním centrálním hodnocením se ukázalo, že část češtinářů vůbec nebrala metodiku vážně; tuším p. Feřtek si tenkrát posteskl, že část maturantů dokonce neví, co některá podkritéria znamenají (takže se s nimi evidentně ve škole nepracovalo).
Jiný příklad: Hned v prvním ročníku CH se strhla polemika o definici útvaru ZPRÁVA. Cermat respektoval vyjádření Ústavu pro jazyk český AV (jež zohlednilo publicistickou praxi, nikoli praxi výukovou) a jako vyhovující hodnotil i ty práce, které byly z hlediska školní výuky OZNÁMENÍM (vadná hodnocení v tomto podkritériu byla dána nedodržením metodiky některými hodnotiteli). Od té doby se situace nezměnila. Přesto se objevuje výrazná disproporce mezi hodnocením školním a centrálním - např. v r. 2015 školní hodnotitelé udělili v tomto podkritériu za zprávy ve 380 případech nula bodů (tudíž práce "neprošly"), v l. 2917 a 2018 centrální hodnotitelé udělili nulu dohromady ve dvou případech (…). Je pravděpodobné, že část školních hodnotitelů se závazného stanoviska ÚJČ nedržela."
3) Kontrolní komparační hodnocení se v celkových výsledcích výrazně odlišuje od celkových výsledků hodnocení v r. 2017 a v r. 2018 – právě kolem toho tančí O. Botlík svůj válečný tanec. Počet neúspěšných prací (v procentech) činil v r. 2016 1,4, v r. 2017 3,1 a v r. 2018 3,6. Prognóza možného více než pětinásobného zvýšení se tedy nepotvrdila; k výraznému zvýšení neúspěšnosti ovšem došlo.
Komparační hodnocení naopak velmi správně ukázalo, že u některých typů škol - zejména škol nejslabších - dochází k neuvěřitelnému zlepšování výsledků u písemné zkoušky; viz příslušné grafy v Připomínkách Asociace češtinářů k novele školského zákona.
Výsledky maturitní zkoušky V ÚHRNU ukazují, že až na výjimky platí úměra "čím horší celkové horší maturitní výsledky v určitém typu školy, tím lepší výkony v těch částech zkoušky, kde o hodnocení rozhodují učitelé". Centrální hodnocení tedy nerovnováhu hodnocení alespoň částečně vyrovnává;
ZÁVĚR: Pokud tedy v souvislosti s Botlíkovým článkem lze užít slova FALŠOVÁNÍ, tak pro BOTLÍKOVA MANIPULATIVNÍ TVRZENÍ A ÚČELOVÝ "VÝCUC" Z DŮVODOVÉ ZPRÁVY.
...čím horší celkové maturitní výsledky...
J. Soukal:
"Přesto se objevuje výrazná disproporce mezi hodnocením školním a centrálním - např. v r. 2015 školní hodnotitelé udělili v tomto podkritériu za zprávy ve 380 případech nula bodů (tudíž práce "neprošly"), v l. 2017 a 2018 centrální hodnotitelé udělili nulu dohromady ve dvou případech (…). Je pravděpodobné, že část školních hodnotitelů se závazného stanoviska ÚJČ nedržela."
Prosím o informaci, jak to bylo v tomto podkritériu (předpokládám, že se jedná o 1B) v letech 2013 a 2014.
A ještě prosím totéž za rok 2016.
Mám jen informace uváděné v rámci školení externistů Cermatu; požádám o rozšíření.
Děkuji. A dovolte ještě tři otázky:
1. „v l. 2017 a 2018 centrální hodnotitelé udělili nulu dohromady ve dvou případech“
Toto je ověřená informace? Pocitově (tj. vzhledem k tomu, že v ostatních zadáních v tomto kritériu byla myslím 0 udělena častěji) se mně to zdá být poměrně málo pravděpodobné.
2. „Hned v prvním ročníku CH se strhla polemika o definici útvaru ZPRÁVA. Cermat respektoval vyjádření Ústavu pro jazyk český AV (jež zohlednilo publicistickou praxi, nikoli praxi výukovou) a jako vyhovující hodnotil i ty práce, které byly z hlediska školní výuky OZNÁMENÍM“
Ano, toto odpovídá znění závazné metodiky („METODICKÝ MATERIÁL pro hodnotitele písemných prací“) z roku 2016, kde se píše: „V případě, že písemná práce je zpracována v budoucím čase (a podle řady učebnic by tedy takový text byl považován za oznámení), nelze udělit 0 bodů. Rozdíl mezi zprávou a oznámením je totiž minimální. Tento přístup k hodnocení zprávy je v souladu se stanoviskem Ústavu pro jazyk český AV ČR.“
Píšete, že „Cermat jako vyhovující hodnotil i ty práce, které byly z hlediska školní výuky OZNÁMENÍM“. Chci se zeptat, co zde znamená „vyhovující“, tedy zda se v letech, kdy byly slohovky hodnoceny centrálně (2012, 2017 a 2018) strhávaly v kritériu 1B body, pokud byl text napsán v budoucím čase. A případně kolik, když „rozdíl mezi zprávou a oznámením je minimální“?
3. „Je pravděpodobné, že část školních hodnotitelů se závazného stanoviska ÚJČ [při hodnocení zprávy v roce 2015] nedržela.“
„Závazné stanovisko ÚJČ“ je součástí závazné metodiky z roku 2016. Domnívám se, že nebylo součástí závazné metodiky, podle které se opravovalo v roce 2015. Tam se, podle mého názoru (můžu se ale mýlit), hodnotilo podle „METODICKÉHO MATERIÁLU pro hodnotitele písemných prací“ z roku 2013, kde pokyn „V případě, že písemná práce je zpracována v budoucím čase…“ není obsažen. Znovu opakuju: Patrně se mýlím, pravděpodobně nemám úplné informace, proto prosím o odkaz na závazný metodický pokyn Cermatu k této věci pro hodnocení tohoto aspektu v roce 2015.
Proč vlastně nepřidat maturantovi ten jeden bod, který rozhodne v jeho prospěch?
Kdo kontroluje superobjektivní centrální kyborgy zda také nepřidávají či neubírají body?
Kam až zajde hon na objektivitu?
Jak se superobjektivní centrální kyborgové vypořádají s faktem, že ne všechny školy mají stejné hodinové dotace, stejně dobré učitele, stejně nadané žáky se stejně ambiciózními/movitými rodiči?
Pane Lukáši,
k bodu 1 uvádím, že jde o ověřenou informaci. K bodu 2 a 3: Ohledně zprávy se metodika samozřejmě nezměnila, to by se muselo změnit příslušné stanovisko ÚJČ AV. Vámi zmiňovaná metodická příručka se nevěnuje všem útvarům, nepředstavuje kompletní informace k hodnocení. V r. 2013 - a zde spekuluji - zřejmě nikoho nenapadlo, že by vzhledem k obrovské medializaci hodnocení maturitních písemných prací pojetí zprávy mohlo představovat problém, v r. 2016 už zřejmě bylo patrné, že část češtinářů hodnotí, jak sama chce. Přesné informace o hodnocení v případě nedodržení zadání ve smyslu "zpráva o průběhu akce" by vám poskytl Cermat.
Děkuji za odpověď. Rád bych Vám v souvislosti s Vaším příspěvkem z 16. března 2019 8:21 položil ještě pět otázek:
1. Za informaci, že „v l. 2017 a 2018 centrální hodnotitelé udělili nulu dohromady ve dvou případech“, tedy osobně ručíte?
2. Potvrzujete, že hodnotitelé písemných prací v roce 2016 měli oficiální závazný pokyn Cermatu „V případě, že písemná práce je zpracována v budoucím čase (a podle řady učebnic by tedy takový text byl považován za oznámení), nelze udělit 0 bodů", v roce 2015 však takový pokyn neměli (protože se, podle Vašeho názoru, nepředpokládalo, „že by vzhledem k obrovské medializaci hodnocení maturitních písemných prací pojetí zprávy mohlo představovat problém“, tj. medializaci v roce 2012)?
3. Můžete prosím uvést, kolik zpráv dostalo v roce 2016 v kritériu 1B 0 bodů?
4. Měli školní hodnotitelé v roce 2015 nějaký oficiální pokyn, zda mají za zprávy v budoucím čase strhávat v kritériu 1B nějaké body? Nebo to bylo na jejich rozhodnutí, tj. někdo mohl, a jiný nemusel?
5. Nepodařilo se Vám zjistit, jak byla zpráva v kritériu 1B hodnocena v letech 2013 a 2014?
Pane Lukáši,
přehled nul za zprávy připojuji níže. To, co uvádíte v bodě 2), z mého komentáře nevyplývá. Jaké informace školní hodnotitelé v jednotlivých rocích obdrželi, to nevím.
Co se týče podkritéria 1B, udělení nul za zprávu: Uvědomil jsem si, že přísnější hodnocení školních hodnotitelů neodpovídá obecné tendenci školního hodnocení (nejen písemných prací z češtiny), tedy vylepšování výsledků, zejména u typů škol s celkově slabými výsledky. Proto je moje argumentace v daném ohledu irelevantní.
Nuly za zprávu:
2013 - 31
2014 - 49
2015 - 347 (jde o nižší počet, než jsem uváděl - předchozí údaj zahrnoval i práce, které neprošly kvůli rozsahu; za omyl se omlouvám)
2016 - 8
2017 - 0
2018 - 2
J. Soukal: „přehled nul za zprávy připojuji níže“
Pane Soukale, prosím o uvedení zdroje, z něhož svá data čerpáte. Oficiální data Cermatu pro rok 2017 a 2018 jsou zásadně odlišná: https://vysledky.cermat.cz/statistika/Default.aspx.
Domnívám se proto, že Vaše tvrzení „v l. 2017 a 2018 centrální hodnotitelé udělili nulu dohromady ve dvou případech“ je NEPRAVDIVÉ.
J. Soukal: „Jaké informace školní hodnotitelé v jednotlivých rocích obdrželi, to nevím.“
To je zvláštní, myslel jsem, že jste v letech, kdy se maturitní písemné práce hodnotily ve školách, i Vy byl jejich hodnotitelem.
Každopádně je zřejmé, že Vaše tvrzení „Je pravděpodobné, že část školních hodnotitelů se závazného stanoviska ÚJČ nedržela“ je NESMYSLNÉ. V roce 2015 se ho nemohli školní hodnotitelé držet, protože ho neznali.
J. Soukal: „Uvědomil jsem si, že přísnější hodnocení školních hodnotitelů neodpovídá obecné tendenci školního hodnocení (nejen písemných prací z češtiny), tedy vylepšování výsledků, zejména u typů škol s celkově slabými výsledky. Proto je moje argumentace v daném ohledu irelevantní.“
Ano, to se může stát.
Článek Oldřicha Botlíka, k němuž je připojena tato naše diskuze, začíná větou: „V podkladech… jsem se dopustil chyby, za kterou se čtenářům ještě jednou omlouvám.“
Váš příspěvek, v němž přiznáváte svou chybu, končí větou: „Proto je moje argumentace v daném ohledu irelevantní.“
Interpretaci tohoto srovnání nechť učiní čtenáři České školy.
"Každopádně je zřejmé, že Vaše tvrzení „Je pravděpodobné, že část školních hodnotitelů se závazného stanoviska ÚJČ nedržela“ je NESMYSLNÉ. V roce 2015 se ho nemohli školní hodnotitelé držet, protože ho neznali."
Proč nesmyslné? Podívaj se na tajnýho. Ten se drží výhradně toho, co nezná. Ostatně těžko se může držet něčeho jiného.
"Pro pana Doležela: Přiznám se, že je pro mě náročné vést diskuzi s někým, kdo není učitel a neučil. Když se podívám sám na sebe, jak přemýšlím nyní a před dráhou učitele. Je to asi jako rozdíl kluka, co vymetá diskotéky a otce... Pardón, ale spoustu věcí vidím úplně jinak než kdysi. Věřím, že by to byl i Váš případ." T. Chrobák, 19. března 2019 16:12
No jo no. Akorát ten kluk trvá na tom, že jeho vidění světa je jediné správné a ještě tátu ponižuje.
Pane Lukáši,
nevím, čeho jste chtěl v této polemice dosáhnout, ale žádné z vašich vyjádření nezpochybnilo základní skutečnosti:
1) O. BOTLÍK ZKRESLIL DŮVODOVOU ZPRÁVU, PŘEDESTŘEL FALEŠNÝ PROBLÉM, OBVINIL PŘEDKLADATELE ZPRÁVY Z FALŠOVÁNÍ A NEPŘEDLOŽIL PRO SVÁ TVRZENÍ JEDINÝ DŮKAZ.
2) Údaje z centrálního hodnocení písemných prací z ČJL v l. 2017 a 2018 potvrdily základní skutečnosti vyplývající z důvodové zprávy, především že u zkoušek hodnocených ve školách dochází k VYLEPŠOVÁNÍ VÝKONŮ MATURANTŮ, ZEJMÉNA U TYPŮ ŠKOL S CELKOVĚ SLABÝMI VÝSLEDKY.
Dále: Nechám na čtenářích, aby posoudili, nakolik je porovnatelná korektnost mých vyjádření a vyjádření O. Botlíka. V mém případě šlo o omyl týkající se mého vlastního výkladu jedné pasáže důvodové zprávy. Tento omyl se nijak nedotýká samotného vyznění důvodové zprávy ani obsahu vyjádření O. Botlíka.
Vaše tvrzení o tom, co mohli a nemohli znát školní hodnotitelé, není pravdivé. Přinejmenším část hodnotitelů v době před r. 2015 hodnotila zcela v intencích centrálního hodnocení z r. 2012. Když kvůli ničemu jinému, tak kvůli tomu, že se zajímala o to, co se v souvislosti s hodnocením řeší, a promítla to do své práce.
Váš pokus oddělit moji formulaci „v l. 2017 a 2018 centrální hodnotitelé udělili nulu dohromady ve dvou případech“ od předchozí části souvětí, tj. od toho, že se mluví o pracích vztahujících se k útvaru zpráva, považuji za dětinský.
Úsudek o důvěryhodnosti a argumentační přesvědčivosti předsedy Asociace češtinářů Josefa Soukala si mohou čtenáři České školy udělat i na základě jeho tvrzení, odpovědí, a především NEodpovědí v této diskuzi.
Pane Soukale, budu se snažit být co nejvěcnější, i když je to v reakci na Váš poslední příspěvek hodně obtížné.
J. Soukal: „nevím, čeho jste chtěl v této polemice dosáhnout“
Myslím, že je každému normálně vnímajícímu a myslícímu čtenáři jasné, že od začátku se zde zabývám VAŠIMI TVRZENÍMI ohledně kritéria 1B u hodnocení zprávy. Na začátku bylo tušení, že opravdu nehorázně žvaníte, na konci mohu znovu konstatovat, že Vaše tvrzení jsou NESMYSLNÁ a NEPRAVDIVÁ.
J. Soukal: „Nechám na čtenářích, aby posoudili, nakolik je porovnatelná korektnost mých vyjádření a vyjádření O. Botlíka.“
No, nechme na čtenářích, pane Soukale, pokud toto myslíte vážně, aby posoudili charakter Josefa Soukala.
J. Soukal: „Přinejmenším část hodnotitelů v době před r. 2015 hodnotila zcela v intencích centrálního hodnocení z r. 2012. Když kvůli ničemu jinému, tak kvůli tomu, že se zajímala o to, co se v souvislosti s hodnocením řeší, a promítla to do své práce.“
Pevně doufám, že toto je opravdu jen Váš osobní postoj. Že toto není stanovisko Asociace češtinářů. A především, že se s něčím takovým ani náznakem neztotožňuje Cermat. Protože to by se i ta poslední důvěra v serióznost státní maturity zcela rozplynula.
J. Soukal: „Váš pokus oddělit moji formulaci „v l. 2017 a 2018 centrální hodnotitelé udělili nulu dohromady ve dvou případech“ od předchozí části souvětí, tj. od toho, že se mluví o pracích vztahujících se k útvaru zpráva, považuji za dětinský.“
Prosím o vysvětlení – na základě čeho jste k tomuto dospěl? Je snad zřejmé, že se tady celou dobu bavíme o kritériu 1B u zprávy. Vy píšete, že zde byla udělena nula „dohromady ve dvou případech“. To neodpovídá oficiálním datům Cermatu (https://vysledky.cermat.cz/statistika/Default.aspx). Můžete to vysvětlit? A znovu prosím o uvedení zdroje, z něhož svá data čerpáte.
2 nebo 200 nul, to je pánům šumafuk. Mají potřebný nadhled a když se kácí les...
Pane Lukáši,
diskutujete s člověkem, který nejspíš není schopen elementární abstraktní úvahy.
Zmíněná důvodová zpráva k novele školského zákona uvádí, že na kontrolním vzorku z roku 2014 vzrostla po přehodnocení neúspěšnost z hodnoty 1,8 % na 10,1 %. Proč byl tento argument zfalšovaný?
Údaje o propadovosti v písemné práci z češtiny v jarním kole na výsledkovém portálu maturitní zkoušky vypadají takto:
2013 – 2,3 %, 2014 – 1,6 %, 2015 – 1,8 %, 2016 – 1,4, 2017 – 3,1 %, 2018 – 3,6 %.
To znamená, že v roce 2017, kdy se práce zase začaly hodnotit v centru, NESTOUPLA propadovost oproti roku 2014 více než pětkrát, jak by odpovídalo argumentu z důvodové zprávy, nýbrž méně než dvakrát.
Podle výsledků prvního hodnocení po návratu do centra je zcela zjevné, že zmíněné přehodnocení nemohlo pracovat s reprezentativním vzorkem. Ovšem hodnoty získané na vzorku lze korektně zobecnit na celý soubor pouze tehdy, jestliže vzorek byl dostatečně reprezentativní a přehodnocením korektní.
Důvodová zpráva neuvádí ani postup výběru hodnotitelů, kteří prováděli přehodnocení, ani instrukce, které hodnotitelé dostali. Nepopisuje dokonce ani velikost vzorku a jeho další vlastnosti. Předkladatel zákona tento zfalšovaný argument přesto použil a naši zákonodárci ho přijali.
Korektní experiment s přehodnocením by měl dodržet mimo jiné následující pravidla:
Hodnotitelé provádějící přehodnocení nesmějí vědět, co je cílem experimentu. Nesmějí tudíž obdržet k přehodnocení žádné jiné instrukce než ty, které mají k dispozici při hodnocení běžném. Cíl experimentu nesmějí odhalit ani z převládající úrovně hodnocených písemných prací. Proto musejí dostat k přehodnocení jak práce slabé, tak práce průměrné i nadprůměrné. Práce musejí být vybrány náhodně a vzorek má být dostatečně velký, aby bylo možné zobecnit získaný výsledek na celý soubor. Zhruba pětinásobný nárůst neúspěšnosti se totiž může projevit i na vzorku pouhých deseti prací. Náhodný musí být i samotný výběr hodnotitelů. Mezi hodnotiteli na školách byli i lidé, kteří se veřejně zasazovali o návrat centrálního hodnocení. Pokud by převládli v týmu, který prováděl přehodnocení, už jenom kvůli tomuto nedostatku by nešlo objektivitu celého experimentu úspěšně hájit.
Pane Lukáši,
na vaše permanentní výpady nebudu reagovat, vyslovím se pouze k vašim pochybnostem o počtu nul v podkritériu 1B. Čerpal jsem z údajů CZVV uváděných v rámci školení externistů. Nesoulad s údaji na stránce, k níž odkazujete, je dán tím, že na této stránce se nerozlišují nuly udělené za zásadní nedostatky v některém z podkritérií od nul udělených za nedostatečný rozsah (u prací, jež nesplnily tuto podmínku, se automaticky uvádí nula ve všech podkritériích). Tyto informace čerpám z odpovědi na dotaz, který jsem CZVV dnes zaslal. Podle odpovědi budou data vbrzku strukturována přehledněji.
Tak pánové, když to tedy necháte na čtenářích, aby posoudili, tak já se stavím na stranu zdravého rozumu, tj. po bok pana Soukala, mé maminky, která je učitelkou, mé profesorky matematiky z gymnázia, pana Kostečky, pánů Mádra a Vaňka, pana Pelikána, paní Brandtnerové, pana P.R. a desítek tisíc dalších lidí, kteří jsou zdrávi na duchu a mají elementární pochopení pro pozorované jevy.
Mašíblů bylo už dost, byť je jich v populaci pár procent. Nevím, proč se shlukují zrovna do těchto míst. Zkuste si ještě dupnout nožičkou a bouchnout pěstičkou do stolu.
Jistě, kdo má stejný názor jako já, ten je "zdráv na duchu a má elementární pochopení pro pozorované jevy", kdo ne, to je "mašíbl". Bože, dej, ať demagogové mohou na děti působit co nejméně.
Okomentovat