Ustanovení § 73 školského zákona říká: „Účelem závěrečné zkoušky a maturitní zkoušky je ověřit, jak žáci dosáhli cílů vzdělávání stanovených rámcovým a školním vzdělávacím programem v příslušném oboru vzdělání, zejména ověřit úroveň klíčových vědomostí a dovedností žáka, které jsou důležité pro jeho další vzdělávání nebo výkon povolání nebo odborných činností.“
Uzavřené (zaškrtávací) testové úlohy tuto úroveň ověřovat nemohou, protože z jednoho písmena se nedá vyvodit, že žák učivo ovládá.
 |
| Oldřich Botlík (eduin.cz) |
Test ČJL nemůže být ověřující hlavně kvůli ministerskému požadavku na meziročně srovnatelnou obtížnost, kterou si Cermat přinejmenším od roku 2013 vykládá tak, že každý rok musí propadnout vyšší procento žáků než minule. Letos nepropadly více než čtyři tisíce maturantů jenom díky dostatku žáků, kterým nepomohla ani změna bodování. Příště tomu může být naopak.
Podle ředitele Cermatu byla část úloh zařazena do testu s funkcí rozlišující. Kvalitní rozlišování spočívá obecně v tom, že různé úlohy mají velmi odlišné množiny úspěšných řešitelů. Pokud však čtyři úlohy testu (z toho dvě formátu A/N) dosáhly úspěšnosti přes 90 %, množiny jejich úspěšných řešitelů se musejí z velké části překrývat. Přinejmenším některé úlohy formátu A/N tedy neplní v testu ČJL ani funkci rozlišující.
Pokud chcete problému rozumět lépe, najdete detaily níže.
Ověřující test
Cílem ověřujícího testu je zjistit, které části učiva si testovaný žák osvojil. Ověřující funkci mohou v maturitním testu plnit pouze úlohy, v nichž žák svou odpověď sám tvoří. Uzavřené (zaškrtávací) úlohy ji nemohou plnit z principu, neboť nepoznáme, jak žák ke své odpovědi dospěl.
Podívejme se například na úlohu 30: Kterým větným členem je sloveso vyhnout se ve větě „Ve společnosti se nejvíce oceňuje umění vyhnout se všemu, co by ostatním způsobilo újmu“? A) předmět, B) přísudek, C) přívlastek neshodný, D) příslovečné určení místa.
O žácích, kteří odpověděli A, B, nebo D, můžeme zjednodušeně usoudit, že příslušnou oblast učiva neovládají. Zjednodušeně například proto, že v závěru testu už mohli být ve velké časové tísni a správně volili strategii náhodného tipování. Z toho ale vůbec nevyplývá, že ti, kteří zaškrtli správnou odpověď C, učivo ovládají. Ani zjednodušeně.
Také oni mohli například tipovat, tentokrát naopak úspěšně. Výběrových úloh formátu „jediná správná ze čtyř“ je v testu dvacet. Po řadě mají tyto správné odpovědi: DDCD DCDB AABA CDBB ACAD. Tak jednoduchou informaci může v učebně předat nejlepší češtinář mezi žáky dohodnutým způsobem všem ostatním během dvou, tří minut, aniž by si toho dohlížející učitel všiml. Je tedy zřejmé, že ověřující funkci nemohou plnit ani úlohy formátu A/N. U nich jsou totiž tipování a přenos informace o správných odpovědích ještě snazší než u úloh formátu „jediná správná ze čtyř“.
Uzavřených (zaškrtávacích) úloh, tedy úloh nepoužitelných k ověřování, je v maturitním testu z češtiny dvacet sedm (!) a mají celkovou bodovou dotaci 38 bodů. Je zřejmé, že maturitní test z češtiny, který je součástí maturitní zkoušky, nevyhovuje ustanovení § 73 školského zákona.
Rozlišující test
Cílem použití rozlišujícího testu je získat dostatečně jemnou škálu výkonů všech testovaných žáků a zařadit do ní (na příslušnou příčku pomyslného žebříčku) každého žáka co nejobjektivněji. To znamená, že výkon žáka je srovnáván s výkony ostatních žáků a test nemá ambice zjistit, které části učiva žák zvládl, a které nikoli. Případně dokonce v jaké míře je zvládl.
Rozlišující test, který je konstrukčně v pořádku, především nesmí obsahovat více úloh dávajících výsledky blízké 0 % nebo 100 %. Vysokého průměrného výsledku obvykle dosahuje první úloha testu, které se někdy říká také „rozjížděcí“. Jejím úkolem je totiž uklidnit žáky, aby si řekli: „Když tohle bylo tak snadné, tak snad zvládnu i zbytek.“ Rozlišující funkci rozjížděcí úlohy tedy autoři testu obětují ve prospěch pozitivního dopadu úlohy na psychiku testovaných žáků. Loni se to Cermatu vůbec nepovedlo, letos báječně: rozjížděcí úloha 1 měla průměrný výsledek 95,86 %.
K původní dvojici úloh s průměrným výsledkem nad 90,00 % (ta druhá měla číslo 5 a průměrný výsledek 92,07 %) se ovšem po změně bodování „vecpaly“ ještě dvě další úlohy: úloha číslo 4 s průměrným výsledkem 92,69 % a úloha číslo 10 s průměrným výsledkem 91,21 %. A to už je příliš velká tlačenice: jejich výsledky totiž splývají u tolika žáků, že tyto úlohy nemohou kvalitně plnit rozlišující funkci. Z matematického hlediska měří vlastně totéž co úloha rozjížděcí, i když se každá zaměřuje na úplně jiné učivo a dvě z nich mají i jiný formát.
Test rozlišující i ověřující
O tomto hybridu ředitel Cermatu Jiří Zíka mluví velmi často. Říká, že i pro slabší žáky je v testu dost snadno „dostupných“ bodů postačujících k tomu, aby nepropadli. Nabízejí je podle něj úlohy ověřující zvládnutí skutečně základního učiva – zbývající úlohy pak prý slouží k tomu, aby dostatečně rozlišily mezi žáky. Loni objasnil Jiří Kostečka konstrukci testu takovým způsobem, že jsem na to musel reagovat v Lidových novinách. Redakce dala mému komentáři výstižný titulek Co najdeme pod kamenem.
Představte si, že by o vašem osudu rozhodoval test, ve kterém musíte získat aspoň 22 bodů. Máte na vybranou mezi dvěma variantami. V první můžete to nutné minimum vylovit z 50 bodů, ve druhé máte k dispozici jen 40 bodů. Druhou možnost by si dobrovolně vybral jen člověk padlý na hlavu.
Věřte nevěřte, maturanti ze středních odborných škol nedostali ani na vybranou: museli lovit ze 40 bodů. V sobotu to oznámil Jiří Kostečka, zakladatel 22členné Asociace středoškolských češtinářů. A ještě tuhle nehoráznou lumpárnu obhajoval. Test prý musí dát gymnazistům příležitost vyniknout, a tak do něj byly zařazeny i úlohy, které „skutečně míří spíše na gymnazisty“.
Jak jsem uvedl výše, ověřující funkci mohou v testu plnit pouze úlohy otevřené. Je jich pět (3, 14, 21, 26 a 29) a všechny skončily v poslední třetině pořadí podle průměrné úspěšnosti (57,84 % až 40,25 %).
Závěr
Výsledky letošního (ale i loňského) testu ukazují, že úlohami nabízejícími „snadné“ body jsou úlohy uzavřené (zaškrtávací). Ty nic ověřovat nemohou. Principiální problém je především v tom, že školský zákon neposkytuje Cermatu pro takto konstruovaný test žádnou oporu. Po letošní změně bodování úloh formátu A/N ovšem došlo k tomu, že čtyři uzavřené úlohy s nejlepším průměrným výsledkem nemohou plnit kvalitně ani funkci rozlišující.
Příště
V dalšímu dílu seriálu si ukážeme, jak autoři testu dosahují vysoké propadovosti, ačkoli většina žáků vlastně umí česky docela dobře.
Předchozí díly seriálu naleznete zde, zde a zde
27 komentářů:
Je opět nutné odkázat na loňský článek AČ, který ukazuje, jak Oldřich Botlík převrací výroky Jiřího Kostečky a jak "logická" jsou jeho vyjádření.
Klíčová je, jak už to bývá, definice pojmu. Pan Botlík cíl ověřujícího testu definuje takto: Cílem ověřujícího testu je zjistit, které části učiva si testovaný žák osvojil.
Obecně přijatá definice je ale jiná, byť se liší zdánlivě nepatrně:
* U ověřujících testů je kritériem úspěchu předem stanovený stupeň zvládnutí učiva, požadují u vybraných základních poznatků úplné zvládnutí, neusilují o diferencované hodnocení žáků. Cílem těchto testů je v podstatě rozhodnout, zda žák zvládl učivo nebo nikoli. -- zdroj
* Cílem testu je ověřit, zda si žák osvojil určité znalosti a dovednosti, které jsou předem stanoveny jako podstatné. -- zdroj
* In this case, the objective is simply to see whether the student has learned the material. -- zdroj
S dovolením se tedy přidržím obecně přijímané definice. Cílem ověřujícího testu není jít na úroveň znalostí jednotlivých pojmů, ale ověřit, že znalosti jako celek dostatečně splňují předem stanovené požadavky.
Je pravda, že u uzavřených úloh lze náhodně odpovědět správně. Proto se dává uzavřených úloh víc, aby žák, který pouze tipuje, měl velmi malou pravděpodobnost, že nasbírá dostatečný počet bodů, a žák, který učivo ovládá, velmi vysokou pravděpodobnost, že se mu to podaří. K tomu slouží u ověřujících testů tzv. klasifikátory. Matematici si o nich mohou přečíst víc. V podstatě se jedná o klasifikační modely tzv. strojového učení. Uzavřené úlohy, pokud je jich dost a mají dobrou rozlišovací schopnost, se pro klasifikátory velmi hodí, i když každá sama o sobě připouští možnost náhodného uhodnutí.
A konečně je pravda, že si žáci mohou napovídat a opisovat. To ovšem není vada testu jako takového, ale jeho administrace. Navíc:
* Opisování lze právě u uzavřených úloh dobře statisticky detekovat, s tím mám i osobní zkušenosti.
* Test lze mít ve více variantách, které se liší jen změněným pořadím úloh nebo distraktorů.
Když to shrnu -- nemohu souhlasit s tím, že uzavřené úlohy v principu nemohou sloužit pro účely ověřujícího testu. Při metodicky správném použití a dostatečné technické kvalitě rozhodně mohou.
Kombinace maturity z češtiny a skvělého cenzora tento web ničí.
Pane Hučíne díky. Pan Botlík opět předvádí propagandu a žongluje si s pojmy jak se mu to zrovna hodí. Smůla je v tom, že on to prostě nevidí a neuvidí. Není mu dáno. Naopak, zjevně věří, že jim to zase nandal. To je neštěstí tyhlety poruchy.
Oldřich Botlík opět předvádí svou neuvěřitelnou drzost a nulovou sebereflexi. Poté co jsme v loňském článku (odkázal na něj výše kolega Stanzel) shrnuli jeho tehdejší manipulace, opakuje je znova, zřejmě s přesvědčením, že stokrát opakované se stává pravdou. Je to princip jeho počínání - spojovat skutečnost s manipulacemi a nepravdami a hlavně neustále veřejnost bombardovat články s cílem vytvořit dojem, že novou maturitu neprovází nic jiného než problémy.
Ještě připomínám, že podle výsledků testy v úhrnu odrážejí studijní předpoklady žáků.
Dovětek: Je příznačné, že z České školy zmizely blogy Z. Sotoláře (o Stanzlově článku jsem psal včera), ale zato se vrátil Botlík a začal se objevovat Tajný Učitel, tedy jedinci, jejichž texty a komentáře opakovaně vykazují výrazné etické deficity.
Jednota českých matematiků a fyziků je příliš elitistická (O. Šteffl, prafarázuji), Asociace češtinářů má jen 22 členů (O. Botlík). Ale o Společnost učitelů ČJL se opřít můžeme (SUCJL promiňte, ale jste tu v roli rukojmích).
Pane Hučíne,
pokud jsem dobře porozuměl vaší argumentaci, tvrdíte v zásadě, že jedna zaškrtávací úloha nic ověřovat nemůže, ale když je takových úloh v testu dostatek a mají jako celek jisté vlastnosti, mohou tvořit ověřující test.
Zkusím to „přeložit“ do příkladu uvedeného v článku: Kterým větným členem je sloveso vyhnout se ve větě „Ve společnosti se nejvíce oceňuje umění vyhnout se všemu, co by ostatním způsobilo újmu“? A) předmět, B) přísudek, C) přívlastek neshodný, D) příslovečné určení místa.
Já bych tu úlohu – i jako zaškrtávací – sice koncipoval jinak, ale předpokládám, že podle vás (i podle mě) tedy sama o sobě nemůže ověřovat, zda maturant dosáhl určité úrovně zvládnutí učiva o větných členech. Protože jde o nástroj, který je pro použití k tomuto účelu z více důvodů nedokonalý. Pokud vám správně rozumím, tvrdíte, že když se tento nástroj použije v testu mnohokrát, pak za jistých předpokladů může sloužit k ověření, že žák dosáhl stanovené úrovně zvládnutí učiva stanoveného Katalogem požadavků pro ČJL. No, když myslíte…
Proč tedy vlastně Cermat nahradil část zaškrtávacích úloh úlohami otevřenými, v nichž se odpovědi žáků vyhodnocují obtížně, zdlouhavě a nákladně? V češtině je jich pět, v matematice více – v obou předmětech ale Cermat zaskočilo, že i velmi primitivní otevřené úlohy mají výrazně nižší průměrné výsledky, než naznačovaly výsledky úloh uzavřených, a to i úloh značně složitých.
Maturita je zkouška individuální. Pokud test složený ze zaškrtávacích úloh vůbec má schopnost vypovídat o tom, že určitý testovaný žák zvládl/nezvládl učivo v katalogu jako celek, činí tak s určitou mírou pravděpodobnosti. A především: celá situace, v níž se žák během testování ocitá, je umělá. Má pramálo společného s ověřením úrovně klíčových vědomostí a dovedností žáka, které jsou důležité pro jeho další vzdělávání nebo výkon povolání nebo odborných činností. Jak požaduje zákon.
Dovolím si otázku, pane Hučíne, abych měl jistotu, že vám opravdu rozumím.
Je vlastností testu nutnou k tomu, aby byl ověřující, že ho (teoreticky) mohou složit všichni testovaní žáci? Že tedy žádný testovaný žák nepropadne?
"O žácích, kteří odpověděli A, B, nebo D, můžeme zjednodušeně usoudit, že příslušnou oblast učiva neovládají. Zjednodušeně například proto, že v závěru testu už mohli být ve velké časové tísni a správně volili strategii náhodného tipování. Z toho ale vůbec nevyplývá, že ti, kteří zaškrtli správnou odpověď C, učivo ovládají. Ani zjednodušeně.
Také oni mohli například tipovat, tentokrát naopak úspěšně. Výběrových úloh formátu „jediná správná ze čtyř“ je v testu dvacet. Po řadě mají tyto správné odpovědi: DDCD DCDB AABA CDBB ACAD. Tak jednoduchou informaci může v učebně předat nejlepší češtinář mezi žáky dohodnutým způsobem všem ostatním během dvou, tří minut, aniž by si toho dohlížející učitel všiml. Je tedy zřejmé, že ověřující funkci nemohou plnit ani úlohy formátu A/N. U nich jsou totiž tipování a přenos informace o správných odpovědích ještě snazší než u úloh formátu „jediná správná ze čtyř“."
A přes to všechno testy odrážejí studijní předpoklady žáků. Role náhody a po opatřeních Cermatu i role opisování je s vysokou mírou pravděpodobnosti mnohem nižší, než se O. Botlík pokouší předestřít. A naopak - znalosti jsou zásadní.
"Po řadě mají tyto správné odpovědi: DDCD DCDB AABA CDBB ACAD. Tak jednoduchou informaci může v učebně předat nejlepší češtinář mezi žáky dohodnutým způsobem všem ostatním během dvou, tří minut, aniž by si toho dohlížející učitel všiml."
Tenhle návod poskytuje O. Botlík žákům opakovaně. Zřejmě to ale zase tak jednoduché nebude.
Pane Botlíku, souhlasím, že jedna uzavřená úloha neověřuje. Více úloh na podobné téma ověřovat může. Např. pokud chci mít test ověřující zvládnutí malé násobilky, úspěch v jediné uzavřené úloze mi nedá skoro žádnou informaci, ale 9 správně vyřešených úloh z 10 uzavřených (nebo naopak jen 3 z 10) mi dostatek informace dá. A máte pravdu, že ta informace vede jen k rozhodnutí s určitou pravděpodobností. Nicméně dostatek dobře rozlišujících uzavřených úloh a citlivě stanovené cut-off score může pravděpodnost false negative (neoprávněného propadnutí) snížit třeba na setiny procenta.
Rozhodování mezi zařazením uzavřených a otevřených úloh je nekonečný příběh. To je na samostatnou debatu.
Na Vaši otázku ze závěru odpovídám: ano, ověřující test musí připouštět, že v něm teoreticky mohou uspět všichni účastníci. Stejně tak musí připouštět opak, tj. že v něm mohou všichni neuspět.
ad Jan Hučín
Ano, ověřující test musí připouštět, že v něm teoreticky mohou uspět všichni účastníci. Stejně tak musí připouštět opak, tj. že v něm mohou všichni neuspět.
Taky si to myslím, pane Hučíne. Pak ovšem opravdu nerozumím tomu, proč jste letošní maturitní test z ČJL opakovaně označil za ověřující, resp. ověřovací (jak jste uváděl).
Celý tento seriál přece systematicky předkládá důkazy, že v letošním testu ČJL nemohli – a to ani teoreticky – uspět (případně neuspět) všichni testovaní žáci.
Netuším, jak Cermat zajišťoval předem, aby letošní test ČJL byl stejně náročný jako ten loňský. Dokázal jsem ze zveřejněných prvotních dat, že test stejně náročný nebyl, ačkoli letošní předpoklady byly ideální (stejný katalog požadavků, stejný počet testovaných žáků, stejný podíl gymnazistů, stejná struktura testu).
Když Cermat zjistil, že letošní test byl náročnější než loňský, korigoval existující stav (lhostejno, zda primárně průměrný výsledek v testu, nebo počet propadajících žáků) tak, aby dosáhl loňského výsledku, kdy propadlo 5 169 žáků a test měl průměrný výsledek 32,98 bodu. Postupy, které použil, byly absurdní a stejně nevedly k úspěchu: letos propadlo 5 896 žáků a průměrný výsledek byl jen 32,59.
Nevím, zda Cermat chápe meziroční srovnatelnost testů (tedy JEDINÝ požadavek MŠMT) jako srovnatelné počty propadlých, jako srovnatelné průměrné výsledky obou testu nebo nějak jinak. Letošní kroky Cermatu však v každém případě vylučují možnost, že by v maturitním testu ČJL 2017 mohli teoreticky uspět (případně neuspět) všichni testovaní žáci.
A protože jsme se shodli, že to je vlastnost nutná k tomu, aby test mohl být ověřující, pak tedy maturitní test ČJL 2017 ověřující nebyl.
Pane Botlíku, z jedné poloviny s Vámi souhlasím. Je tuším v kompetenci ministra posunout hranici směrem dolů. Pokud by podle původní hranice neuspěl nikdo, předpokládám, že by se hranice posunula nebo výsledku testu anulovaly. Asi se tedy nemůže stát, že by všichni propadly.
Nechápu ale, proč by nemohli -- teoreticky -- uspět všichni. Přece žádnému žákovi nic nebrání, aby se na test dostatečně naučil, například intenzivní přípravou v posledním pololetí. Testy se připravují dlouho dopředu a kalibrují na jiné skupině žáků, než jsou účastníci ostrého testování. Obtížnost testů tedy ani nemůže reagovat na to, že se žáci v posledních měsících náhle začali učit. (Podotýkám, že mluvíme o teoretické možnosti.)
Nejsem sice středoškolský učitel češtiny, ale o maturitu se stále zajímám.Co konkrétně letos vyloučilo možnost uspět v maturitním testu všem žákům, resp. co jim znemožnilo v něm všem neuspět? Prosím p. Botlíku jasně a stručně. Děkuji.
oprava: "propadli" :-)
Je tuším v kompetenci ministra posunout hranici směrem dolů.
Já o žádné takové kompetenci ministryně/ministra školství nevím a pochybuji, že by ji měl. Ředitel Cermatu J. Zíka prohlásil v rozhovoru pro DVTV, že ministerstvo školství o změnách bodování (pěti uzavřených úloh) neinformoval a ani nevidí důvod, proč by to měl udělat.
Pokud jde o změnu bodování úlohy 14.3, dostal jsem před chvílí e-mail od vedoucí oddělení všeobecného vzdělávání MŠMT Mgr. Štěpánky Thérové, ve kterém píše, že mi dříve omylem poslala starou verzi položkové analýzy testu ČJL – tu, kterou obdržela validační komise CZVV a v předstihu členové Nezávislé odborné komise (NOK). Píše: „Po validaci na CZVV došlo na doporučení validační komise k přehodnocení úlohy č. 14.3, proto členové Nezávislé odborné komise obdrželi v listinné podobě správné položkové analýzy na vlastním jednání.“
Zápis z jednání NOK je velmi obecný,stručný a neurčitý. Protože již stará verze položkové analýzy ČJL obsahuje výsledky pěti uzavřených úloh po přebodování, domnívám se, že si členové NOK vůbec nemuseli nesmyslného bodování těchto pěti uzavřených úloh všimnout. Ředitel Zíka prostě soustředil jejich pozornost na změnu bodování úlohy 14.3, kterou vysvětlit musel, protože předložil novou položkovou analýzu. Je možné, že jiné bodování pěti uzavřených úloh členům NOK prostě uniklo.
Právě změny bodování úloh v testu ČJL (víme tedy nyní už o šesti úlohách s novým bodováním) ovšem vysvětlují, proč nemohlo dojít k tomu, že by všichni maturanti v testu propadli, resp. že by nepropadl nikdo.
Oba tyto výsledky by totiž byly interpretovány jako nedodržení požadavku meziročně srovnatelné náročnosti testu: v prvním případě (všichni propadli) by byl test hodnocen veřejností jako příliš náročný, ve druhém případě (nikdo nepropadl) by byl test hodnocen veřejností jako příliš snadný. Je to jeden z důvodů, proč Cermat manipuluje s bodováním úloh (podle vyjádření J. Zíky k tomu už došlo mnohokrát).
Neustále rostoucí podíl propadlíků v testu ČJL musím na základě letošního výsledku hodnotit jako záměr, protože právě letos byla ideální situace k tomu, aby podíl zůstal zachován.
Jak už jsem myslím uváděl, meziročně srovnatelná náročnost testu je jediným zadáním, které Cermat od ministerstva školství má. Alespoň to – v odpovědi na přímý dotaz EDUinu – sdělila MgA. Klára Bílá, vedoucí oddělení vnějších vztahů a komunikace MŠMT, e-mailem z 10. května 2017. Je jasné, že meziročně srovnatelná náročnost testu je VELMI složitý pojem, zvlášť v situaci, kdy se mění poměr gymnazistů a negymnazistů v souboru testovaných žáků. Propadovost je jednoduchým kritériem, kolem něhož se ostatně točí také tiskové konference k výsledkům maturitních testů, které pořádá ministr/ministryně školství.
Bez ohledu na to, jak žáci látku uměli a jak byl test ČJL skutečně náročný, muselo letos propadnout o něco víc než 5 169 maturantů, což byl loňský výsledek. O něco víc proto, že ředitel Zíka (a další) se netají názorem, že u nás je maturantů příliš mnoho. Ale nikoli o mnoho víc možná proto, že na podzim budou volby… Bezdůvodný nárůst o 727 maturantů (= 5 896 – 5 169) veřejnost ještě skousla.
Připouštím, že právo posunu hranice možná neexistuje a zůstalo pouze ve stadiu návrhu.
Spolu s panem Steklým ale stále čekáme na vysvětlení, proč by u testu z ČJL nemohli teoreticky uspět všichni. Konkrétně -- proč by ani teoreticky nemohla nastat situace, že se všichni žáci k testu připraví natolik dobře, že získají dostatek bodů pro úspěšné složení zkoušky.
No, myslel jsem si, že jsem to vysvětlil jasně a srozumitelně.
Pes bude asi zakopán v rozdílném chápání slova teoreticky.
Předpokládejme (kvůli zjednodušení výkladu – reálně by to samozřejmě byla hloupost), že by Cermat na jaře 2018 poslal do škol stejný test jako na jaře 2017. A žáci by se mezitím – teoreticky – zdokonalili v tom, co tento test zjišťuje. Natolik, že by podle pravidel bodování z roku 2017 nikdo z nich v testu nepropadl. (Snad se shodneme na tom, že stoprocentní úspěšnost všech můžeme vyloučit i teoreticky.)
Potom by ale Cermat musel přistoupit ke zpřísnění bodování, aby dosáhl meziročně srovnatelné náročnosti. Protože jeho úkolem je zachování náročnosti, která je posuzována podle procenta propadlých. Možná by Cermat zpřísnil bodování ve stejných úlohách, v nichž je předtím zmírnil, anebo v úlohách jiných – nesvazují to žádná pravidla, ani interní. Zvolený postup by závisel hlavně na tom, co jak vyjde.
A jak říká ředitel Zíka, bodování z předchozího roku je zcela irelevantní – vždycky platí jen aktuální bodování, které stanoví koordinátor předmětu, metodik předmětu a ředitel Cermatu.
Takže, paradoxně, přestože by šlo o identický test a o „kvalitnější“ žáky, musel by Cermat opět usilovat o to, aby procento propadlých o něco málo vzrostlo („maturantů máme moc“). Pokud by počet testovaných žáků zůstal stejný, asi by veřejnost skousla namísto letošních 5 896 propadlých i cca 7 000 neúspěšných maturantů. Bude už po volbách…
Ministr školství měl zcela jistě minimálně v prvních dvou letech SM možnost měnit cut-off score podle toho, jaké byly výsledky - tak jsme byli tehdy informováni Centrem (bohužel to nemohu doložit konkrétním materiálem). A MŠMT zveřejňuje každý rok dokument KRITÉRIA HODNOCENÍ ZKOUŠEK A DÍLČÍCH ZKOUŠEK SPOLEČNÉ ČÁSTI MATURITNÍ ZKOUŠKY, v němž má možnost (samozřejmě ještě před konáním MZ) měnit hodnotu C-OS.
Pojďme tedy teoreticky uvažovat o Vaší modelové situaci. Žáci se připraví lépe natolik, že všichni uspějí s dostatečnou rezervou (takže se nedostanou pod hranici úspěšnosti ani při hypotetické změně částečného bodování) a své správné odpovědi vyznačí nesporně.
CERMAT by v takovém případě nemohl dělat nic, ani kdyby hypoteticky chtěl. Nemůže žákům odepřít body za správné odpovědi -- každý by se odvolal a vyhrál by. Tj. stále bude platit, že je možné dosáhnout stoprocentního podílu úspěšných. Což podle mého názoru dokazuje, že v tomto smyslu by byla dodržena nutná podmínka pro ověřující test -- teoreticky kdokoliv může uspět bez ohledu na výsledky ostatních.
O tom, jak CERMAT interpretuje pojem srovnatelná náročnost, je možné diskutovat (bez znalosti metody CERMATu bohužel jen akademicky), ale už je to mimo téma Vašeho článku. Ten pojednával o možnosti použít uzavřené úlohy v ověřujícím testu, což jsem už vyjasnil ve svém prvním komentáři.
Podle toho, co jsem se dočetl, je obtížnost testu měřena podílem počtu všech dosažených bodů a celkového maximálního možného počtu bodů (sčítáno přes všechny subjekty testování). Pokud je tento průměr u maturitních DT mezi 50-60 a minimální hranice je něco málo nad 40, pak lze meziroční srovnatelnost obtížnosti testu zajistit, aniž by kdokoliv neuspěl.
Podstatou je ale skutečnost, kterou píše pan Hučín. Výsledek žáka nezávisí na výsledcích ostatních. A to ani tehdy, když Cermat provede ex-post změnu v bodování úloh. Při jakémkoliv bodování nebude úspěch jednoho vylučovat úspěch druhého, jako tomu je kupříkladu u přijímacích zkoušek, kde je omezený počet míst, která lze obsadit. Maturitní DT jsou čistě ověřovací a cílem vzdělávání je maximalizovat počet těch, jejichž znalosti jsou ověřeny jako dostatečné. Ovšem tohoto cíle je třeba dosáhnout skutečně vzděláváním, nikoliv posouváním hranice požadavků ad absurdum. A to je to, co třeba nechápe tajnej, Feřtek, Kartous, Howe a další "myslitelé" post-racionální doby. Proč? Protože jim připadá jako velký intelektuální výkon prakticky cokoliv (od diskuse o uprchlících, až po roznásobování závorek) a originální je i vyblití z okna.
Bez ohledu na Botlíkovu propagandu, neexistuje jeden jediný žák, kterému by změna bodování jednotlivých úloh uškodila. Neexistuje tedy nikdo, kdo by byl před změnou úspěšný a po změně neúspěšný.
Nechci být neodbytný, pane Hučíne, neboť diskuse s vámi se mi líbí. Mám po dlouhé době na ČŠ zase pocit, že je věcná, pomáhá oběma stranám tříbit názory a formulace a snad je i srozumitelná čtenářům. Děkuji vám za ni.
ANO, za teoretických okolností, které popisujete, by Cermatu opravdu nezbývalo nic jiného, než nechat všechny maturanty projít. Jenomže by tím samozřejmě reálně vznikla situace, kdy by Cermat nesplnil ministerské zadání. Proto ta situace nemůže nastat a já se nechci přít o to, zda ani teoreticky, nebo jen reálně. Cermat by takový test nikdy do škol neposlal. Neboť psychologicky je lepší, když se bodování následně zmírňuje než zpřísňuje.
Ve svém prvním komentáři jste vyjasňoval možnost použít uzavřené úlohy v ověřujícím testu. Já jsem si chtěl ujasnit, co je ověřující test.
Napsal jste později, že ověřující test musí připouštět, že v něm teoreticky mohou uspět všichni účastníci. Stejně tak musí připouštět opak, tj. že v něm mohou všichni neuspět. Myslím, že jsme na základě letošní zkušenosti oba vyloučili, že by v testu ČJL mohli všichni neuspět. Navíc právě letos někteří žáci uspěli jen díky dostatku žáků, kteří neuspěli z jiných důvodů. Jejich osud tedy závisel na jiných.
Mně to takhle stačí – závěr ať si každý udělá sám.
Teoretické úvahy jsou jedna věc, skutečný průběh druhá. Odhadoval jsem z dat (přesně se to udělat nedá – podklady chybějí), kolik žáků mohlo mírnější bodování podúlohy 14.3 zachránit od propadnutí. Řekl bych, že jich bylo kolem 180. Představuji si, jak to v Cermatu asi proběhlo.
Koordinátor a metodik ČJL na koberečku u ředitele Cermatu
J. Zíka: „Pěkně jste mi zavařili – má propadnout 10275 maturantů. Z toho by Valachovou trefil šlak. Co s tím budeme dělat?“
Koo-met: „Co doporučuješ, Jirko?“
J. Zíka: „Už jsem to nechal spočítat. Zmírníme bodování úloh A/N a úlohy 20 a propadne jen 6076 žáků. Když mi ten postup jako autoři testu navrhnete, jako ředitel ho schválím.“
Koo-met: „Tak jo.“
Jednání validační komise o pár dní později, 10. května
Člen1: „Heleďte, není ten nárůst propadlých moc nápadný, když jich loni bylo jen 5169? Nenašla by se tam možnost, jak to dostat pod 6 tisíc?“
Člen2: „Napadají mě ten vid a slovesný rod v podúloze 14.3. Stejně je to taková blbost – to nikomu nebude vadit. Jen doufám, že kódovali každé zvlášť, aby hodnotitelé nemuseli procházet všechny záznamové archy znovu.“
Člen3: „Jo, kódovali. Tuhle chybu udělali jen jednou v roce 2015 – teď už na to pamatují. Necháme to tedy přepočítat?“
Člen2: „Tak jo.“
Jednání Nezávislé odborné komise 12. května
J. Zíka: „Nechal jsem vám na základě doporučení validační komise připravit nové podklady. Po změně bodování podúlohy 14.3 klesne počet propadlých na 5896.“
Odborník1: „Ale pane řediteli, mně takový postup vadí z metodického hlediska.“
Odborník2: „Prosím vás, Cermat už má připravené výsledky k rozeslání do škol. Přece nechcete, aby to znovu přepočítával.“
Odborník3: „Heleďte, já myslím, že těch původních 6076 bylo moc. Když bude propadlých pod šest tisíc, bude to vypadat líp.
Odborník2: „Tak jo.“
Z posudku Nezávislé odborné komise (to už NENÍ fikce)
[…] Didaktický test z českého jazyka a literatury je konstrukčně v pořádku. Všechny úlohy jsou formulovány jednoznačně, mají jednoznačně správná řešení uvedená v klíči správných řešení. Odpovídají svou náročností požadavkům kladeným na maturanty v Katalogu požadavků […]. Všechny úlohy i test jako celek vykazují dobré a stabilní, Centrem doložené psychometrické vlastnosti pro daný typ zkoušky.
Botlíku, nemanipulujte. Teoretická možnost, že všichni v maturitních DT uspějí existuje. Vaše nutná podmínka pro ověřovací test je splněna. Takto je zkouška koncipována a takto jedině má smysl.
Pravidla úspěšnosti jsou dána předem s jedinou výjimkou, a tou jsou možné ex-post úpravy bodování, které nikoho (vůbec nikoho) nepoškodí. Takové úpravy mě skutečně netrápí ani v nejmenším. Pokud vás ano, zkuste jógu.
Jste to vy, kdo se snaží tlačit Cermat k tomu, aby DT nebyly ověřovací a děláte to tím, že se ho snažíte nahnat do pasti stejného podílu neúspěšných v domnění, že srovnatelnost obtížnosti testu znamená konstantní podíl neúspěšných. Zcela při tom opomíjíte zásadní skutečnost, že meziroční srovnatelnost testů je vlastností výhradně testů, nikoliv vlastností populací studentů. Pokud se liší populace studentů v jednotlivých letech z hlediska kognitivních schopností (třeba proto, že některé ročníky jsou početně slabší, zatímco kapacity středních škol jsou víceméně konstantní, nebo spíše ještě rostou a tudíž se na ně dostanou i ti, kteří by se v populačně silnějších ročnících nedostali), tak se můžete jít se všemi vašimi sáhodlouhými pseudoanalýzami dat zahrabat, protože to nemáte jak ověřit. Nemáte nástroj na oddělení vlivu náročnosti testu a vlivu vlastností populace, které neměříte. To je první důvod, proč je celé to vaše rádoby odborné cvičení předkládané vašim nebohým žáčkům, zcela irelevantní. Jako vždy se patláte v nesmyslech. Je to jako když někdo dokazuje dvacet let nějakou větu, která neplatí a myslí si, že jí dokázal, protože vychází z neplatného předpokladu. Jakákoliv ekvilibristika s čepičkami a prádelními hrnci, je tak zcela zbytečná a působí jako parodie. Kdybyste postupoval vědecky korektně, tak byste postupoval od předpokladů k závěru a nikoliv od závěru k předpokladům. To se člověku hnedle stane malér.
Druhá chyba, které se dopouštíte, je předpoklad, že cílem Cermatu je konstantní podíl neúspěšných, který údajně znamená meziroční srovnatelnost obtížnosti testů. Inu, dle definice obtížnosti testu tomu tak není. Pochopitelně, je triviálním zjištěním, že pokud by cílem byl konstantní podíl propadlíků, tak by test nebyl ověřovací. Ale tak tomu není. Cemrat nemá nástroje k tomu, aby mohl zajistit na 100%, že konkrétní žák nebude v testu úspěšný. To závisí pouze na daném žákovi a jeho vlastnostech. Šance je dána všem stejná, což ale neznamená, že mají všichni stejné vlastnosti. To nemají, mít nemohou a nikdy nebudou. Pokud by ale všichni uspěli, protože se skvěle připravili, nebo proto, že mají učitelé dvakrát vyšší příjem a proto učí i ti, kteří by jinak odešli do komerční sféry za lepším živobytím, přitáhne Botlík a bude Cermat napadat, že testy jsou špatné, protože neumožňují meziroční srovnatelnost. Protože Botlík je ten, kdo požaduje, aby se podíl neúspěšných neměnil v čase a to ve slepé víře, že to je to, co je míněno meziroční srovnatelností obtížnosti.
Čtu si titulek:"Úlohy formátu A/N nic neověřily. Po letošní úpravě bodování také nerozlišují mezi žáky."
Jan Hučín ukázal, že úlohy A/N mohou ověřovat. Tuto možnost by měly potvrdit celkové výsledky testů. Žáci s lepšími předpoklady a s lepšími znalostmi by měli uspět lépe - a to se každoročně děje, viz rozdíly mezi výsledky podle typů škol. O. Botlík argumentuje možností tipovat a podvádět; pokud by ale tyto jevy měly skutečně hrát zásadní roli, znamenalo by to, že žáci, kteří už na střední školu nastupovali s lepšími výsledky než jiní žáci a absolvovali větší počet hodin češtiny a náročnější výuku, jsou u maturity lepší nikoli pro to, co jsem právě teď uvedl, ale proto, že více a / nebo lépe tipují a / nebo podvádějí. Nazvěme to typickou botlíkovskou konstrukcí a odkažme to tam, kam takové nesmysly patří.
Co se týče nerozlišování, už v textu autor jednoznačnost tvrzení oslabuje fromulací "přinejmenším část úloh". Čteno jinak: Jistá část úloh rozlišovala málo.
K dalšímu viz úvod příspěvku P. Doležela z 22.41.
Pane Botlíku. Rád bych viděl Vámi zmíněné ministerské zadání o počtu žáků, které nesmí projít maturitní zkouškou. Pošlete nám prosím odkaz na jeho znění. Pokud máte důkaz, je to opravdu zralé na revoluci. Ale. Opravdu takové zadání existuje? Nebo je to jen Vaše domněnka? Zatím mi přijde pravděpodobnější, že Vám musel Cermat nějak ublížit, jinak dost dobře nerozumím Vašemu boji.
Pane Steklý,
než začnete dělat revoluci, přečtěte si v klidu znovu, co jsem o tom ministerském zadání napsal.
Nemyslím si, že by na něm bylo něco špatného, pominu-li značnou neurčitost pojmu "meziroční srovnatelnost testů". MgA. Bílá mj. jiné výslovně popírá, že by MŠMT vydalo Cermatu nějaký pokyn ohledně náročnosti letošních testů.
Myslím, že je úplně jedno, jakou formou bude maturita probíhat. Jestli se budou témata vyhlašovat rozhlasem, nebo je budou rozvážet pancéřovaným autem po školách. Jestli je budou opravovat učitelé na školách, nebo je zhodnotí Centrální mozek lidstva v Cermatu. Dokud bude běžné, že na střední školu s maturitou budou nastupovat i žáci ZŠ se čtyřkami z 9. třídy, případně žáci bez jakékoli motivace k učení, vždy bude vysoké procento neúspěšných absolventů. Pokud někdo bojuje za to, aby maturitu získal každý, navíc bez nutnosti sebemenšího úsilí, tak naprosto popírá smysl maturitní zkoušky. A je jedno, jestli se jmenuje Jánošík, nebo Botlík.
Okomentovat