V předchozím dílu jsme si ukázali, že Cermat letos poslal do škol příliš náročný maturitní test z češtiny a musel napravovat důsledky své chyby.
Jak vysvětlil jeho ředitel Jiří Zíka, bodování některých úloh bylo třeba změnit, neboť se ukázalo, že test obsahoval příliš náročné úlohy. Cermat kompenzoval náročnost těchto úloh méně přísným a nelogickým bodováním, ovšem v úlohách docela snadných. Tam totiž byla změna lehce technicky proveditelná a také nenápadná.
Dnešní díl bude věnován detailům meziročních změn pravidel bodování některých úloh testu Český jazyk a literatura a testu Anglický jazyk.
 |
| Oldřich Botlík (eduin.cz) |
Pokud chcete problému rozumět lépe, najdete detaily níže.
Úlohy typu A/N v testu z češtiny
Šlo o úlohy stejného formátu číslo 4, 10, 13 a 19. Jejich bodová dotace činila u všech shodně 2 body. Můžeme si představovat, že žáci v jedné takové úloze posuzovali čtyři věty podle toho, zda obsahují pravopisnou chybu. Měli u každé věty zaškrtnout
- A, pokud se domnívali, že věta chybu obsahuje
- N, pokud se domnívali, že věta chybu neobsahuje.
Provedené změny v bodování vedly k tomu, že 1 bod žák dostával už za jednu správně posouzenou větu, 2 body byly už za tři správně posouzené věty.
V úlohách tohoto formátu řada žáků náhodně tipuje a letos to bylo zvlášť výhodné. Zisk alespoň 1 bodu byl při náhodném tipování téměř jistý: měl pravděpodobnost 93,75 %. Rozdávání 1 bodu v úlohách formátu A/N prakticky zadarmo poškozuje ty žáky, kteří netipovali. I když neodpověděli správně, ztratili vymýšlením odpovědi čas.
Zisk 2 bodů nastal při jednom ze dvou následujících jevů: žák posoudil správně všechny čtyři věty NEBO žák posoudil přesně tři věty správně. Pravděpodobnosti, že tyto jevy nastanou při náhodném tipování, jsou 1/16 = 6,25 % a 4/16 = 25,00 %. To je zvlášť zajímavé ve srovnání s dvaceti výběrovými úlohami formátu „jediná správná ze čtyř“, které byly součástí testu, každá s bodovou dotací 1 bod. Zisk 1 bodu v těchto výběrových úlohách má při náhodném tipování rovněž pravděpodobnost 25,00 %. Což znamená, že získat náhodným tipováním 1 bod v libovolné z těchto dvaceti úloh bylo OBTÍŽNĚJŠÍ než získat náhodným tipováním 2 body v libovolné ze čtyř úloh formátu A/N.
Příznivější bodování těchto úloh v testu z češtiny je tedy zcela nelogické. Patří rovněž k umělým příčinám horších výsledků testu z matematiky, kde lze v úlohách A/N získat 1 bod až při třech správných odpovědích.
Při bodování podle pravidel roku 2016 byly průměrné výsledky úloh 4, 10 a 19 (tj. 76,17 %, 68,88 % a 68,58 %) lepší než původní průměrný výsledek celého testu, který činil 60,60 %. Průměrný výsledek úlohy 13 (57,79 %) byl horší. Pod průměrným výsledkem nejméně úspěšné úlohy formátu A/N (tj. úlohy 13) skončilo osm (!) z oněch dvaceti výběrových úloh formátu „jediná správná ze čtyř“. Cermat tedy kompenzoval nepřiměřenou náročnost testu tím, že změnil bodování úloh docela snadných. Vybral si je, protože to bylo technicky schůdné a nenápadné.
Třetí část poslechového subtestu z angličtiny
Dne 9. května 2017 (tedy těsně před odesláním výsledků maturitních testů do škol) napsal pracovník Cermatu Marek Lehečka jedné tazatelce mimo jiné toto: […] v poslechovém subtestu se hodnotí jak schopnost správně rozpoznat požadované slovo, tak i jeho gramaticky správné zaznamenání. Odpověď, kde je slovo zapsáno sice významově správně ale spellingově nesprávně, je považována za chybnou a hodnocena 0 body. […]
Pohledem do klíče správných řešení zjistíme, že v úloze 14 byly 2 body přiznávány kromě správného COUSINS (příbuzenský poměr dvou zakladatelek muzea: They are … ) také odpovědím COUSIN, COUZIN, COUSN atd. V úloze 20 pak byly 2 body přiznávány kromě správného LIBRARY (oddělení muzea, jehož návštěvu je třeba ohlásit v předstihu) také odpovědím LIBRERY, LYBRARY atd.
Odpověď pana Lehečky je v souladu s informací v maturitním zpravodaji. Provedené změny evidentně zmařily druhou část záměru autorů úlohy, tedy ověřit schopnost maturantů zapsat správně slovo, které rozpoznali v nahrávce. Uznávání COUSN, LYBRARY atd. samozřejmě poškozuje ty žáky, kteří odpověděli správně.
Podúloha 14.3. v testu z češtiny
V této podúloze se měli žáci zabývat větou Přímořské nížiny byly zaplaveny. Věta byla součástí rozsáhlejšího výchozího textu věnovaného mj. prehistorickým klimatickým změnám. Úkolem žáků bylo určit slovesný rod a vid u slovního tvaru byly zaplaveny.
Podúloha byla dotována 1 bodem, který prý měl být původně udělen jedině v případě, že žák uvedl správně slovesný rod i vid – tedy obě části požadované odpovědi. Podle klíče správných řešení byl 1 bod udělován také v případě, kdy byla správně jen jedna část odpovědi. Nemám žádný důkaz, že pravidla bodování této podúlohy byla změněna. Uvádím ji zde jako příklad (domnělé) změny, která by mi vůbec nevadila. Je totiž na autorech otevřené (pod)úlohy, jaké pravidlo bodování předepíšou. Podúloha měla průměrnou úspěšnost 0,54 bodu, což je nejspíše výrazně víc, než kdyby žáci mohli získat 1 bod jedině za správně uvedený slovesný rod i vid.
Závěr
V testu z češtiny změnil Cermat bodování pěti úloh (4, 10, 13, 19 a 20) na vstřícnější k chybujícím žáků. Změna u nich byla snadno proveditelná technicky. Pětici nejnáročnějších úloh celého testu ovšem tvoří úlohy úplně jiné: mají čísla 12, 25, 29, 17 a 32 a jejich průměrné výsledky se pohybují od 42,85 % do 38,09 %. Změna bodování poškodila žáky, kteří netipovali. Jak si ukážeme příště, zmařila navíc (přinejmenším z velké části) funkci, kterou měly úlohy se změněným bodováním v testu plnit.
Mezi pěti nejnáročnějšími úlohami celého testu jsou čtyři výběrové úlohy formátu „jediná správná ze čtyř“. Jejich bodování by se dalo zmírnit třeba tak, že by Cermat uznával „jednu správnou nebo jednu vhodnou nesprávnou ze čtyř“. Při pohledu na uznávané odpovědi COUSN a LYBRARY se toho možná taky dočkáme.
Příště
Další díl seriálu bude věnován tomu, co znamená test rozlišující, test ověřující a test, který – podle ředitele Cermatu – částečně rozlišuje a částečně ověřuje. Vrátíme se v této souvislosti ještě jednou k důsledkům zmíněné absurdní změny bodování úloh formátu A/N.
39 komentářů:
V ověřovacím testu, kterým jsou i didaktické testy společné části, nemůže být poškozen žák, který odpoví správně a dostane plný počet bodů. Pro výsledek žáka (zejména pokud odpověděl správně) totiž není podstatné, jak odpovídali ostatní. Nespletl jste si to, pane Botlíku, se srovnávacím testem, zde záleží na pořadí?
Je pravda, že žák, který netipuje, je poškozen, ale poškozuje především sám sebe zcela vědomě. V testech státní maturity se za nesprávnou odpověď nic neodečítá, a proto netipovat znamená se vědomě okrádat. Inu, už Katapult zpíval, že hlupák váhá.
... kde záleží ...
Pane Hučíne, máte můj obdiv. Podle mého mínění je seriál pana Botlíka pouze projevem jakési obsedantní kompulze. Doporučuji nekrmit. Nemá to žádný smysl. I když ukážete, že pan Botlík vypráví hlouposti, ničeho tím nedosáhnete. Příští díl bude o tom, co jsme si ukázali, nebo dokonce dokázali v díle předešlém. Takto se dělá propaganda. Snaha o zmanipulování lidí, kteří nemají potřebný aparát. Argumentoval bych opět, jako před rokem, fakticky, ale opravdu to nemá smysl. Kompulzi je třeba léčit a nikoliv krmit.
Nespletl, pane Hučíne.
Jsem ale rád, že se oba shodujeme v tom, že maturitní test má být testem ověřujícím – nikoli rozlišujícím. Vyplývá to ze školského zákona (§ 73), ovšem maturitní test z ČJL ověřujícím testem rozhodně není.
Jak vysvětlím v dalším dílu (vyjde ve středu), uzavřené úlohy nemohou být z principiálních důvodů použity k ověření, že žáci mají určité znalosti či dovednosti. Jde například o úlohy formátu A/N nebo formátu „jediná správná ze čtyř“. Úloh nepoužitelných k ověření je ovšem v testu 27 ze 32!
Ředitel Cermatu J. Zíka navíc v rozporu se školským zákonem tvrdí (naposledy v rozhovoru pro DVTV), že test musí být konstruován jako částečně ověřující a částečně rozlišující. Jenomže bohužel NIKDY neprozradil (předem ani dodatečně), které úlohy v testu slouží k ověřování, a které naopak k rozlišování.
Mimochodem, před chvílí jsem dostal z MŠMT analýzu letošního testu ČJL, provedenou programem, na kterém je u copyrightu uvedeno také vaše jméno. Vyplývá z ní mimo jiné, že bodování úlohy 14.3, o které píšu v textu, bylo opravdu změněno teprve po jednání Nezávislé odborné komise (NOK). Analýzu jsem si vyžádal jako součást podkladů, které NOK od Cermatu dostala. Změnou bodování vzrostl průměrný výsledek úlohy z 24,2 % na 54,5 %.
Napsal jste nedávno, že problémem by byla změna bodování některé úlohy, k níž by došlo dodatečně.
Stojíte si za svým tvrzením i nadále?
Pan Botlík by udělal dobře, kdyby nespoléhal na agenturu JPP ani pány Lehečky, a nahlédl do klíče řešení z loňského roku, kde se praví:
"V otevřených úlohách (3. část) nehodnotíme gramatickou správnost a pravopis, pokud chyby nebrání porozumění výrazu. Výjimkou jsou úlohy ověřující pravopisnou správnost daného výrazu (například při hláskování)."
Takto tomu bylo i v předchozích letech a uznával se například i fonetický zápis slova.
V letošním klíči přibyla věta: " Odpovědi v otevřených úlohách posuzujeme vzhledem k ověřovaným dovednostem a ověřované úrovni obtížnosti.", jinak obsahuje totéž.
Nevím, odkud údajný pan Lehečka čerpá své informace a ve kterém maturitním zpravodaji to pan Botlík viděl, v posledním zpravodaji k cizímu jazyku jsem nic takového nenašla.
Dotaz adresovaný Cermatu (CZVV) z 24. 4. 2017
Dobrý den,
prosím o potvrzení toho, zda se při i při drobné spellingové chybě (např. accomodation, adress nebo exercize) ve 3. části poslechového subtestu, hodnotí odpověď nula body (tedy, že se nehodnotí např. 1 bodem místo dvou).
Odpověď pana Marka Lehečky (RDC CZVV) z 9. 5. 2017
Vážená paní […],
v poslechovém subtestu se hodnotí jak schopnost správně rozpoznat požadované slovo, tak i jeho gramaticky správné zaznamenání. Odpověď, kde je slovo zapsáno sice významově správně ale spellingově nesprávně, je považována za chybnou a hodnocena 0 body.
Předpokládám, že byl-li pan Lehečka pověřen odpovědět za Cermat na položenou otázku, věděl, co píše. Na straně 2 Maturitního zpravodaje 42/2017 se uvádí toto.
Třetí část je složena z 8 otevřených úloh. Na základě vyslechnuté nahrávky žáci odpovídají na otázky nebo doplňují informace na vynechaná místa v úlohách. Této části doporučujeme věnovat zvýšenou pozornost, nejčastěji se zde objevují chyby právě z důvodu nepozornosti a nesprávného či nečitelného zápisu odpovědi do záznamového archu.
Ve třetí části poslechového subtestu žáci odpovídali například na otázku What is the family relationship between the two founders of the museum, Susan Quinlan and Barbara Marshall? Jako správná odpověď byla uznávána mj. odpověď They are COUSN.
Možná byste, Ygrain, mohla vysvětlit nám laikům, co přesně tak benevolentně bodovaná úloha ověřuje.
Pane Botlíku, věnujme se nejprve záležitosti tohoto vlákna.
Vysvětlete mi, prosím, jak může být změnou částečného bodování v úloze poškozen žák, který:
* dal v úloze správnou odpověď;
* dostal za ni plný počet bodů;
* jeho celkový výsledek (uspěl/neuspěl) záleží jen na jeho výkonu, nikoli na výkonu ostatních žáků.
To, zda uzavřené úlohy mohou, nebo nemohou být použity pro ověřovací test, je jiné téma a nechme ho v tuto chvíli stranou.
A na diskusi o dodatečných změnách bodování je myslím také samostatné vlákno, napište sem prosím odkaz a já se vyjádřím tam.
"Předpokládám, že byl-li pan Lehečka pověřen odpovědět za Cermat na položenou otázku, věděl, co píše. "
No, já bych to tedy raději nepředpokládala - jestliže se v minulých letech toleroval chybný spelling nebo gramatika (např. chybný apostrof), pak takováto změna by bývala měla být avizována předem. Nebyla. Je namístě vznést dotaz na Cermat, proč jejich pracovník šíří bludy.
"Na straně 2 Maturitního zpravodaje 42/2017 se uvádí toto.
Třetí část je složena z 8 otevřených úloh. Na základě vyslechnuté nahrávky žáci odpovídají na otázky nebo doplňují informace na vynechaná místa v úlohách. Této části doporučujeme věnovat zvýšenou pozornost, nejčastěji se zde objevují chyby právě z důvodu nepozornosti a nesprávného či nečitelného zápisu odpovědi do záznamového archu. "
Jenže tady není ani slovo o pravopisné nebo gramatické správnosti, jedná se o něco jiného - zapsání správné odpovědi do špatného okénka. Text totiž pokračuje:
"Posuzování otevřených úloh probíhá elektronicky. Hodnotitelé (tzv. rateři) nemají přístup k záznamovým archům v tištěné podobě, hodnotí pouze odpověď, kterou vidí ve vymezeném poli v záznamovém archu. Pokud tedy žák napíše odpověď (byť správnou) k nějaké úloze do nesprávného pole (např. odpověď k úloze 10 do výřezu pro odpověď k úloze 11), odpověď je hodnocena 0 body."
"Možná byste, Ygrain, mohla vysvětlit nám laikům, co přesně tak benevolentně bodovaná úloha ověřuje."
Ověřuje schopnost odchytit ze slyšeného požadovanou informaci. K ověřování gramatiky slouží část Use of English, gramatiky a pravopisu slohová práce. A čistě FYI, v této "benevolentně" hodnocené části mohou studenti ztratit až 16 bodů (ostatní cvičení jsou za 8), a také v ní největší ztráty mívají a vnímají ji jako nejobtížnější, zvlášť je-li namluvena rychleji, jako například podzim 2016.
Pane Hučíne, nechápu, proč bych vám měl vysvětlovat, co jste napsal vy:
V ověřovacím testu, kterým jsou i didaktické testy společné části, nemůže být poškozen žák, který odpoví správně a dostane plný počet bodů. Pro výsledek žáka (zejména pokud odpověděl správně) totiž není podstatné, jak odpovídali ostatní.
Já jsem psal o žácích, kteří netipovali, a proto ztratili vymýšlením odpovědí čas:
V úlohách tohoto formátu řada žáků náhodně tipuje a letos to bylo zvlášť výhodné. Zisk alespoň 1 bodu byl při náhodném tipování téměř jistý: měl pravděpodobnost 93,75 %. Rozdávání 1 bodu v úlohách formátu A/N prakticky zadarmo poškozuje ty žáky, kteří netipovali. I když neodpověděli správně, ztratili vymýšlením odpovědi čas.
Tipování není univerzálně úspěšná metoda. V úspěchu hraje roli pravděpodobnost, ale žák by měl také zvažovat, zda (například u výběrových úloh) nemůže některé nabízené položky vyloučit dříve, než začne tipovat. Jeho rozhodnutí může samozřejmě souviset se znalostí toho, jak Cermat bodoval v minulosti. Jestliže žák neví, že v úloze A/N mu stačí natipovat správně jedinou položku, aby získal aspoň bod, je rozumnou strategií nejdříve zkusit nabízené položky posoudit. Stojí to ovšem čas.
Je ovšem samozřejmě smutné, je-li státní maturita koncipována tak, že lze vůbec diskutovat o možnosti úspěšného tipování. Myslel jsem, že cílem tohoto ambiciozního projektu bylo vrátit maturitě prestiž...
Váš komentář týkající se způsobu bodování je ZDE (3. 6. 2017, 11:28). Nemyslím si ovšem, že je nutné se tam vracet. Je to nepřehledné.
Otázku použitelnosti uzavřených úloh k ověřování můžeme odložit na středu.
ad Ygrain
Já do Cermatu kvůli panu Lehečkovi psát nebudu. Ale opravdu by mě zajímalo, kudy vede hranice mezi tím, zda gramatické a pravopisné chyby brání/nebrání porozumění výrazu. KAZN se taky ještě bere?
Uznávám, že pasáž v Maturitním zpravodaji 42/2017 lze vzhledem k pokračování textu vykládat i tak, že autoři měli na mysli zapsání odpovědi do správného pole. Pokračování jsem sice také našel hned napoprvé, ale vzhledem k tomu, že pan Lehečka odkazoval na stránku s maturitními zpravodaji ve své odpovědi, nezdálo se mi správné omezit výklad pasáže jen na to, KAM žák zapíše svou odpověď.
Předpoklad, že za materiály Cermatu a za vyjádřeními jeho pracovníků je konzistentní obsah, asi opravdu není moc odůvodněný. Naznačila jste to ostatně sama.
Děkuji za odkaz, připojil jsem tam krátký komentář. A nyní zpět k tématu.
Uvádíte: provedené změny však poškodily ty maturanty, kteří netipovali (v ČJL), případně nechybovali (v AJ). A mě by zajímala ta angličtina. Mějme žáka, který znal správnou odpověď bez tipování, vyznačil ji, dostal plný počet bodů.
Vysvětlete mi, prosím, proč by měl být poškozen změnou v částečném bodování, když jeho zajímá jen plný počet bodů, který dostal, a pro jeho výsledek není podstatné, zda se jiní žáci mohli protipovat k plnému počtu bodů také.
Já jsem si s Cermatem zatím nedopisovala, tak nevím, jak jsou ve vyjádřeních konzistentní. Já i kolegové sledujeme stránky novamaturita.cz a na změny se vzájemně upozorňujeme; požadavek na pravopisnou a gramatickou správnost ve třetí části, což by byla oproti předchozím letům významná změna, nikdo z nás nezaznamenal.
Pokud jde o KAZN: pokud se stále uznává fonetický zápis, pak by to prošlo. Před pár lety jsem to viděla někde napsané, týkalo se to tehdy slova "luggage", ale od té doby jsem na to už nenarazila.
V úlohách 14 a 20 testu AJ asi nelze „tipovat“ ve smyslu „o tom, co zaškrtnu, rozhodne náhoda“. Jsou to velmi jednoduché otevřené úlohy, v nichž žák svou odpověď sám tvoří. Kdyby byl test výlučně ověřující (a jeho výsledkem by bylo pouze prospěl / neprospěl), pak byste měl, pane Hučíne, samozřejmě pravdu. O tom není sporu.
Jenomže, jak jsem již uvedl, ani Cermat nechápe test jako výlučně ověřující – jeho ředitel mluví o něčem, co bych nazval hybridem (spojením testu ověřujícího a rozlišujícího). Výsledek v testu je převáděn na známku. V zadání ke třetí části poslechového testu se uvádí doslova: Uslyšíte část výkladu průvodce v muzeu hraček. Na základě vyslechnuté nahrávky odpovězte na otázky v úlohách 13–20. V odpovědích použijte nejvýše 3 slova. Čísla můžete zapisovat číslicemi. Není tam ani slovo o tom, že odpověď může být zapsána jen foneticky a s gramatickou chybou – tedy například COUSN namísto COUSINS.
Žák, který si dal na přesné odpovědi záležet (a třeba se k ní vracel v době, kdy se měl zabývat dalšími částmi testu), je samozřejmě poškozen ve srovnání s žákem, který tam odpovědi „nasázel“, jak ho napadly, ale shodou okolností mu byly uznány i s chybami. A také se může jako poškozený cítit.
Vaše tvrzení by bylo správné za předpokladu, že test je ověřující. Předpoklad ovšem bohužel neplatí.
Jinak děkuji za připojení krátkého komentáře. Jak jsem již uvedl, mně osobně zase tolik nezáleží na tom, ve které fázi ke změnám bodování dojde. Myslím si, že pojem "meziročně srovnatelná obtížnost" je velmi vágní v testu z matematiky nebo z cizího jazyka, kde se meziročně mění zastoupení gymnazistů. U testu ČJL si někteří myslí, že jde o stejnou míru propadovosti, jiní tím rozumějí stejný průměrný výsledek testu. Cermat letos nedodržel jedno ani druhé, a to ani po úpravách bodování. Právo upravovat bodování následně bych mu vzhledem k obtížnosti úkolu klidně přiznal. Neměl by to ale dělat potají.
Pokládám ovšem za zásadní problém to, že žádný předpis (ani interní) neupravuje proceduru nastavení náročnosti testu před jeho posláním do škol ani proceduru případné změny bodování poté, co Cermat zpracuje odpovědi žáků podle výchozího bodování.
Letos někdo rozhodl o tom, že v testu ČJL propadne mnohem víc žáků než loni. Když hrozilo, že to tak opravdu dopadne, dostal strach a nechal změnit bodování. Víme, že už nešlo o pět úloh, ale dokonce o šest. Tohle je přece zcela nepřijatelný stav!
ad Ygrain
Já i kolegové sledujeme stránky novamaturita.cz a na změny se vzájemně upozorňujeme; požadavek na pravopisnou a gramatickou správnost ve třetí části, což by byla oproti předchozím letům významná změna, nikdo z nás nezaznamenal.
Na problém mě upozornila jedna vaše kolegyně (v širším smyslu toho slova – asi nepatří mezi vás, kteří se navzájem upozorňujete). Je pravda, že pod klíčem správných odpovědí z jara 2016 je uvedeno: V otevřených úlohách (3. část) nehodnotíme gramatickou správnost a pravopis, pokud chyby nebrání porozumění výrazu. Ovšem v samotném klíči NEJSOU uvedeny žádné příklady uznávání odpovědí typu COUSN, tedy slov chybně zapsaných.
Pane Hučíne, já Vás varoval :-)
Nemám vůbec nic proti detailním kritickým analýzám maturitních testů a maturity vůbec. Za normálních okolností by bylo úsilí O. Botlíka chvályhodné. Ovšem:
"Letos někdo rozhodl o tom, že v testu ČJL propadne mnohem víc žáků než loni. Když hrozilo, že to tak opravdu dopadne, dostal strach a nechal změnit bodování."
Typicky botlíkovsky manipulativní, ničím nedoložitelné a vysoce nepravděpodobné tvrzení. (Navíc tvrzení nelogické.) Ukazuje - v kontextu s dalšími podobnými výroky - že analýza maturitního testu slouží nikoli ochraně zájmu maturantů, ale primárně cíli Cermat co nejvíce zdiskreditovat.
"Žák, který si dal na přesné odpovědi záležet (a třeba se k ní vracel v době, kdy se měl zabývat dalšími částmi testu), je samozřejmě poškozen ve srovnání s žákem, který tam odpovědi „nasázel“, jak ho napadly, ale shodou okolností mu byly uznány i s chybami. A také se může jako poškozený cítit."
To je nesmysl. Čas pro odpovědi v jednotlivých částech testu je přesně vymezen a žáci dostávají pokyn, kdy mají zaznamenávat a kolik času na to mají, mají dokonce i vymezený čas ke kontrole. Naprosto nelze argumentovat, že někdo kvůli tomu nestihl jinou část testu, to je nesmysl.
"Není tam ani slovo o tom, že odpověď může být zapsána jen foneticky a s gramatickou chybou – tedy například COUSN namísto COUSINS."
Pane Botlíku, pokud student nebo jeho vyučující alespoň jednou otevřel vzorové úlohy nebo testy z předešlých let, pak si nutně musel přečíst, že "nehodnotíme gramatickou správnost a pravopis, pokud chyby nebrání porozumění výrazu", z čehož jednoznačně vyplývá, že gramatika ani pravopis nemusí být správně, dokud jde rozeznat, o které slovo jde. Gramatické odchylky jsou jasně vidět u uvedených příkladů, kdy je uváděno jako správná odpověď jednotné i množné číslo i přivlastňovací tvar.
BTW, COUSN není fonetický zápis, ale chybný spelling. Fonetický zápis (tedy přesněji, jeho laická nápodoba) by bylo KAZN.
" Myslím si, že pojem "meziročně srovnatelná obtížnost" je velmi vágní v testu z matematiky nebo z cizího jazyka, kde se meziročně mění zastoupení gymnazistů."
Do matematiky nevidím, ale obtížnost angličtiny se drží meziročně docela slušně. Vzhledem k tomu, jak často DT píši se svými studenty, mám o tom dost dobrý přehled.
"Ovšem v samotném klíči NEJSOU uvedeny žádné příklady uznávání odpovědí typu COUSN, tedy slov chybně zapsaných"
No a? "Nekontrolujeme pravopis" je naprosto jednoznačné, a dál se říká "Vzhledem k vysoké variabilitě možných žákovských odpovědí neobsahuje tento klíč všechny uznatelné odpovědi." Jak jasněji byste to ještě chtěl sdělit?
Jediná nejasnost přetrvává ohledně toho fonetického zápisu. Zkusím to dohledat, ale bude to pár dní trvat, protože teď mám jiné povinnosti.
"Letos někdo rozhodl o tom, že v testu ČJL propadne mnohem víc žáků než loni. Když hrozilo, že to tak opravdu dopadne, dostal strach a nechal změnit bodování."
No, tohle je můj vkus už moc konspirační. Přijde mi daleko pravděpodobnější, že letos prostě špatně odhadli obtížnost (a podle reakcí našich studentů hlavně časovou náročnost). Tak se to pokusili vykompenzovat, protože věděli, jaký by nastal rachot, kdyby propadlo moc studentů - no, a teď se zvedá pokřik, že se hýbalo s bodováním. Cursed if you do, cursed if you don't. Tady je dobrá rada drahá.
ad Ygrain
... mají dokonce i vymezený čas ke kontrole. Naprosto nelze argumentovat, že někdo kvůli tomu nestihl jinou část testu, to je nesmysl.
Mám tomu rozumět tak, že je ZNEMOŽNĚNO vracet se v záznamovém archu k odpovědím uvedeným k poslechovému subtestu, případně je tam doplnit později? To se mi opravdu nezdá.
No, tohle je na můj vkus už moc konspirační. V dílu 1 jsem ukazoval, že rozdíl v průměrném výsledku testů 2016 a 2017 je velký (vzhledem k dodatečnému přebodování úlohy 14.3 ještě větší, než se jevil v době, kdy jsem díl 1 psal). Vyšší náročnost testu je zřejmá na první pohled a já doufám, že některý češtinář rozebere podrobněji, proč je vyšší. Navíc, a to jsem také ukazoval, ke snížení průměrného výsledku testu nedošlo rovnoměrně na celé škále, ale především na úkor nejslabších maturantů.
Ze zápisu jednání Nezávislé odborné komise, který jsem dnes dostal, není vůbec patrné, že by o nějaké změně bodování jednala. Navíc ředitel Zíka jasně řekl, že o ní ministerstvo neinformoval a nevidí důvod, proč by měl.
Jiří Zíka a Jiří Kostečka (kterého si loni K. Valachová pozvala na tiskovou konferenci k výsledkům maturitních testů a hájil tam test ČJL) před rokem shodně prohlásili, že maturantů máme u nás moc. Jména osob, které o testu i změně bodování rozhodovaly, Jiří Zíka odmítl sdělit, své rozhodnutí ovšem odůvodnil nepravdivě. Odvolal jsem se tedy k MŠMT.
BTW, COUSN není fonetický zápis, ale chybný spelling.
Ano, máte pravdu. Měl jsem tam původně KAZN, ale potom jsem se rozhodl změnit to na výraz uvedený v klíči. "Fonetický zápis" jsem pak už nedopatřením neopravil.
"Mám tomu rozumět tak, že je ZNEMOŽNĚNO vracet se v záznamovém archu k odpovědím uvedeným k poslechovému subtestu, případně je tam doplnit později? To se mi opravdu nezdá."
Ale samozřejmě že není. Rozhodně ale nedoplňujete něco na úkor něčeho jiného. Odpovědi navíc přepisujete z testového sešitu do záznamového archu, takže se k nim vracíte tak jak tak. Nikdo není nijak znevýhodňován.
"Vyšší náročnost testu je zřejmá na první pohled a já doufám, že některý češtinář rozebere podrobněji, proč je vyšší. "
Ne, není. Loňský i letošní test jsem si procházela, a na pohled ten rozdíl vidět není. Je vidět, že jsou oba časově náročné a jsou v nich dlouhé texty (podle mého zbytečně, vzhledem k tomu, kolik informací se z nich má vytěžit, ale v tomto nejsem odborník). Ani při vyplňování mi letošní nepřišel obtížný, ale zabral mi o něco více času než loňský, což se shoduje s názorem našich studentů, kterým spíše než obtížný přišel obsáhlý a měli problém s časovým limitem. Stěžovali si také na grafické rozložení, konkrétně na nutnost otáčet stránku, když se měli vracet k výchozímu textu.
Hergot, tak tisíce světově uznávaných matematiků si přes sto let lámali a lámou hlavu s důkazem Riemannovy hypotézy a ono stačilo říct, že je to zřejmé na první pohled. To jsou mi ale událostě.
"Přijde mi daleko pravděpodobnější, že letos prostě špatně odhadli obtížnost (a podle reakcí našich studentů hlavně časovou náročnost)."
V roce 2012 se totéž stalo v matematice - ale tenkrát to média pustila naplno. Kvůli tomu (a kvůli slohům) padl šéf Cermatu.
PS: Jen podotýkám , že na náhody nevěřím. Složení testů je jiné než v roce 2013. Zatím nashle, musím pracovat.
Já si myslím - a je to jen takový pocit, nemám to nijak faktograficky podloženo - že největší problém testů z češtiny je, že neexistují nadefinované úrovně češtiny, jako je tomu u cizího jazyka, a jakým způsobem je testovat. Proto se tak obtížně stanovuje úroveň testu a češtináři se nemohou shodnout, co do něho patří a co ne.
ad Ygrain
Ne, není. Loňský i letošní test jsem si procházela, a na pohled ten rozdíl vidět není. Je vidět, že jsou oba časově náročné a jsou v nich dlouhé texty (podle mého zbytečně, vzhledem k tomu, kolik informací se z nich má vytěžit, ale v tomto nejsem odborník). Ani při vyplňování mi letošní nepřišel obtížný, ale zabral mi o něco více času než loňský, což se shoduje s názorem našich studentů, kterým spíše než obtížný přišel obsáhlý a měli problém s časovým limitem. Stěžovali si také na grafické rozložení, konkrétně na nutnost otáčet stránku, když se měli vracet k výchozímu textu.
Myslím, že si nerozumíme. Přirozenou součástí nároků, jež test na žáky klade, jsou také nároky na čas, který na správné zodpovězení všech otázek potřebují. Kdyby měli na test 10 minut, dopadnou jak sedláci u Chlumce všichni. Já jsem si test také procházel a po skončení jsem prohlásil, že je o 5 až 6 procentních bodů, možná o 7, náročnější než test loňský. Mám na to svědky... A prvotní data to poté potvrdila.
Dám tři příklady.
V úloze 20 jsem se na několik dlouhých minut zasekl na hledání atrakce (podúloha 20.2). Nikoli proto, že bych nerozuměl definici, ale protože jsem atrakci ve větě Ředitel byl včera upozorněn na zásadní chyby, které se vyskytly ve smlouvě o cestovním pojištěním. prostě „nečetl“. Nedovedu si moc představit, že by někdo napsal „smlouva o cestovním pojištěníM“, a tak jsem prostě viděl „smlouva o cestovním pojištění“. Já už totiž několik desítek let při čtení neslabikuji. Loni jsme "v botlíkovském pamfletu" napsali, že hledání chyb v cizím textu je problém... O hledání atrakce v této úloze jsem mluvil s několika lidmi, kteří zažili totéž.
Vančurův text (výchozí k úlohám 21 až 26) není úplně snadné čtení. Člověk ho musí číst pořád dokola – já alespoň už jsem nebyl po úloze 20 schopen řešit dva rozdílné úkoly najednou. A například všechny správné odpovědi v úloze 21 jsou až ve druhé polovině vymezeného úseku, dvakrát téměř na jeho konci. Kvůli perifrázi se žák naopak do výchozího textu vracet nemusí (což není úplně správné), ale v úlohách 23, 24 a 26 musí to úmorné procházení vypuknout nanovo.
Třetím příkladem je úloha 14.2. Možná to lingvistům připadá samozřejmé a snadné, jde ale o naprosto nesmyslnou úlohu. Copak normální člověk prohledává text, aby v něm našel neutrum v genitivu? Správně je našlo jen 56 % žáků, kteří nepropadli. U propadlíků byla úspěšnost výrazně nižší, jen 13 %. Proč by ale něco takového měl U MATURITY předvádět KDOKOLI, kdo nepůjde studovat češtinu? Já tedy hledám v textech myšlenky...
Ano, úloha 20 byla z těch náročnějších, musela jsem si ji projít několikrát. Oproti loňské epizeuxi ale s typem úlohy nemám problém, najít jev podle definice mi připadá v pořádku. Otázka je, jestli jich tam muselo být tolik zaráz.
S délkou textů a rozložením informací v nich skutečně může být problém, ale je způsobený především tím, že hodně studentů nedokáže text rychle přelétnout očima, aby se zorientovali, co kde je, a čtou ho důkladně celý, což strašně zdržuje. Proto jsem už loni upozorňovala, že délka textu může představovat problém pro dyslektiky; pokud vím, je takovéto "rychločtení" pro ně obtížné a snadno se v textu ztratí.
Normální člověk nedělá spoustu věcí, umět vyskloňovat slova je snad ale učivo základní školy...
Vidím, že se diskuse posunula už dál, stejně jsem se už nechtěl příliš rozepisovat.
Test státní maturity podle mého názoru ověřovací je, protože o právních důsledcích (splnil/nesplnil) pro žáka rozhoduje pouze jeho výsledek. Pocit "to jsem se nemusel tolik snažit" je legitimní, ale rozhodně se nedá mluvit o poškození. To by pak byly poškozeny tisíce studentů u zkoušek na VŠ, pokud se poctivě naučí a zkoušející je "dávač". O poškození můžeme mluvit např. v případě podhodnocených slohových prací, což se ovšem řeší u jiného článku.
Pokud jsou klasifikační stupně určeny pevnou normou, např. procentem z maximálního možného počtu bodů, je test ověřovací i v případě, kdy se nehodnotí prospěl/neprospěl, ale např. na stupnici 1 až 5. I zde platí, že výsledek žáka je nezávislý na výsledku ostatních.
Děkuji za dosavadní věcný tón a korektní reakce. Přeji všem klidnou noc.
Normální člověk umí skloňovat, dosazovat koncovky - ale hledat jev v textu patří k teoretickým
záležitostem. Díky :)
ad Ygrain
Ani já nemám s úlohou 20 typově žádný problém. Potíž je s tím hledáním chyb a s rozsahem.
Vytvořit 2. pád množného čísla podstatného jména "pásmo" je učivo základní školy. Hledat v textu o prehistorických klimatických změnách podstatné jméno středního rodu ve 2. pádu je hloupost. Nelze to pokládat za součást ověření úrovně klíčových vědomostí a dovedností žáka, které jsou důležité pro žákovo další vzdělávání nebo výkon povolání nebo odborných činností.
Ad Ygrain:
Já si myslím - a je to jen takový pocit, nemám to nijak faktograficky podloženo - že největší problém testů z češtiny je, že neexistují nadefinované úrovně češtiny, jako je tomu u cizího jazyka, a jakým způsobem je testovat. Proto se tak obtížně stanovuje úroveň testu a češtináři se nemohou shodnout, co do něho patří a co ne.
Ano, souhlasím, v ČJL máme sice katalog požadavků k maturitě, ale samotné testování se v podstatě týká tří oborů; šíře látky je pak mírně bezbřehá, takže vždy s napětím očekáváme, co se v testu objeví :-) Obsah jednotlivých úloh letošního DT však nepovažuji za nekorektní (i když bude potřeba se podívat na skutečnou analýzu), dokonce si myslím, že se CERMAT velmi snažil nepřestřelit. Taktika však byla jiná - test se dá snadněji a méně viditelněji "ztížit" kvantitou textů, které musel maturující zdolat. A to se letos stalo.
Několik poznámek:
"Normální" člověk nedělá leccos. I normálnímu člověku se ale hodí znalost mluvnických kategorií, třeba tehdy, když se pokouší určit, zda tvar slova, který použil, je správný. Což je hodně klíčová dovednost.
Atrakce a další nepravidelnosti větné stavby bývají často velmi nepravděpodobné, nejnázornější je to v případě anakolutu. Objevují se i žákovských pracích, a když je s autory rozebereme, nechápou, jak mohli něco takového napsat.
To, že je u nás maturantů moc, je zjevné téměř všem; důvody netřeba opakovat. Že by to by nebylo jasné O. Botlíkovi, je velmi nepravděpodobné. Vědí to také například učitelé řady středních škol - přesto nechají své žáky maturitu složit, např. s ohledem na to, že žáci nemohou nést důsledky nezodpovědné politiky nahánějící je do něčeho, pro co nemají předpoklady. Vyvozovat z konstatování prosté skutečnosti snahu znemožnit části žáků dosažení maturity je v lepším případě konspirační teorie (jak píše Ygrain), v horším případě úsilí znevážit nenáviděnou maturitu a s ní spojené osobnosti za každou cenu. Druhá možnost je s ohledem na dosavadní - a již letité - aktivity O. Botlíka daleko věrohodnější.
Co se týče botlíkovského pamfletu, stále marně čekáme na omluvu jeho autorů za mylná a pomlouvačná tvrzení.
Chcete říct, že se hledají stále nové způsoby, jak vytřídit řady maturantů, pane Soukale. A že se to letos trochu přešvihlo... ano, tomu se dá rozumět. Potom ovšem nehrajme hru "testy mají stejnou úroveň, maturanti blbnou". Je to lež. Děkuji.
Myslel jsem, že cílem tohoto ambiciozního projektu bylo vrátit maturitě prestiž... Chyba, pane Botlíku! Prezentace MŠMT z prosince 2007 na třetím "slejdu" výslovně uvádí:Cílem maturity - učinit hodnocení na výstupu ze střední školy srovnatelným O prestiži ani slovo. A mohl byste uvést, kdy zasedala NOK a z čeho vyvozujete, že bodování úlohy 14.3 bylo opravdu změněno teprve po jejím jednání?
Paní kolegyně Valíková, to, co vyvozujete z textu Josefa Soukala, je za hranicí kreativní interpretace. Jestli chcete příslovečného psa bít, čiňte tak prosím češtinářky hodným způsobem.
" Obsah jednotlivých úloh letošního DT však nepovažuji za nekorektní (i když bude potřeba se podívat na skutečnou analýzu), dokonce si myslím, že se CERMAT velmi snažil nepřestřelit. "
S tím souhlasím - vypadá to, že se Cermat snaží reagovat na výtky z minulých let.
" Taktika však byla jiná - test se dá snadněji a méně viditelněji "ztížit" kvantitou textů, které musel maturující zdolat."
Tady si nejsem tak jistá - ten Vančura sice nebyl nejjednodušší, ale s loňským Mechanickým pomerančem se to nedá srovnávat. K textům mám jinou výhradu - myslím, že by bylo záhodno volit úlohy tak, aby byly v pořadí, v jakém se informace vyskytují v textu, a text tedy nebylo nutno opakovaně pročítat. Rovněž je třeba věnovat pozornost "hluchým místům" v textu, ke kterým se žádný úkol nevztahuje. A opravdu, opravdu by nemělo stávat, že zadání je na jedné straně listu a úkoly na druhé, to otáčení stránky velmi obtěžuje.
Dobrá. Tento ambiciozní projekt tedy nevrátil maturitě prestiž a ani to nebylo jeho cílem. Skutečný cíl, tedy učinit hodnocení na výstupu ze střední školy srovnatelným, ovšem rovněž nebyl splněn. O meziroční srovnatelnosti nemůže být vůbec řeč ani v češtině. Iluzorní srovnatelnost "mezioborová" je natolik škodlivá, že "jednotná" maturita už v této podobě nebude existovat dlouho.
Včera jsem dostal z MŠMT zápis z jednání Nezávislé odborné komise ze dne 12. května 2017 a dále položkové analýzy, "které měli členové NOK za předměty český jazyk a literatura, anglický jazyk a matematika k dispozici pro posuzování testů" (v uvozovkách ke doslovná citace vyjádření odesílatelky podkladů Mgr. Štěpánky Thérové, vedoucí oddělení všeobecného vzdělávání).
V položkové analýze k testu ČJL je u podúlohy 14.3 uveden průměrný výsledek 24,2 %. Podle zveřejněných prvotních dat je ovšem průměrný výsledek téže podúlohy 54,5 %. Je tedy možné, že NOK o bodování podúlohy jednala a změna bodování byla výsledkem tohoto jednání. Výsledky úloh 4, 10, 13, 19 a 20 v položkové analýze souhlasí se zveřejněnými prvotními daty. V zápisu není o projednání jakýchkoli změn bodování žádná zmínka.
Opakuji ovšem, že mně je v zásadě jedno, ve které fázi bylo změněno bodování podúlohy 14.3 a pěti uzavřených úloh 4, 10, 13, 19 a 20. Podstatné je, že o změně bodování může rozhodnout trojice lidí bez jakýchkoli procedurálních omezení, aniž by o tom informovala MŠMT, jak veřejně oznámil ředitel Cermatu. On sám je jedním z těchto tří lidí, identita zbývajících dvou není zatím veřejně známa. Školský zákon ovšem uvádí výslovně v ustanovení § 80b odst. 2 písm. d), že tyto informace mohou být veřejně nepřístupné nejvýše do konce příslušného zkušebního období. Jarní zkušební období 2017 skončilo 10. června.
Co se týče testu a písemné práce z ČJL, jsou letošní výsledky žáků srovnatelné, byť s nedostatky. Před zavedením nové maturity nebylo možné seriózně srovnávat nic; podobně jako u nynější ústní zkoušky, která je de facto stále plně závislá na pohledu učitelů.
K angličtině a matematice se vyjadřovat nebudu, ale zajímaly by mne argumenty o nesrovnatelnosti.
Trochu mimo téma: Včera jsem umístil ke zdejšímu příspěvku vycházejícímu z článku H. Čápové v Respektu dva komentáře, ani jeden se nezobrazuje ( u starších příspěvků komentáře podléhají schválení moderátorem). Protože si nejsem jist, že se o komentářích (byly obsahově totožné) čtenáři dozví, zkusím druhý z nich (ten jsem si archivoval včera v 10.13) publikovat zde:
Jak jsem zde již upozornil, kolega Stanzel publikoval polemiku s článkem p. Čápové. Ani po několika dnech se ovšem na České škole neobjevuje, ačkoli příspěvky přibývají jeden za druhým. Už dříve jsem psal, že editorská praxe p. Komárka mi připomíná počínání "reformních" komunistů z r. 1968 - diskutovat se může, ale názory budeme pro jistotu filtrovat, aby lidem zbytečně nemátly hlavu. Jen nevím, zda tyto praktiky jsou spíše výrazem naivní Komárkovy představy, že zamlčováním nepohodlné názory potlačí, nebo výrazem prosté drzosti mocipána, který si "na svém" prostě může dělat, co chce.
http://www.ascestinaru.cz/polemika-s-clankem-hany-capove-vzpoura-proti-spatne-maturite/
http://www.ceskaskola.cz/2017/05/hana-capova-vzpoura-proti-spatne.html
Omlouvám se, pane Soukale, že čekají nějaké komentáře na schválení, jsem si nevšimnul. Zatím se ještě nestalo, že by někdo publikoval komentář k článku staršímu než čtyři týdny, neměl jsem s tím zkušenost. Děkuji za upozornění. Hezký den!
Pane Komárku, děkuji za vysvětlení.
Okomentovat