Cermat v tiskové zprávě konečně opravil chyby, na něž upozornili diskutující na České škole už včera večer. Tisková zpráva visela na webu Cermatu s chybami mnoho hodin. Její změna se obešla bez jakéhokoli upozornění, či omluvy.
Tisková zpráva: Didaktický test z českého jazyka a literatury konalo v řádném termínu 62 234 maturantů, z nichž v této dílčí zkoušce uspělo 55 746 žáků. Celková úspěšnost je tedy 89,6 % (o 0,7 procentního bodu nižší než v roce 2017). Maturanti dosáhli průměrného procentního skóru (průměrné úspěšnosti) 64,4 %, tedy o 0,7 nižšího než ve stejném období loňského roku.
Matematiku si zvolilo 23,4 % maturantů, kteří se v řádném termínu k druhé povinné zkoušce přihlásili, což je o 2,3 procentního bodu méně než v loňském roce.
Didaktický test z matematiky konalo v řádném termínu v rámci povinné zkoušky 14 762 maturantů. Úspěšně didaktický test složilo 11 464 z nich, což odpovídá celkové čisté úspěšnosti 77,7 % (o 0,6 procentního bodu nižší než v loňském roce). Maturanti dosáhli průměrného procentního skóru 52,9 %, což je hodnota o 1,0 procentní bod nižší než v roce 2017.
Oproti loňskému roku se mírně snížil podíl žáků, kteří v řádném termínu složili didaktický test z matematiky s výslednou známkou 1 nebo 2 (z 28,7 % na 27,6 %). Podíl žáků s výslednou známkou 3 (25,6 %) a 4 (24,5 %) se oproti předchozímu roku prakticky nezměnil.
Cizí jazyk si zvolilo 76,6 % maturantů, kteří se v řádném termínu k druhé povinné zkoušce přihlásili. Maturanti si nejčastěji volili angličtinu (94,4 % z těch, kteří si v řádném termínu zvolili cizí jazyk) následovanou německým jazykem (3,4 %) a ruským jazykem (1,6 %). Francouzský a španělský jazyk si zvolilo pouze 0,2 %, resp. 0,3 % žáků, kteří se přihlásili ke zkoušce z cizího jazyka. Zejména u německého jazyka došlo k významné proměně oborového složení skupiny konajících.
Didaktického testu z anglického jazyka se zúčastnilo v řádném termínu povinné zkoušky 44 527 maturantů, z nichž uspělo 41 663 (93,6 %, o 0,3 procentního bodu nižší úspěšnost než v loňském roce), kteří dosáhli průměrného procentního skóru 75,0 %. Průměrný procentní skór je tak o 1,4 procentního bodu nižší oproti jarnímu období 2017.
V didaktickém testu z německého jazyka letos uspělo 988 žáků (63,3 %) z 1 561 konajících, což je o 8,1 procentního bodu nižší čistá úspěšnost než v loňském roce. Průměrný procentní skór dosáhl hodnoty 56,9 %. Oproti loňskému roku tak poklesl o 7,7 procentního bodu.
Didaktický test z ruského jazyka konalo v řádném termínu 751 žáků, z nichž 658 složilo test úspěšně (87,6 %). Didaktický test ze španělského jazyka v řádném termínu konalo 143 žáků a 141 z nich uspělo (98,6 %). Didaktický test z francouzského jazyka pak konalo v řádném termínu 122 žáků a 121 z nich v testu uspělo (98,2 %).
Dne 9. května 2018 se konala výběrová zkouška z matematiky. Ke zkoušce Matematika+ bylo přihlášeno celkem 2 370 maturantů, z nichž 2 027 tuto zkoušku konalo. Úspěšně zkoušku vykonalo 85,9 % z nich, tedy 1 742 žáků, a čistá úspěšnost tak byla o 12 procentních bodů vyšší než v roce 2017. Průměrný procentní skór dosáhl hodnoty 54,3 %, což je o 5,8 procentního bodu více než v loňském roce.
Celou tiskovou zprávu Cermat naleznete zde
17 komentářů:
Co tedy znamenají percentily, které CERMAT poslal žákům společně s jejich procentuální úspěšností v testu? Pokud měl student s 32 % z matematiky (nejlepší propadlík) percentil 27 % (www.ceskaskola.cz/2018/05/polovina-maturantu-ma-z-matematiky.html), co to číslo znamená?
"Didaktického testu z anglického jazyka se zúčastnilo v řádném termínu povinné zkoušky 44 527 maturantů, z nichž uspělo 44 663".
Som zasa voláky zmetěný.
Zásadním nedostatkem je především neuvěřitelně nízká úroveň „servisu“, který Cermat poskytuje novinářům, a tím i veřejnosti.
Léta se ví, že státní maturita představuje problém především pro negymnazisty. Přesto se, pokud vím, ještě NIKDY nestalo, že by Cermat v první tiskové zprávě o výsledcích maturitních testů
-- informoval veřejnost zvlášť o výsledcích gymnazistů a negymnazistů
-- poskytl souhrnné výsledky také za jednotlivé skupiny negymnaziálních oborů (přestože tyto údaje sleduje)
-- připomněl ve srovnatelném a podrobném členění také výsledky předchozích let, aby je novináři nemuseli hledat a mohli klást fundované otázky.
Potom by nemohl ředitel Zíka sdělovat jen část pravdy. Například v minulých letech už nejméně dvakrát oznámil, že se průměrný výsledek v testu z matematiky mírně zlepšil (což byla pravda), ale zamlčel, že se SOUČASNĚ zhoršil jak průměrný výsledek gymnazistů, tak průměrný výsledek negymnazistů.
Chyba, na kterou upozornil Tajný Učitel, je samozřejmě trapná. O to víc, že ani když se obě čísla prohodí, oznámená úspěšnost nevyjde. Procenta navíc vůbec nesedí ani u ruštiny a němčiny.
Podobně netuším, jak vyjasnit problém, o kterém napsal pan Vančura. Podle výsledku oznámeného v TZ propadlo 22,3 % žáků, kteří test z matematiky psali. To znamená, že horšího výsledku než maturant se ziskem 17 bodů (což je snad minimum pro složení zkoušky) dosáhlo 22,3 % maturantů. To opravdu s percentilem 27 nehraje ani trochu.
Sám jsem nikdy žádný výsledek oznámený nějakému žákovi neviděl. Mohl by prosím někdo ověřit, co přesně na tom výsledku z matematiky Cermatu uvedl?
Ověřeno: u žáka s úspěšností 32 % (tj. 16 bodů, nejlepší výsledek propadlíka) je na protokolu žáka uvedeno percentilové umístění 27,5.
Současně mi kolega z jedné školy nabídl i vysvětlení, které pokládám za pravděpodobné. Percentilové umístění se počítá ze souboru všech žáků, kteří test psali, tj. jak prvomaturantů, tak repetentů. Protože repetenti obvykle dosahují horšího průměrného výsledku než prvomaturanti, je hodnota percentilového umístění nejlepšího propadlíka větší, než by odpovídalo procentu propadlíků v tiskové zprávě (22,3 %).
Cermat kvůli meziroční srovnatelnosti obvykle zveřejňuje celkové výsledky jen za prvomaturanty. To je docela pochopitelné. Nepochopitelné ovšem je, že to v tiskové zprávě ani jednou nezmínil. Celá tisková zpráva se tváří, jako by vypovídala o všech žácích, kteří příslušné testy psali. Vypovídá však nejspíš pouze o prvomaturantech.
Pane Vančuro, uspokojuje vás tohle vysvětlení?
Děkuji za ověření. Vysvětlení mi připadá uvěřitelné a rozumné, i když by CERMAT mohl být pečlivější při prezentaci statistik.
Taky si myslím...
Napsal jsem, že celá tisková zpráva se tváří, jako by vypovídala o všech žácích, kteří příslušné testy psali.
Cermat v ní ovšem opakovaně píše o žácích, kteří konali zkoušku v řádném termínu. Maturitní vyhláška tak nazývá první časové období pro konání maturitní zkoušky po úspěšném ukončení vzdělávání v posledním ročníku ve střední škole; do prvního časového období náleží i maturitní zkouška konaná v náhradním termínu podle § 81 odst. 2 věty čtvrté školského zákona.
Takže jsem neměl pravdu a Cermatu i čtenářům se omlouvám. Termíny "prvomaturant" a "repetent" jsou asi srozumitelnější, ale nejsou tak přesné: "repetent" je asi vnímán jako student, který předtím zkoušku skládal, ale nesložil. Žák ale zkoušku nemusel v řádném termínu vůbec konat (například pokud se k ní nepřihlásil nebo se nedostavil a včas se neomluvil) -- pak už musí konat zkoušku opravnou. Tedy aspoň pokud tomu správně rozumím.
Když ovšem člověk požádá například o anonymizovaná data za všechny žáky, kteří zkoušku konali v řádném termínu, Cermat (resp. ministerstvo) mu je poskytne bez žáků s přiznaným uzpůsobením podmínek ve vyšších skupinách.
Myslím, že zmatek ve významu dat se dá vyřešit jedině tak, že Cermat bude data zveřejňovat systematicky na jednom místě, vytvoří k nim přehledná metadata (univerzální legendu) a u každé informace budou kódy podle té legendy. Aby bylo zcela jasné, kterých žáků se informace týká. K tomu má ovšem současný stav velmi daleko a důsledky jsou vidět i na reakcích na tuto tiskovou zprávu.
Srozumitelnost poskytovaných informací je podle mého názoru neuspokojivá. A nejen kvůli tomu, že jsem jim neporozuměl já. Senátor Růžička, dlouholetý ředitel gymnázia, zřejmě chybně interpretoval informace v protokolu žáka. Také si zřejmě neuvědomil, že percentil se tam -- na rozdíl od TZ o výsledcích maturity v minulých letech -- počítá z výsledků všech testovaných žáků.
Tisková zpráva Cermatu každopádně stále visí v původním znění, tedy i s informací, že v angličtině uspělo více studentů, než se účastnilo... Visí tam takto od včerejšího odpoledne. Požádal jsem Cermat o vysvětlení, i o vysvětlení otázek kolem percentilu, tak jsem zvědavý. Hezký den!
Děkuji za informaci i za intervenci, pane Komárku.
Souhlasím, že anonymizovaná data by měla být průběžně zveřejňována.
Jejich analýza by pak měla být prováděna velmi obezřetně a se znalostí věci, o interpretaci výsledků to pak platí dvojnásob.
Přinejmenším CERMAT samotný by pak měl k zveřejňování výsledků přistupovat "poněkud zodpovědněji".
Jakmile ke zveřejnění jakýchkoli dat dojde, nedá se zaručit, že jejich analýza bude prováděna velmi obezřetně a se znalostí věci. O interpretaci výsledků nemluvě.
To ovšem NENÍ A ANI NESMÍ BÝT argument proti systematickému zveřejňování dat. Zveřejňování dat z přijímaček a z maturity má být pravidlem právě proto, aby existovala naděje, že když budou data interpretována jednostranně, tak se na to přijde. Každý s nimi může zacházet, jak uzná za vhodné.
Znám pouze dva případy významné dezinterpretace dat a v obou případech se jí dopustil Cermat. Loni se ředitel Zíka pokusil vyvrátit tvrzení, že maturitní test z ČJL byl výrazně náročnější než test z roku 2016. Zamlčel ovšem, že došlo k zásadnímu zmírnění hodnocení pěti uzavřených úloh stejného typu, který obsahoval už test v roce 2016. Kdyby k němu nedošlo, propadlo by cca dvakrát tolik maturantů, než kolik propadlo po zmírnění hodnocení. Nemám teď čas to dohledávat, ale šlo rozdíl cca 5,5 tisíce žáků vs. 11 tisíc žáků.
Druhým případem byla argumentace v důvodové zprávě k novele školského zákona, která vrátila do rukou Cermatu hodnocení písemných prací z češtiny. Autorem novely bylo sice ministerstvo, ale předpokládám, že data dodal Cermat. Na základě přehodnocení blíže nespecifikovaného vzorku písemných prací za blíže nespecifikovaných podmínek dospěl k závěru, že při správném hodnocení mělo propadnout cca 10 % žáků. Když se hodnocení vrátilo k centrálním hodnotitelům, byla propadovost zhruba poloviční.
Přidal bych třetí, když za éry ministra Dobeše byly vytvářeny z maturitních výsledků "žebříčky škol".
To považuji za hodně nevhodné využití, či spíše rovnou zneužití podobných dat.
Souhlasím. Váš příklad měl dokonce precedens, na který jsem už zapomněl.
Za éry Pavla Zeleného probíhaly tzv. Sondy Maturant. Zelený veřejně slíbil, že z výsledků žádné žebříčky dělat nebude, myslím ale, že už hned s prvními výsledky svůj slib porušil.
V této době jsem působil na PORGu jako předseda nadace, která byla zřizovatelem školy. PORG byl tehdy v úspěšnosti přijímání absolventů na VŠ mezi prvními třemi školami v celé republice, ovšem potom z roku na rok vypadl dokonce z první padesátky žebříčku. Vyvolalo to samozřejmě nespokojenost mezi rodiči, tak jsem se zašel na ÚIV zeptat člověka, který ty žebříčky počítal. Bylo mi to totiž divné, neboť žádný posun v kvalitě absolventů nenastal.
Ten člověk (dodnes si pamatuji jeho jméno) mi řekl, že došlo k mírné změně v algoritmu výpočtu zmíněného ukazatele, a tak jsem ho požádal, zda by nová data mohl spočítat také postaru. Udělal to a vyšlo najevo, že postaru by PORG i nadále zůstal mezi prvními třemi školami v republice.
Žebříčky škol podle výsledků maturantů ovšem mají principiální problém především v tom, že nezohledňují jejich "úroveň na vstupu". Vzhledem k historce s PORGem se obávám, že ho nevyřeší ani doplnění o výsledky z jednotných přijímaček.
Také děkuji za intervenci i tlak na zveřejňování. Tři dny jsem nic nedělala a už mi drnčí telefony kvůli slohům. :)
Ale stále mi něco nesedí. Loni se v češtině psalo o neúspěšnosti 9,8%, skočilo to oproti 2016 o 1,5% (MFD). Teď čtu 89,6%, skok o 0,7 %. (?) Pokaždé jsou ta procenta jiná. Vím, že jednou se započítává, jednou nezapočítává PUP, ale chtělo by to sjednotit. Nemá v tom Cermat trochu hokej?
Sorry. Loňská neúspěšnost v čjl je 9,8 %. Letošní 10,4 %. Už v tom mám pořádek. :)
Takže to šlo přes 10%.
Sorry. Loňská neúspěšnost v čjl je 9,8 %. Letošní 10,4 %. Už v tom mám pořádek. :)
Takže to šlo přes 10%.
Okomentovat