S jakou přesností měří maturitní testy dovednosti studentů?
Při pohledu zvenku není zřejmé, podle jakých kritérií se řídí bodování úloh. Například jak souvisí počet bodů s náročnosti úlohy a zda autoři testu berou v úvahu vliv tzv. náhodné odpovědi. Z dat, která Cermat zveřejnil na základě zákona o svobodném přístupu k informacím k maturitním testu z matematiky pro rok 2019, navíc vyplývá, že maturitní test ve stávající podobě sice dobře rozlišuje mezi žáky, kteří jsou v matematice průměrní, v hodnocení žáků na hranici tzv. cut off score, kde se rozhoduje o tom, kdo v testu uspěje a kdo propadne, je ale mnohem méně spolehlivý. O tom, kdo z těchto žáků uspěje a kdo propadne, pak do značné míry rozhoduje náhoda.
Cermat uvádí, že při přípravě maturitních testů a jejich zpětné validaci používá klasickou testovou teorii. Na jejím základě není možné posoudit objektivní náročnost testu, například nezaručuje srovnatelnost mezi lety. Nedokáže totiž odlišit, zda za lepší nebo horší průměrný výsledek v daném roce může náročnost testu, nebo změna ve složení či schopnostech studentů. To může být příčinou paradoxu, kdy se během deseti let existence státní maturity mezi žáky, kteří maturují z matematiky, výrazně vzrostl podíl gymnazistů, neúspěšnost ale zůstává na obdobné úrovni.
Měří test, co měřit má?
Předpokládáme, že maturitní test z matematiky ověřuje schopnost žáka řešit matematické problémy, nemusí tomu tak ale být a dostupné informace nenasvědčují tomu, že by to Cermat bral v úvahu. To může náhodně poškozovat různé skupiny maturantů. V loňském testu z matematiky například mezi úlohy s největším rozdílem mezi úspěšností žáků gymnázií a žáků jiných typů škol patřila slovní úloha, která z čistě matematického hlediska nebyla natolik náročná, aby takto výjimečný rozdíl vysvětlovala. Jednou z možností, proč si s ní poradilo 56,4 % gymnazistů, ale pouze 22,3 % žáků středních odborných škol a 10,9 % žáků středních odborných učilišť, může být lepší znalost pojmů jako kapitál nebo investice u gymnazistů.
„Bez toho, aby autoři test připravovali a pilotovali tak, aby vlivy náhody eliminovali, je předpoklad, že test z matematiky ověřuje objektivně matematické dovednosti a že je měří u všech testovaných stejně, nepodložený,” říká datový analytik EDUin Jiří Münich.
Zdroj: EDUin
26 komentářů:
Není divné, že zrovna Eduin bojuje za objektivitu testů? Nebojuje obecně spíš e za individ. přístup, rozvoj spolupráce, komunikace a pod. Jak tohle objektivně bodovat? Navíc právě Eduiňáci by měli být ti, kteří nejsnáz pochopí, že objektivně testovata bodovat nejde: Jak vypadá objektivní test? Jako test autoškoly - naučíte se otázky a necháte se přezkoušet. Takhle lze nařídit konkrétní sbírku úloh z M a tu zkoušet (tak to bývalo pro příjímačky na SŠ s Bělounem). A věta: "Předpokládáme, že maturitní test z matematiky ověřuje schopnost žáka řešit matematické problémy" předpokládá, že víme, co je mat. problém. Podle mě je to atypická úloha, nad jejímž řešením je třeba uvažovat dlouho (třeba s přestávkami pár dní), projít několika chybnými kroky a vymotat se z nich a pak na něco přijít (nebo nepřijít). Tomu se říká problém. Pokud mám řešit serii "problémů" a na každý mám tak 5 minut, tak asi o problémy nejde.
Spíš mi vadí, že se testuje hlavně schopnost vyplnit test, než matematika. A pak že se testuje spíš matematika a ne porozumění a užití matematiky.
Kdyby se testovalo porozumění a užití matematiky, mělo by to význam v životě (možná i všech) maturantů. A nestalo by se, že kamenem úrazu bude už první úloha (trojčlenka), případně v článku uvedený příklad (kapitál).
Umí maturitní test odhalit, kdo umí a neumí anglicky?
Spíš mi vadí, že se testuje hlavně schopnost vyplnit test, než angličtina. A pak že se testuje spíš angličtina a ne schopnost se anglicky domluvit.
Kdyby se testovala schopnost domluvit se anglicky, mělo by to význam v životě (možná i všech) maturantů. A nestalo by se, že kamenem úrazu budou už první úlohy vycházející z poslechu.
Vnímáme, prosím, všichni absurdnost toho, že se Eduin, a nejen Eduin, rýpe pořád jenom v matematice?
Já začínám mít pocit, že matematice a její výuce rozumí v tomto národě kdekdo a že anglicky naopak neumí nikdo. Není to náhodou dobrá vizitka pro výuku matematiky a velmi špatná vizitka pro kvalitu výuky angličtiny?
Paní Adamová, anglicky se musíte domluvit až u ústní zkoušky.
O matematice se mluví tolik, protože se matikáři rozhodli ji bezohledně nacpat všem ať už ji chtějí/potřebují/milují nebo ne.
Pro PP: Je absurdní si myslet, že škola dokáže vytvořit 100% soustředěných a motivovaných. Je nesmyslné si myslet, že všichni takoví mohou být, když budou chtít/muset/někdo je poprosí. Škola má pozvednout schopnosti/dovednosti, což nutně znamená, že někteří je předem mít nebudou a jiní ani potom. Ale stejně je musíte vzdělávat, protože co bychom jinak s "tím odpadem", na který nadáváte, jinak pak dělali?
Dovolím si rekapitulaci "věcného" článku v bodech:
1) Při pohledu zvenku není zřejmé, podle jakých kritérií se řídí bodování úloh.
2) Není zřejmé, jak souvisí počet bodů s náročnosti úlohy.
3) Není zřejmé, zda autoři testu berou v úvahu vliv tzv. náhodné odpovědi.
4) Předpokládáme, že maturitní test z matematiky ověřuje schopnost žáka řešit matematické problémy, nemusí tomu tak ale být.
5) Dostupné informace nenasvědčují tomu, že by to Cermat bral v úvahu.
6) To může náhodně poškozovat různé skupiny maturantů.
7) Jednou z možností, proč si s ní poradilo 56,4 % gymnazistů, ale pouze 22,3 % žáků středních odborných škol a 10,9 % žáků středních odborných učilišť, může být lepší znalost pojmů jako kapitál nebo investice u gymnazistů.
Čili, něco může, být, něco nemusí. Něco naznačuje a něco nenaznačuje. Spousta toho není zřejmého. Když to shrnu, tak naprosto prázdný článek o dojmech autora.
"„Bez toho, aby autoři test připravovali a pilotovali tak, aby vlivy náhody eliminovali, je předpoklad, že test z matematiky ověřuje objektivně matematické dovednosti a že je měří u všech testovaných stejně, nepodložený,” říká datový analytik EDUin Jiří Münich."
Jak přesně chce autor eliminovat vliv náhody? Jak přesně navrhuje ověřit matematické dovednosti objektivně? A z čeho vyplývá, že test neměří matematické dovednosti u všech testovaných stejně?
"Z dat vyplývá, že maturitní test ve stávající podobě sice dobře rozlišuje mezi žáky, kteří jsou v matematice průměrní, v hodnocení žáků na hranici tzv. cut off score, kde se rozhoduje o tom, kdo v testu uspěje a kdo propadne, je ale mnohem méně spolehlivý."
Mohl bych poprosit o odkaz na studii, na jejímž základě byl někým tento závěr z dat vyvozen?
"Není možné posoudit objektivní náročnost testu."
Proč ne? Co to přesně je ta objektivní náročnost testu?
"Není zaručena srovnatelnost mezi lety."
Srovnatelnost čeho?
Pane Doležel, vliv náhody eliminujete jednoduše tak, že testovaný nemá na výběr z více možností (a nebo je těch možností hodně).
Problém cut off score vidím v tom, že střed leží na hranici udělal/neudělal, což odpovídá testu pro přijímačky (test se udělá tak těžký, že jej nikdo neudělá na 100% a tím pádem máte pořadí - kdyby polovina udělala 100%, nemáte jaj vybírat). Ale maturita nejsou přijímačky. Měla by zjistit, zda testovaní umí na nějakou (danou) úroveň. To se děje třeba v angličtině, ale nikoliv v MAT nebo ČJ.
Náročnost a srovnatelnost mezi lety se dá zjistit, pokud bychom měli k dispozici veškerá data (tj. pilotování, úspěšnosti, hodnocení variant téže úlohy atd) a kdybychom věděli, jak se test kalibruje (my to víme, kalibruje se na určité procento propadlíků). Jenže to je špatně.
"O matematice se mluví tolik, protože se matikáři rozhodli ji bezohledně nacpat všem ať už ji chtějí/potřebují/milují nebo ne."
Pane Keršlágere, vy jste, ostatně jako téměř všichni, nepostřehl, že se zavedením povinné maturity z matematiky šla ruku v ruce i povinná maturita z cizího jazyka?
Takže se určitě dá říci, že se kdosi snažil, a já nemám odvahu naplno osočit jazykáře, protože ti jsou v tom úplně stejně nevinně, jako matikáři v případě matematiky, cizí jazyk bezohledně nacpat všem ať už ho chtějí/potřebují/milují nebo ne."
Paní Adamová, obávám se, že na zrušení povinné maturity z matematiky se matikáři nepodíleli. Stačí se podívat v diskuzi nebo se zeptat v kabinetech MAT.
Úroveň absolventů nezlepšíte tím, že jim všem nařídíte, že budou vypadat jako stejné cihličky (tj. budou mít všichni stejné předepsané zkoušky). Každý je přeci jiný.
"Ale stejně je musíte vzdělávat, protože co bychom jinak s "tím odpadem", na který nadáváte, jinak pak dělali?"
O odpadu tady hovoříte jenom Vy pane Keršlágere, většina ostatních diskutujících tady celá léta hovoří o dětech, které trápíme na maturitních oborech, přičemž by byly daleko spokojenější na učebním oboru bez maturity, a poté by byly i uplatnitelnější na pracovním trhu.
"Ale maturita nejsou přijímačky. Měla by zjistit, zda testovaní umí na nějakou (danou) úroveň. To se děje třeba v angličtině, ale nikoliv v MAT nebo ČJ."
To hovoříte o testu z angličtiny, který zkoumá schopnosti zhruba na úrovni žáků 8. ročníku základní školy?
"Paní Adamová, obávám se, že na zrušení povinné maturity z matematiky se matikáři nepodíleli. Stačí se podívat v diskuzi nebo se zeptat v kabinetech MAT."
My jsem se bavili o zrušení? Já myslím, že jsme se bavili o zavedení. Nemluvte o koze, když jsme se bavili o voze.
"Úroveň absolventů nezlepšíte tím, že jim všem nařídíte, že budou vypadat jako stejné cihličky (tj. budou mít všichni stejné předepsané zkoušky). Každý je přeci jiný."
Na tom, aby měli všichni předepsané zkoušky, a na tom, aby všichni vypadali jako cihličk,y mají největší zásluhu ti, kteří se domnívají, že všichni musí mít maturitu, a že učební obor bez ní je pro "odpad."
Paní Adamová, maturita je (ze své podstaty) zkouška, která je na rozdíl od učňovských zkoušek zaměřena na teoretickou část a to ještě u společenských/přírodovědných/jazykových oborů. Zatímco učeň umí spojit dvě trubky svářením, maturant z téhož oboru by měl mít přesah mimo manuální zručnost. Tedy přidanou hodnotu služby (umět např. udělat cenovou rozvahu toho sváru). Dříve (i dnes) jste bez maturity nemohla být mistr (tedy vést lidi).
Pokud nechcete mít z ČR montovnu, je potřeba mít tu přidanou hodnotu u co nejvíce žáků. Jinak to nejde. V ČR prostě musíte zkusit nechat projít více lidí maturitním oborem, aby získali větší rozhled.
O "odpadu" nemluvím já, nýbrž vy ty žáky kastujete (na to kdo má a nemá nárok maturitu mít).
"Zatímco učeň umí spojit dvě trubky svářením, maturant z téhož oboru by měl mít přesah mimo manuální zručnost. Tedy přidanou hodnotu služby (umět např. udělat cenovou rozvahu toho sváru). Dříve (i dnes) jste bez maturity nemohla být mistr (tedy vést lidi)."
Pane Keršlágere, Vy si opravdu nejste schopen přiznat skutečnost, že všichni nemají schopnosti na to, aby mohli být mistry, a že je v tom případě lepší, když se naučí pořádně dělat manuální práci? A co má takový elektrikář, automechanik, malíř pokojů, instalatér, kuchař společného s montovnami?
Učím dálkaře, kteří si sami chtějí dodělat maturitu, aby dosáhli na kýžené zaměstnání. Bez maturity vás prostě na některé funkce nepřijmou. Dokonce třeba ani k popelářům (řidič ovládá auto v ceně kolem 5 mil Kč, pomocníci mohou snadno způsobit miliónové škody nevhodnou manipulací).
Tak se to dělalo před Listopadem'89, kdy se určovalo kdo se nemůže jít na maturitní obor, protože na to tzv. nemá. Na pásových linkách končí nejčastěji nejnižší vzdělání. Tedy ty obory, které chcete posilovat. Chodím tam o praxích, bavím se s nimi...
Tak já Vám to pane Keršlágere řeknu na rovinu. Všichni kantoři středních škol s maturitními obory, kde bojují o každého žáka, jinak by neměli koho učit, už tak dlouho při lákání žáků vykládají bludy o tom, že bez maturity se nedá málem ani dýchat, až jim sami uvěřili.
A já skutečně silně pochybuji, že jakýkoliv alespoň trochu šikovný řemeslník, dnes stojí někde u pásu.
Paní Adamová, nevím na které škole učíte, ale dtaj určitě neodpovídá úrovni 8. třídy. To je úroveň A2-B1 SERRJ. Dtaj je na úrovni B2, místy C1. Přestaňte žárlit na angličtinu. MA je jednoduše obtížnější k naučení a pochopení než AJ. Proto by měla její (MA) výuka být diferencovaná a hodinové dotace odpovídající, učitelé dobře připraveni a odměněni. Cermat může dtaj nastavit na maximální obtížnost C2 a stejně by z matiky maturovalo méně žáků a více by jich bylo neúspěšných.
"MA je jednoduše obtížnější k naučení a pochopení než AJ."
Fakt? A víte, že já znám celou řadu žáků, kteří byli a jsou podstatně lepší v matematice, a přesto maturují z angličtiny?
On je totiž ten problém nejen v tom, jestli je test na úrovni A1 nebo C1, ale také v tom, na kolik procent je nastavena úspěšnost potřebná ke zmaturování. A zatímco u podobných testů v zahraničí je to k úznání úrovně B2 nastaveno na 60 %, tak u nás stačí ke zmaturování proklatě nízkých 44 %. Nu a z toho důvodu se přece vůbec nedá hovořit o tom, že ten test je na úroveni B2, protože nastavení úspěšnosti na 44 % jeho úroveň jednoznačně snižuje. Nebo snad chcete tvrdit, že když se hranice úspěšnosti stáhne na 20 %, že to bude furt úroveň B2?
Ale pssst, o těchto věcech se nesmí veřejně mluvit, o tom si povídají jen angličtináři mezi sebou, viďte? A já bych se velmi divila, kdyby zrovna Vy byste nebyl s těmito informacemi seznámen.
O tom, jak by to vypadalo, kdyby z obojího maturovali všichni, se můžeme jen dohadovat. Vy přece velmi dobře víte, že neúspěšnost z matematiky a potěmkinovská úspěšnost z angličtiny je ovlivněna ještě celou řadou faktorů, a že kdyby z obojího maturovali všichni, že by celá řada lidí byla velmi překvapena.
Paní Adamová, připomeňte mi prosím, kolik že je cutoff skóre u dtma, jen abych si to ujasnil.
PP, koblížku, u nás si pubertální děvčata přivydělávají doučováním matiky;)
Tak samozřejmě, že nižší. Jenže každý učitel základní školy ví, že u písemek z jazyků a češtiny je koule za úspěšnost pod 50 %, ale u matematiky je koule až pod 30 %. Nesrovnávejte nesrovnatelné. Lepší argument nemáte?
Paní Adamová, angličtina je skutečně jednodušší, než němčina (právě jsem se zeptal - pády, koncovky, časování, větná stavba). Možná proto je ANJ světový jazyk a je tak pro maturanta užitečnější než MAT nebo NEJ.
Letošní maturant technické SŠ, který má z MAT jedničky a stejně dělá ANJ, i když jde na ČVUT, prohlásil: "K čemu by mi maturita z MAT jako byla?". To mluví za vše. MAT je jenom aparát. A na ČVUT to sice bude podstatný předmět, ale lámat chleba se bude na odborných předmětech. A je úplně fuk, že před 30 lety to bylo možná trochu jinak.
@PP: Důležitost a vážnost MAT se zde evidentně měří počtem osobních útoků. Jen do toho.
Doučil bych je to. Vod toho jsem tady. Abecedu, tu anglickou, někteří v prváku skutečně neznají. Doučíme, přivedeme k maturitě. Když to nejde jinak, tak doučováním každý den. Neskuhráme. Učíme.
Mimochodem, paní Adamová, můžete být spokojená. Zdá se, že cermat meziročně obtížnost dtaj skutečně zvyšuje, bez ohledu na možnost srovnání, či nějakou předvídatelnost obtížnosti. Takhle se za pět let "nepozorovaně" dostaneme na úroveň C2 a budete moct klidně spát.
PP nemluvil o spellování, ale to Vy samozřejmě dobře víte, že? Stejně tak, jako dobře víte, že žáka, který by byl ve stavu PP popsaném byste nedoučili a k maturitě nedovedli. A zmaturovat by zmaturoval, leda kdybyste tu "úroveň" anglického B2 testu šoupli na 10 %.
A nepovídejte nám tady, že na středních školách slabé žáky bůhvíco doučíte. Loni bylo k jarnímu termínu přihlášeno cca 68 000 maturantů, z čehož prvomaturantů bylo jen 60 000. Těch 8 000, kteří jsou z řad těch, kteří nebyli v minulém jarním termínu připuštěni vůbec k maturitě a podzim nedali, nebo těch, kteří už nezmaturovali víckrát, jste dokázali základy naučit? Nedokázali.
A nejhorší na tom je, že vy na středních školách velmi dobře víte, že to nedokážete, vždyť schopnosti žáků vidíte už u přijímaček, a berete je na maturitní obory jen kvůli tomu, abyste měli koho učit, o nějaké blaho žáků tady ze strany středních škol přece vůbec nejde. A že nám pak přibývá lidí, kterým zůstává v ruce jen výstupní vysvědčení ze základky, i když by mohli mít výuční list? Nevadí, alespoň se nám na středních školách obtočí ještě jednou.
"Zdá se, že cermat meziročně obtížnost dtaj skutečně zvyšuje,..."
A z čeho tak usuzujete? Z toho, že narůstá procento nezmaturovaných? Jenže to narůstá taky kvůli tomu, že díky poklesu síly maturitního populačního ročníku z nějakých 120 000 před deseti lety na 80 000 berete na maturitní obory slabší a slabší žáky.
A i kdyby se náročnost testu navyšovala, má to logiku, protože současní maturanti se učí anglicky déle než jejich předchůdci, kteří maturovali před deseti lety. Zatímco na začátku 90. let se prvnímu cizímu jazyku vyučovalo povinně od 5. ročníku, od roku 1995 se s povinnou cizojazyčnou výukou začíná ve 4. ročníku. S platností od roku 2006 se s povinnou výukou prvního cizího jazyka začínalo od 3. ročníku. Tak neskuhrejte a učte.
Paní Adamová, vaše závěry typu "berete na maturitní obory slabší a slabší žáky." jsou úsměvné. Co byste dělala vy? Máte 50 uchazečů, otevíráte třídu pro 25 žáků. Postavila byste s hrobovým výrazem před školu a pravila, no pasaran vás 40 nehodných pryč, 10 dovnitř, já bráním vzdělání před devalvací? Koneckonců, do prváku někdy zavítá o žák, který vůbec nikdy neměl žádný cizí jazyk, neboť neměli jazykáře a víte vy co? Naučíme ho to za čtyři roky a jde k maturitě. Protože neskuhráme, nevymlouváme se, ale učíme. Uberte páru, nebo vás ta závist skolí.
Okomentovat