Představme si typickou situaci: Na střední školu je přihlášeno 150 žáků, přijmout ovšem můžeme pouze tři třídy, tj. 90 dětí. Mezi 150 žáky je tedy 90 nejlepších – těch, které bychom chtěli a měli přijmout. Teď ovšem stojíme před problémem, jak těch 90 „správných“ najít. Z různých příčin se nám to ideálně nikdy nepodaří, můžeme však zjistit, kolik „nesprávných“ uchazečů jsme přijali.
Že se nám nikdy nepodaří přijmout jen ty „správné”, je vcelku zřejmé. Naše zjišťování schopností, znalostí a předpokladů žáků, ať je provádíme jakkoliv, je vždy zatíženo šumem. Z 90 „správných” jich tedy vždy přijmeme jen část a místo nich přijmeme některé z 60 „nesprávných”, a dokonce se může stát, že přijmeme některé z 30 nejhorších žáků, říkejme jim žáci „úplně nesprávní”.
Z přijetí nesprávných a hlavně úplně nesprávných žáků samozřejmě nemá radost škola. Učitelé se musejí 4 nebo dokonce 8 let potýkat s žáky s chabými schopnostmi. Je to o to smutnější, když pomyslíme, že jsme v přijímacím řízení odmítli žáky mnohem schopnější. Na každého přijatého nesprávného žáka totiž pochopitelně připadá nepřijatý správný žák, a jen s malým zjednodušením lze říci, že na každého přijatého úplně nesprávného žáka připadá nepřijatý žák s výbornými předpoklady.
Z hlediska nepřijatých správných žáků je to ještě horší, jde často o hluboký zásah do jejich dalšího osudu. A z hlediska prosperity země je škoda, pokud nejsou rozvíjeny schopnosti těch nejlepších. Jde-li o jednotlivce, nemá to celospolečenský dopad, kvalifikované (velmi konzervativní) odhady ale říkají, že při přijímaní na vysoké školy je každoročně odmítnuto až 40 % správných uchazečů.
Co prozradí reliabilita
Existuje vcelku jednoduchý způsob, jak se dozvědět, kolik nesprávných či úplně nesprávných uchazečů jsme přijali. Stačí pouze vypočítat reliabilitu zkoušky. To je číslo mezi nulou a jedničkou, které vyjadřuje, do jaké míry je výsledek zkoušky náhodný.
Teoreticky jde o korelaci mezi dvěma po sobě následujícími provedeními téže zkoušky u stejné skupiny testovaných za týchž podmínek (to znamená, že při druhém testování zkoušení zapomněli na první testování). Ve skutečnosti se ovšem zpravidla velikost reliability odhaduje na základě jediné zkoušky. Velmi zjednodušeně se to udělá tak, že jako jedna zkouška slouží liché úlohy a jako druhá sudé, a pak se provede oprava na to, že jsme takto zkoušku zkrátili na polovinu.
Výpočet je vcelku jednoduchý (viz tuto stránku, kde najdete o reliabilitě další informace) a nepochybně jej zvládne každý středoškolský učitel matematiky (zájemcům mohu také poslat excelovou tabulku, do které stačí doplnit hodnoty za zkoušky).
Reliabilita 1,00 by znamenala dokonale přesnou zkoušku bez vlivu náhody (šumu). Reliabilita 0,00 odpovídá tomu, že žáky losujeme. U testů se reliabilita pohybuje zpravidla mezi 0,95 (špičkový test) a 0,65 (pro rozhodování samostatně nepoužitelný test). Jsou ovšem i výjimky, testy Právnické fakulty v Praze v roce 1998 měly reliabilitu 0,49.
Reliabilita nabízí dolní odhad počtu přijatých nesprávných žáků. Bohužel je to jen dolní odhad chyby, možná bylo přijato nesprávných daleko víc, například proto, že zkouška byla příliš úzce zaměřená, zjišťovala něco jiného, než měla, část uchazečů byla znevýhodněna špatnou organizací, do výsledků vstoupila korupce atd. Jinými slovy vysoká reliabilita není zárukou, že přijmu ty pravé, ale nízká reliabilita je zárukou, že přijmu mnoho nesprávných a odmítnu mnoho těch nejlepších.
Od dokonalých testů k losování
Nyní se stručně podívejme, jaký vliv bude mít na výběr žáků našich 90 žáků ze 150 přihlášených:
- Dokonalý test by měl reliabilitu 1,00 a na základě něho bychom vybrali právě 90 správných žáků, ale takové testy nejsou L .
- Velmi dobrý (špičkový) test bude mít reliabilitu 0,95: přijmeme (pravděpodobně) 85 správných, 5 nesprávných a žádného úplně nesprávného.
- Velmi slušný test bude mít reliabilitu 0,85: přijmeme (pravděpodobně) 81 správných, 8,5 nesprávných a půlku úplně nesprávného. (Půlka znamená, že v závislosti na našem štěstí v polovině případů žádného úplně nesprávného a v polovině jednoho.)
- Průměrný test bude mít reliabilitu 0,75. Přijmeme (pravděpodobně) 78 správných, 10 nesprávných, z toho 2 úplně nesprávné.
- Test pokládaný za samostatně nepoužitelný bude mít reliabilitu 0,65 (stejnou reliabilitu bude mít velmi povedená klasická písemka). Přijmeme (pravděpodobně) 75 správných, 12 nesprávných, z toho 3 úplně nesprávné.
- Test typu Právnická fakulta Praha (nepovedená klasická písemka) bude mít reliabilitu 0,50. Přijmeme (pravděpodobně) 71 správných, 13 nesprávných, z toho 5 úplně nesprávných.
- Pokud bychom žáky losovali (reliabilita 0,00), přijali bychom (pravděpodobně) 54 žáků správných, 36 žáků nesprávných a mezi nimi 18 úplně nesprávných.
Všude v zahraničí se u každé významnější zkoušky reliabilita spočítá a výsledek zveřejní spolu s výsledky. U nás by pro začátek snad stačilo, kdybychom alespoň u přijímacích zkoušek reliabilitu počítali. O zveřejnění ať si každá škola rozhodne sama, ale měla by alespoň znát výsledek.
Ondřej Šteffl
0 komentářů:
Okomentovat