Největší slabinou obou organizací, které jsou ve sporu, CERMATu i Scio, je posuzování znalostí a studijních předpokladů žáků pomocí testů s uzavřenými otázkami, kdy žák vybírá jedinou správnou odpověď z několika nabídnutých možností. Informace, kterou vyplněný formulář obsahuje, je velice malá. Pokud se žáci na opisování a napovídání předem připraví, je nemožné zabránit opisování.
V mediální přestřelce týkající se plánu státní organizace CERMAT vstoupit do oblasti přijímacího řízení na střední školy, kde dosud působí pouze jeden subjekt – společnost s ručením omezeným Scio – by neměla zaniknout zásadní námitka ve vyjádření ředitele základní školy pana Mgr. Jiřího Vencla. Píše:
Výsledek celého testu se zaznamenává na jediný papír ve formě dvaceti tiskacích písmen. Chcete-li zabránit, aby je žáci mezi sebou opsali, je to dost náročné. Je nutný aktivní a velmi pozorný dozor.
Troufám si tvrdit, že pokud se žáci na opisování a napovídání předem připraví, nezabrání jim v tom nikdo. Pan ředitel Vencl si správně uvědomil jednu z největších slabin posuzování znalostí a studijních předpokladů žáků pomocí testů s uzavřenými otázkami, kdy žák vybírá jedinou správnou odpověď z několika nabídnutých možností. Informace, kterou vyplněný formulář obsahuje, je velice malá. A tato námitka se vztahuje bez rozdílu k testům obou organizací, které jsou ve sporu – CERMATu a Scio. Obě totiž nabízejí testy s uzavřenými otázkami.
Teorie informace má míru pro měření množství informace v nějakém textu. Pozor, nikoliv hodnoty této informace. Tato míra je délka nejkratší posloupnosti složené z 0 a 1, pomocí které lze informaci jednoznačně zakódovat. Velikost informace pak znamená, jak snadné nebo obtížné je informaci předat, okopírovat, ochránit, atd. Jednotce informace se říká jeden bit. Jeden bit informace získáme například jako výsledek hodu mincí.
Pan ředitel nepíše o tom, kolik variant odpovědí bude s každou otázkou nabízeno. Vyjděme tedy z testů, které nabízí firma Scio. V nich testovaný vybírá ze čtyř možných odpovědí označených A, B, C a D. Vyplněný formulář u testu s 20 otázkami není tvořený libovolnými dvaceti písmeny, ale dvaceti z písmen A, B, C, D. Jeden je kupříkladu vyplněný takto:
ABCDD CDBAB AACDC BBBAA.
Každá posloupnost písmen se může objevit jako výsledek testu.
Pro kódování pomocí 0 a 1 zvolíme následující překlad:
A = 00 B = 01 C = 10 D = 11.
Každé ze čtyř možných písmen tak nahrazujeme dvojicí číslic:
0001101111 1011010001 0000101110 0101010000.
Vyplněný formulář testu složeného z dvaceti otázek tak obsahuje tutéž informaci jako posloupnost čtyřiceti 0 a 1, tj. informaci velikosti 40 bitů. Každá posloupnost 40 nul a jedniček může odpovídat nějakému vyplněnému formuláři.
Pan ředitel si správně uvědomil, že Michal takovou informaci bez problémů opíše od premiantky Moniky. Zabránit mu v tom může snad pouze dozor-pes neznající bratra, pokud se takový najde.
Michal ale nemusí od Moniky opisovat jenom bez jejího souhlasu nebo vědomí. Třeba jej Monika miluje a chce, aby se spolu s ní dostal na gymnázium. A Michalovi to není proti mysli. Během testu na sebe pohlédnou a Michal si přejede jedním prstem po tváři. Monika se poté v zamyšlení podrbe levou rukou na bradě a potom na čele. A pak totéž pravou, na čele dvakrát. A Michal hned ví, že odpovědi na první pětici otázek jsou ABCDD. O něco později si Michal přejede po tváři čtyřmi prsty, Monika se třikrát podrbe levou rukou na čele a pak dvakrát na bradě a Michal si k poslední pětici otázek píše odpovědi BBBAA. Předem se totiž s Monikou domluvili na následujícím překladu
A = levou rukou na bradě,
B = levou rukou na čele,
C = pravou rukou na bradě,
D = pravou rukou na čele.
Budou instrukce pro srovnatelné zkoušky zakazovat, aby se žáci během testů drbali? A co pokašlávat? Tak si nepoctivý soutěžící nechal napovídat správné odpovědi v britském „Milionáři“. Poklepat si bezděčně při přemýšlení tužkou o lavici? Například třikrát ve chvíli, kdy ručička na nástěnných hodinách naskočí na 46 (v binárním vyjádření 0000101110 jsou to odpovědi na třetí pětici otázek). Protáhnout se při tak dlouhém sezení? Šoupat nohama? Neklidně se vrtět? Občas slyšitelně vzdychnout? Napít se vody z lahve? Fantazii se meze nekladou, skrýt pár bitů do běžné činnosti není vůbec žádný problém.
Až CERMAT spustí dlouho připravovanou státní maturitu, budou mít studenti spoustu času domluvit se na nejrůznějších variantách takové komunikace. Na některých gymnáziích se v nich procvičují už teď. A všechny dosud vynaložené peníze budou v okamžiku k ničemu. Vlastně nebudou, státní maturita bude dál pokračovat v nastoupeném směru. Co budou ale říkat její výsledky?
Teď si představme, že součástí přijímací zkoušky je napsat krátké pojednání o prázdninové cestě do zahraničí. A Martin píše:
SUD KUL A TY? RIS TO PYJE!
Předem je s Monikou domluvený, že ta mu zkusí opravit chyby. Martin si na diakritiku věří, jejich kód ji tedy pomíjí. Přesto musí pro jedno písmeno použít posloupnost pěti 0 a 1, aby Monika neměla pochybnosti, o co mu jde. Např.
A = 00000 B = 00001 C = 00010 D = 00011 .
. . . . . . . . . . .
X = 11000 Y = 11001 Z = 11010 ! = 11011
? = 11100 , = 11101 . = 11110 mezera = 11111.
Pro odvysílání celého textu se Michal bude muset podrbat 130krát na bradě nebo ve vlasech. Minimálně upadne v podezření, že se dlouho nemyl. Ani náhlý ruměnec na Moniččině tváři nemusí uniknout pozornosti bdělého dozoru. Až Monika začne vysílat odpověď, dozor si řekne, že už zase někdo do školy přinesl vši. A zrovna na přijímačky!
Poslední příklad napovídání je už samozřejmě nereálný. Protože opisování a napovídání je daleko složitější a snáze odhalitelné, pokud není možná podoba odpovědí od začátku tak drasticky redukována jako v případě testů s uzavřenými otázkami.
Kdykoliv se ale někdo v minulosti pokusil namítnout, že by státní maturita nebo přijímací zkoušky na středních školách měly sestávat z písemné práce, řešení příkladů apod., že by takové práce byly více informativní a vypovídaly lépe o individuálních schopnostech jednotlivých žáků, jak paní dr. Zieleniecová, ředitelka CERMATu, tak pan dr. Šteffl, majitel Scio, v jinak vzácné shodě, hned začali oponovat, že by hodnocení pak bylo subjektivní, že dva učitelé by se ani neshodli na tom, kolik chyb v i/y Martin vlastně udělal, natož aby shodně posoudili originalitu nebo opravdovost jeho stylu, a jestli to vůbec bylo k tématu, atd., atd. Ondřej Šteffl nám dokonce navrhl experiment, abychom si to vyzkoušeli sami, kolikrát by se dva učitelé v hodnocení takových zkoušek lišili, zatímco počítač to udělá vždy stejně.
Tak jsem si to vyzkoušel a dvakrát s odstupem několika dní jsem spočítal počet správných odpovědí ve vyplněném formuláři testu. Jednou jsem se spletl o jednu. Počítač je při počítání správně zodpovězených uzavřených otázek určitě lepší, pokud ovšem do něho výsledky testů neťukají lidé ručně a nepoužijeme omylem klíč správných odpovědí k jinému testu.
Poté jsem chtěl srovnat schopnosti své a počítače při opravování písemek našich posluchačů. Písemky jsem naskenoval do počítače a pak hledal program, který by je za mne posoudil. Žádný jsem nenašel. A to jsem díky internetu vyzkoušel počítačů mnohem víc než jenom dva. Takže vlastně i v tomto případě byl výsledek hodnocení počítačem vždy stejný – žádný. Je ale skutečnost, že počítače ještě něco nezvládnou, důvodem k tomu, aby to teď hned přestali dělat i lidé? Možná jsem ale Ondřeje špatně pochopil.
Bylo by chybou myslet si, že psaný text v přirozeném jazyce obsahuje tolik bitů informace, kolik je pětinásobek počtu písmen a symbolů. Přirozený jazyk totiž informaci nekóduje efektivně, ne všechny posloupnosti písmen dávají smysluplný text. Ve skutečnosti lze při efektivnějším kódování stejné množství informace vyjádřit pomocí zhruba poloviny písmen a symbolů, než kolik jich potřebuje přirozený jazyk. Martinovo pojednání o tom, co se dozvěděl ve světě, tak obsahuje informaci kolem 60 bitů, o polovinu více než vyplněný formulář testu s dvaceti otázkami.
Pokud by nějaký ředitel střední školy byl tak pošetilý a rozhodl, že přijímací zkouška z češtiny bude sestávat z napsání jedné věty o 20 písmenech a zkouška z matematiky z jednoho výpočtu sestávajícího ze 30 symbolů, a svůj nápad dokázal realizovat, byl by den po přijímacích zkouškách vyhozen. Když ale stejný nesmysl obalíme dlouhým povídáním o objektivitě hodnocení, neovlivnitelnosti počítačů, nutnosti srovnat úroveň zkoušek a odstranit z hodnocení žáků subjektivní lidský faktor, nahradíme všem srozumitelnou českou větu magickou formulí ABDACA DABDA otevírající dveře vysněné školy, doprovodíme to rituálem rozesílání disket, CDéček a zapečetěných obálek do škol, sdělováním informací na zaheslovaných internetových stránkách, napjatým čekáním na to, jaké pořadí vyleze z tiskárny, lze se tím dobře živit, dokonce i získat desítky až stovky miliónů ze státního rozpočtu. Za zaznamenání také stojí, že k žádné z těchto prací nejsou žáci vůbec potřeba.
Za tzv. objektivitu a srovnatelnost výsledků strojově zpracovávaných zkoušek totiž platíme cenu v podobě drastické redukce hodnocené informace o žákovi. Místo žáka hodnotíme posloupnost čtyřiceti 0 a 1. A dále musíme z hodnocení vyloučit veškeré zkušenosti a vzdělání lidí. Při nejdůležitější zkoušce v dosavadním životě žáků redukovat jejich učitele na pouhé dozorce. Kdybych byl učitelem na základní nebo střední škole, tak by mi toto vadilo snad ze všeho nejvíc. Mezi testy CERMATu a Scio není v tomto směru žádný rozdíl.
Pan dr. Šteffl by nepochybně neopomněl dodat, že jeho testy jsou pro školy vhodnější, protože mají vyšší reliabilitu. To je ale téma pro jiný článek.
Jiří Tůma
0 comments:
Post a Comment