Bořivoj Brdička: Nový pohled na schopnost technologií ověřovat výukové výsledky

Článek se zabývá aktuálními výstupy bádání evropských vědců na poli vzdělávacích technologií zvláště v oblasti počítačového hodnocení výukových výsledků. Popisuje paradigmatickou změnu směrem k analýze velkých dat a aplikaci umělé inteligence.

Zabývali jsme se poslední dobou docela dost tím, jaký vliv na vývoj vzdělávacích technologií má výzkum problematiky využití velkých dat realizovaný hlavně v zámoří (Strategie rozvoje školství v USA pod taktovkou Ed.gov). I když to na první pohled vypadá, že Evropa je v této oblasti poněkud pozadu, existují výjimky. Poměrně dost na špici se drží vědci v Británii (např. Jste rezident nebo návštěvník?, Digitální gramotnost podle Wheelera nebo Husité vědy). Jiným velmi kvalitním zdrojem pokrokových vědeckých informací je například online časopis European Journal of Education, který je mi o to sympatičtější, že vychází pod licencí CC. Zrovna poslední vydání z března 2013 bylo tématicky zaměřeno na ICT and Education: taking stock of progress and looking at the future.

Je v něm hned několik mimořádně zajímavých článků, jejichž úroveň lze považovat za světovou. Třeba hned ten první (The Use of ICT in Education: a survey of schools in Europe) tradičním způsobem zpracovává dotazníkové šetření u stovek tisíc žáků, učitelů a ředitelů z 27 evropských zemí. Zpráva o výsledcích zavádí pojem „digitálně vstřícná škola“ (digitally supportive school) a „digitálně sebejistý učitel“ (digitally confident teacher). Myslím, že by stálo za to si je osvojit. Podle hlavního závěru je nezbytné zavádět ICT plošně do výuky proto, abychom zvyšovali schopnost žáků používat technologie k učení. Nesmíme očekávat, že se díky jejich mimoškolní všudypřítomnosti dopracují k této dovednosti samovolně. Určitě se k tomuto tématu ještě brzy vrátíme.

Teď se ale podíváme na další příspěvek, jenž fundovaně popisuje vývoj v oblasti počítačového hodnocení výukových výsledků. Nese název Changing Assessment — Towards a New Assessment Paradigm Using ICT [1] a jeho autory jsou dva badatelé - Christine Redecker a Øystein Johannessen. Christine Redecker je vědeckou pracovnicí Institute for Prospective Technological Studies se sídlem ve španělské Seville. Zabývá se inovačním potenciálem ICT ve vzdělávání. Dovolím si připomenout, že se jeden její příspěvek v roce 2010 objevil i v české verzi příručky eTwinningu - Proč by učitelé měli začít využívat nástroje Webu 2.0 pro vytváření sociálních sítí? Øystein Johannessen je norský VŠ učitel a odborník na vzdělávací technologie, který působil v mnoha manažerských funkcích na ministerstvu školství a v European Schoolnet. Řídil výzkum v OECD CERI a je členem expertního panelu Horizon Report.

Vývoj počítačového hodnocení výukových výsledků

Pro popis vývoje počítačového hodnocení výukových výsledků (e-Assessment) autoři používají 4 generační členění definované již v práci Bundersona, Inouye a Olsena z roku 1980 [2]:

Generace 1: Počítačové testování (tradiční testy dělané na počítači);
Generace 2: Adaptivní počítačové testování (obtížnost je nastovována během testu na základě předchozích výsledků zkoušeného);
Generace 3: Průběžné hodnocení (kalibrované metody soustavně odhalují vývoj žákova poznání);
Generace 4: Inteligentní hodnocení (interpretace uložených individuálních výsledků generující doporučení studujícímu i učitelům, jak dál postupovat).

Je skoro neuvěřitelné, že je tato 33 let stará představa stále použitelná. Schematické znázornění propojené se současným stavem poznání je na následujícím obrázku.

Vývoj počítačového hodnocení výukových výsledků [1]

Tradiční testové paradigma

V roce 1980 se nám o možnostech využití velkých dat generovaných uživateli všudypřítomných technologií ještě ani nezdálo. Počítačové testování (Computer Based Assessment) generace 1 se zabývalo zkoumáním faktických znalostí a používalo hlavně otázky s výběrovou odpovědí (Multiple Choice) nanejvýš krátkou (jednoznačnou) tvořenou odpovědí (Short Answer). Již první na testování orientované systémy uměly nastavovat jinou reakci pro každou očekávanou odpověď uživatele. Odtud byl jen krok k dnes běžným adaptivním systémům, které průchod testem modifikují podle předchozích výsledků (generace 2). Schopnější žák se nemusí zdržovat a dostává těžší otázky. Ty jsou lépe hodnoceny a celkové skóre je pak samozřejmě vyšší.

Důležitou vlastností tradičních systémů hodnocení je velikost databanky, z níž jsou otázky vybírány. Čím více jich je, tím méně je pravděpodobné, že při náhodném výběru dostanou žáci při opakování testu stejné otázky. Zároveň klesá možnost naučit se nazpaměť pouze správné odpovědi. Na druhou stranu je velmi obtížné a drahé připravit větší množství otázek se stejnou obtížností, což je samozřejmě nutnou podmínkou porovnatelnosti výsledků a celkové reliability testu.

Vývoj tradičního e-Assessmentu směřuje ke zvyšování validity hodnocení zdokonalováním algoritmu výběru vhodných položek zadání z databanky podle předchozích výsledků uživatele, zlepšováním schopností systému správně hodnotit na základě většího množství různých informací o uživateli a vývojem aplikací schopných provádět inteligentní analýzu a hodnocení otevřených textových odpovědí (viz Je současná umělá inteligence schopna hodnotit tvořený text?).

Celý článek na spomocnik.rvp.cz