Dan Lessner : ICILS 2013: Samé otázky

Víkend jsem strávil zkoumáním překvapivých výsledků šetření ICILS (díky kolegům, kteří se přidali!). Čeští žáci totiž dopadli v měření počítačové a informační gramotnosti (CIL) nejlépe. Česká závěrečná zpráva je velmi zajímavé čtení, australská i hlavní mezinárodní jsou ještě lepší.

Co jsem se dozvěděl, a co stále ještě nevím? Předně stále nechápu, jak došlo k tomu, že jsou čeští žáci první, a nikoliv o fous.

Proč výsledky na první pohled nedávají smysl

Odkazy

• Stránky inspekce o projektu, národní zpráva, hlavní zjištění, data a další materiály
• Hlavní stránky projektu ICILS, podrobná ukázka úloh, mezinárodní zpráva, assessment framework
  
• Kdo by to chtěl vzít komparativně: Slovensko, Austrálie, Německo

Náš vzdělávací systém jakoby na informatiku zapomněl. Nebo vlastně nikoliv jakoby. Učivo předepsané v RVP nevyhovovalo už před deseti lety, a za tu dobu se nezměnilo (na rozdíl od jiných oblastí). Časová dotace je směšná jedna hodina na každém stupni. A tak by šlo pokračovat. Teprve před nedávnem se zablesklo na lepší časy v podobě strategie digitálního vzdělávání. Z druhé strany, tedy z praktické zkušenosti vlastní (i mnohých kolegů) plyne spíš neuspokojivá úroveň našich žáků. Jak tedy výsledek vysvětlit? Nejde o to, že bychom snad osmákům a některým jejich učitelům neměli přát úspěch. Jde o to, že v celkovém kontextu nějak nedává smysl.

Závěrečné zprávy popisují získaná data a základní statistiky, příliš se ale nepouští do jejich interpretace. Zůstává tedy mnoho otázek. Především: Proč jsme v porovnání první, proč my jsme lepší, a jiné státy horší? Jak dobří skutečně jsme, co žáci umí, např. ve vztahu k RVP?

Hlavní výsledky (z australské zprávy, str. 41). Uprostřed je pruhu průměr, bílý je interval 95% spolehlivosti, následují kvartily a percentily (50% žáků je v tmavě fialové oblasti, 90% žáků ve světle fialové).

Vysvětlení: České žáky IT baví

To zní rozumně, navíc si pamatujeme diskusi o souvislosti výsledků v matematické gramotnosti s oblibou matematiky (a polemika stále probíhá). Jenže české žáky podle šetření ICILS baví a zajímá technika významně podprůměrně. Nadto dívky, které baví méně, dosahují lepších výsledků, než chlapci, které téma baví a zajímá více. Vysvětlení musíme hledat jinde.

Vysvětlení: Nejsme lepší, než nikdo relevantní

Některé novinové titulky udělaly naše osmáky nejlepšími na světě. Patrně hlavně kontumačně, protože šetření se účastnilo jen asi 19 zemí. Kladu si proto otázku, s kolika z nich se srovnávat chceme. Nechci být necitlivý, ale náš náskok před Chile či Ruskem mě zas tolik nerozruší. Zemí, které bych čekal, že budou na tom stejně nebo lépe, a se kterými tedy pro nás má smysl se měřit, vidím v žebříčku 7 (vlastně jsou to první místa až po Slovensko, samozřejmě včetně). U těchto zemí by mě zajímalo srovnání a vysvětlení, proč skončily za námi. Ty ostatní země z mého pohledu bílého muže poskytují snadnou nadprůměrnost a kazí nám tak možnost kvantitativního srovnání s první sedmičkou.

Na předních příčkách nicméně důstojné soupeře najdeme, takže slabá konkurence jako vysvětlení našeho umístění neobstojí. Slovensko, v mnohém srovnatelná země (kromě např. promyšlenosti výuky informatiky) je na konci. Jsou za námi i země bohatší, přitom socioekonomická situace má na výsledek žáka zásadní vliv (podle výsledků šetření).

Mimochodem, k výsledkům lze přistupovat různě. Slovensko v poklidu hlásí, že patří mezi 10 zemí s významně nadprůměrným výsledkem. O jedinou příčku lepší Německo hovoří o promarněné generaci žáků a digitálních neandrtálcích.

Dlouhý článek je třeba odlehčit obrázkem. Jako neandrtálci dopadnou digitální neandrtálci, až se budou muset začít živit prací. CC-BY-SA, AquilaGib, Wikimedia Commons

Vysvětlení: Úlohy měří něco jiného, než chceme

Nejlepší představení úloh je asi tady a v mezinárodní zprávě. Zveřejněna byla část jednoho modulu ze čtyř. Převratná je forma testování: Na USB disku čeká speciálně vytvořené testové prostředí, včetně jednoduchého prohlížeče jednoduchého internetu, jednoduchého grafického editoru atp. To nás rozhodně dostává blíž tomu, co testovat chceme, než se kdy lze dostat jakýmkoliv papírovým zaškrtáváním.

Část každého modulu jsou snadné a rychlé otázky, část je nicméně velká tvůrčí úloha, kde musí žák (z poskytnutých omezených zdrojů) najít nějaké informace a zpracovat je do podoby nového „informačního produktu“. Třeba plakátu. Trochu to podkopává použití IRT v šetření, protože velká úloha obsahuje vzájemně závislé podúlohy.

Jednou z nevýhod tohoto přístupu je jednoduchost prostředí. Není kam se ztratit, velmi rychle lze i bez nějak hlubokého porozumění dojít k požadovanému výsledku. Běžné editory nabízí mnohem víc voleb. Např. kontextová nabídka použití při kopírování URL z těla mailu do adresního řádku má právě dvě položky: kopírovat a vložit. Není to nutně chyba, ale je třeba na to myslet při dovozování, co vlastně žáci doopravdy umí.

Na druhé straně je prostředí pro žáky nové a musí se s ním seznámit, někdo může být zpočátku trochu zmatený. Studie patrně neřešila, v jakém prostředí žáci běžně pracují (prostředí šetření se dost podobá starým Windows) — pro posouzení validity nástroje se ale otázka nabízí.

Přestože je způsob testování krokem vpřed, úlohy je ještě jak zlepšovat. Podvodný mail je za podvodný prohlášen zadáním, místo aby jej rozeznal žák sám od sebe. Které informace má obsahovat vytvářený plakát je předepsáno zadáním (kdy, co s sebou, ...), místo aby to podle situace žák odhadl a rozhodl sám. Pořád tedy netestujeme tak úplně to, co chceme. Rozdíl je ale v úrovni pokročilosti, nikoliv v pojetí CIL. V úlohách šetření se s informacemi skutečně pracuje.

Vysvětlení: Čeští žáci umí řešit problémy

To se ukázalo v šetření PISA 2012. Mohli bychom říct, že když žáci řeší úlohy v prostředí ICILS, které je pro ně nové, musí uplatnit nějakou obecnější schopnost řešit problémy. To by aspoň částečně vysvětlilo úspěch našich žáků. Jenže při bližším pohledu se ukáže, že by takový efekt fungoval jen pro české žáky, což je trochu divné. Korelace výsledků ICILS a PISA je slabá.

Možná jsou naši žáci nějak výjimeční? Koneckonců, když se zkusí odhadnout výsledek testu řešení problémů podle výsledků v základních gramotnostech, často to jde, ale např. pro naše žáky nikoliv (viz závěrečnou zprávu PISA). Jenže podobně model „porazí“ i další žáci ze zemí, které jsou v ICILS za námi.

Vysvětlení: Úlohy jsou lehké, aneb co tedy vlastně žáci umí?

Osobně učím obvykle gymnazisty, takže je pro mě velmi snadné od boku vypálit, že úlohy v ICILS jsou prostě příliš jednoduché. Podívejme se na to ale blíž. Výsledné skóre je normalizováno na střední hodnotu 500 a sm. odchylku 100. To je dobré pro srovnávání zemí, ale není z toho vidět, co kteří žáci zvládají. Stejně tak není zřejmé, které dovednosti měly v testu jakou váhu. Do toho vnese trochu světla popis rámce na str. 43. Např. vidíme, že úprava, tvorba a sdílení mají dvojnásobnou váhu oproti hledání, vyhodnocení a organizaci informací Jen se mi nelíbí to zdůvodnění: Jde prý o to, že produkční dovednosti v testu zaberou nejvíc času. Nikoliv třeba o to, že by produktivní dovednosti byly nějak důležitější.

Šetření žáky rozřazuje do čtyř dovednostních úrovní (str. 18):

Z národní zprávy, str. 30. Celkové zastoupení žáků v úrovních je 2, 13, 48, 34 a 4 procenta v pořadí jako na obrázku.

Úrovně najdeme stručně popsané v národní zprávě (str. 47-48). Střední český žák je blíže horní hranici úrovně 2 (553 bodů, na obrázku střední modrá, rozsah úrovně je 492 až 575 bodů), ve které je žáků zároveň nejvíc (48%). Z popisu úrovní mimo jiné plyne, že tedy typický český osmák:

• dovede přejít na webovou stránku ručním zadáním URL,
• naformátuje nadpis a umístí na ústřední místo,
• ořízne obrázek, vloží do dokumentu,
• využije celou plochu plakátu,
• rozumí souvislosti délky a síly hesla (uvedené dovede skoro 85% žáků),
• ale už neposoudí spolehlivost informace,
• nevybere vhodnou ani relevantní informaci (ani z poměrně omezené množiny),
• nerozloží vhodně obrázky na plakátu, nepracuje dobře s barvami a kontrastem,
• nepřizpůsobí text cílové skupině a účelu,
• neposoudí spolehlivost informací určených k propagaci nějakého produktu na komerční webové stránce (uvedené nedovede 63% žáků).
  

Tohle je místo, kde úspěch českých žáků trochu trpkne. Němci svůj výsledek komentují:

„Tři čtvrtiny žáků nedovedou samostatně vytvořit prezentaci nebo dokument přizpůsobený příjemci. Je třeba jednat.“

Birgit Eickelmann,
koordinátorka šetření v Německu


(U nás se totéž týká „jen“ 63% žáků.)

Co žáci dovedou a nedovedou mi připadá důležitější, než jestli jsme předhonili Ontario (o to smutnější je samozřejmě výsledek všech ostatních, průměrně na dolní hranici druhé úrovně). Zkusmo jsem dosaženou úroveň srovnal s široce prodiskutovanými standardy ICT pro naše základky. Můj závěr je smutný, ale s ohledem na okolnosti očekávatelný. Žáci tohoto (minimálního!) standardu nedosahují. Nejlíp ale, když si to porovnáte sami.

Jednoduchost úloh (resp. nízké dosažené skóre) samozřejmě nevysvětluje naše umístění. Zároveň mi to brání radostně zvolat „Hurá! Tady máme hotovo, pojďme se zabývat něčím zajímavějším!“

Vysvětlení: Není to ze školy

Jak víme, informatika ani ICT se v našich školách moc neučí. Nezískali tedy žáci zjišťované dovednosti jinde? Ano, získali. Je to jedna ze skutečností, kterou výsledky šetření ukazují velmi konzistentně.

Třeba taková strana 31 národní zprávy je vzrušující čtení. 15% žáků v osmičce předmět ICT či podobný vůbec nemá (Zároveň 15% žáků podle úrovně skoro nic neumí - náhoda? Ano!). Dalších 25% při hodině ICT nikdy nepoužívá počítač (na gymnáziích je to 13% a 12%). Tipnu si, že to nemá co dělat s výukou skutečné informatiky.

Škoda, že nevíme, kolik související výuky žáci absolvovali v předchozích letech. Ale k pointě: Ti žáci jsou na tom skoro stejně dobře (nebo špatně), jako ti, co používají počítač „někdy“ nebo „většinou“. Výrazně lépe jsou na tom jen žáci, kteří používají počítač v „každé nebo téměř každé“ hodině (a i to platí jen pro ZŠ). A všichni jsou na tom pořád lépe, než je celkový průměr účastníků ICILS (a to i když nepočítáme Thajsko s Tureckem)!

Pokračuji v dokreslování toho, jak málo školní výuka výsledek našich žáků ovlivnila:

• Gymnázia dopadají výrazně lépe (zejm. ve srovnání s ostatními zeměmi jde vskutku o elitní ústavy). Jenže počítač v hodinách používají méně než na ZŠ. A z prvního stupně si žáci dovednosti asi nenesou.
• Žáci sami uvádí, že se potřebné dovednosti naučili často mimo školu (str. 32). Mezinárodní srovnání pak doplní, že jsou udávané hodnoty významně pod průměrem.
• Ti co se danou dovednost naučili ve škole, ji zpravidla neumí lépe (ale ani hůře), než ostatní.
• ICT zapojujeme významně méně, než ostatní země (str. 40). Podle uvedených hodnot se navíc zdá, že některé aktivity jsou izolovány do hodin ICT, ač to z grafů na první pohled není vidět (počítá se přes učitele, nikoliv hodiny, takže 12% učitelů může být docela dobře nejčastěji sám informatikář). Navíc je dobré si uvědomit, že rozdělení přes žáky (resp. školy) bude divočejší. Někde bude práce s ICT zařazována častěji — a leckde tím pádem skoro vůbec. Rozptyly česká zpráva neuvádí a mezinárodní nejde do takových podrobností (a já nejdu do dat, mám svůj život).
• ICT zapojujeme významně méně, než ostatní země, i když se podíváme po jednotlivých předmětech.
• Názory učitelů na využívání ICT při výuce (a jejich srovnání s ostatními zeměmi) komentář nepotřebují (str. 44).
• Počítač ke studiu aspoň jednou za měsíc používají naši žáci významně podprůměrně.
• Malý vliv školní výuky na výsledky žáků je patrný i v několika dalších zemích. (Mimochodem, v Německu špatnými výsledky a nedostatkem výuky argumentují, že se žáci dovednostem nenaučí sami — tak to je asi radši na Česko nebudeme upozorňovat.)

Údaje je nutno brát s rezervou, jde většinou o výsledky dotazníků, kde účastníci vypovídají sami o sobě. Takto pohromadě je ale považuji za velmi přesvědčivé, a to zejména v kombinaci s předchozím bodem:

To málo, co stačilo k úspěchu, si dostatek žáků dokázalo osvojit bez pomoci školy.

Někomu by se možná chtělo říct: „Hm, tak ono asi ICT ve škole není moc potřeba. Pojďme se zabývat něčím zajímavějším!“ Tím bychom ovšem jednak rezignovali na pokročilejší dovednosti, které by žáci měli mít, a sami je podle všeho nezískají (to by šetření dopadlo ještě lépe), jednak bychom odsoudili do temnoty pravěku žáky, kteří na samostatné osvojení ICT nemají podmínky.

Další tematický obrázek k odlehčení dlouhého textu. CC-BY-SA, Stefan Scheer, Oltau, Wikimedia Commons

Vysvětlení domácími počítači

Značný vliv na výsledek má podle šetření počet počítačů v domácnosti. Ten efekt je ovšem pro Česko nejslabší ze všech (navíc nejsme ani nejbohatší zemí z účastníků ICILS). Zajímavé je, že se vliv ztratí, když se zohlední socioekonomické postavení rodiny. Jakoby stačilo být bohatý a už nebylo třeba nakupovat počítače. Naopak zůstává (byť ne tak silný) efekt pravidelné domácí práce s počítačem. Domácí vybavení tedy náš úspěch dostatečně nevysvětlí.

Vysvětlení: Škola se dobře postará o ty, kteří dovednosti nemají odjinud

Ve srovnání s průměrem ICILS je sice v domácnostech našich osmáků počítačů víc, ovšem pět ještě vybavenějších účastníků jsme předhonili (str. 24). Je možné, že by česká škola opravdu dokázala dorovnat rozdíly a doučit ty, kteří to potřebují? Na jednu stranu máme 63% žáků, kteří nedosahují požadovaného standardu podle našich vzdělávacích programů, což je hodně. Na druhou stranu je to nejméně ze všech zemí). Další zajímavost je, že výsledky našich žáků mají nejmenší rozptyl (dokonce i přesto, že máme 14% žáků na gymnáziích; národní zpráva rozptyl nekomentuje, ale je to vidět v australské i mezinárodní). Nejnižší rozptyl v rámci školy je také u nás, a rozptyl mezi školami není sice nejnižší, ale také velmi nízký.

Pro rozhodnutí o hypotéze pomáhající školy ale data ICILS patrně nestačí. Jednak jde do jisté míry o hodnotovou otázku (je 15 % téměř neschopných osmáků hodně, nebo málo?). Jednak není jasné, co by bylo kdyby. Tedy především kdyby škola nedělala nikoliv málo (jako dnes), ale vůbec nic. Bylo by z těch 15 % spíš 17 %, třeba 72 %? Byli by na tom ti slabí žáci ještě hůř, nebo ani ne? Bez toho těžko zodpovíme otázku, do jaké míry škola pomáhá.

Víme jen, že slabé žáky máme. 15 % (resp. 63 % do druhé úrovně) mi připadne jako dost, na druhou stranu je to nejméně ze všech ostatních zúčastněných zemí. Zhodnotit si to musí každý sám.

Vysvětlení realizátorů šetření

V mezinárodní zprávě najdeme pokus o sestavení regresního modelu, který by vysvětloval výsledky šetření (dosažené skóre CIL) prostřednictvím různých faktorů nasbíraných v dotaznících. To už je pro mě dost hluboká statistická voda, ale jestli rozumím správně, model vysvětluje varianci (rozptyl), tedy proč jsou mezi žáky rozdíly — nevysvětlí ale, který faktor nás umístil na první místo a proč jsme tedy tak dobří (leda by některý z faktorů v naší zemi převažoval ve srovnání s ostatními, tak tomu ale není).

Z průzkumu modelu nicméně plynou některé zajímavé (byť opatrné) závěry. Model např. podporuje tezi, že škola má šanci překonat vliv socioekonomické situace žáka. To z ostatních dat není na první pohled samo sebou. Dále odhaluje faktory, které působí poměrně obecně (přes země):

• léta zkušeností s ICT (neboli ano, potřebujeme informatiku na prvním stupni)
• pohlaví
• chtít vystudovat univerzitu (nezmínil jsem, ale „funguje“ i u nás)
• použití počítače doma (to je obecně silnější, než použití a výuka ICT ve škole)

To jsou užitečné závěry pro svět. Jenže... ne pro nás. V našem případě totiž regresní model vysvětluje podprůměrně málo. Česko se nějakým způsobem vymyká. To, že si výsledky našich žáků neumím uspokojivě vysvětlit, je z tohoto pohledu správně.

Samé otázky

Zítra (v úterý 25. 11.) se v Praze koná první seminář, na kterém budou výsledky blíže představeny (spolu s výsledky řešení problémů v PISA 2012!). Já tam nemůžu, ale po předchozích úvahách zbývá mnoho nezodpovězených otázek. Budu rád, když je někdo položíte, a výsledek připíšete do diskuse pod článkem:

• Prakticky ve všech zemích (kromě dvou) dopadly dívky lépe než chlapci. Proč?
• Jak co nejsnadněji získat vyhodnocení dat bez zkreslení z Thajska a Turecka?
• Při řešení „tvořivého“ úkolu si žáci mohli zobrazit kritéria hodnocení. Využívali toho? Mělo to vliv na výsledek?
• Úspěch českých žáků není v souladu se známými vlastnostmi českého vzdělávacího systému. Modely, které fungují na ostatní země, vysvětlují situací u nás dost špatně. Jak si autoři šetření úspěch vysvětlují?
• Sledoval výzkum, kolik výuky ICT mají žáci za sebou? Proč
  ne? Jak souvisí počet absolvovaných hodin ICT nebo obdobných předmětů s dosaženým
  výsledkem žáka?
• Vidí autoři nějakou možnost posoudit ze získaných dat, nakolik škola pomáhá těm žákům, kteří si dovednosti neosvojí samostatně (byť třeba až v devítce)?
• Jaký je rozdíl ve výsledku žáků naučených ve škole a jinde (z textu se zdá, že prakticky žádný, ale není to úplně jasné)
• Co doporučíme zahraniční delegaci, až se sem přijede inspirovat, jak rozvíjet informační a počítačovou gramotnost?

V roce 2018 čeká budoucí osmáky další kolo. To už bude strategie digitálního vzdělávání v plném proudu, včetně nasazení inovovaných RVP, proškolení učitelů atd. Už teď jsem zvědavý na výsledky, laťka je (co do pořadí) vysoko.

EDIT: Závěr „to málo, co žáci umí, obvykle není ze školy“, by někoho mohl chybně svádět k tomu, že dobrým učitelům (či školám) beru zásluhy. ICILS a podobná šetření ale vypovídají v zásadě nanejvýš o populaci jako celku a tak je třeba k nim přistupovat.

Výsledky ICILS nám říkají, že učitelé a školy jako celek odvádí horší práci v Česku než v jiných zemích (a žáci naopak lepší). To ale přímo neříká, jestli někdo odvádí práci dobrou či špatnou (to musíme vztáhnout k našim vlastním očekáváním, nikoliv k nastavení testu ICILS), a už vůbec to neříká nic o práci jednotlivců. Sám jich znám dost takových, kteří zaslouží ocenění (ale i naopak).

S tímto vědomím je třeba výsledky podobných šetření číst. Říkáme „učitelé jsou/mají/dělají XY“, ale nemyslíme tím „všichni učitelé“. Z šetření navíc ani vůbec nevíme, kteří to jsou. Relevanci výsledků studie (vč. mojí interpretace) k vlastní práci si každý učitel musí zvážit sám.

Převzato s laskavým souhlasem autora z jeho blogu Učíme informatiku