Stanislav Štech: Proč se kritizuje PISA?

Smyslem mého diskusního eseje je ukázat na to, co je u nás v pohledu na mezinárodní šetření PISA zatím slepou skvrnou. Domnívám se, že úkolem výzkumníků je především fungovat jako příslovečný „ďáblův advokát“. Tedy dekonstruovat poznatky a sdílené interpretace, ukázat je v širším kontextu a hledat jejich omezené domény platnosti.


Ještě před dvaceti lety bylo vzácností setkat se s rozsáhlými mezinárodními šetřeními srovnávajícími výsledky vzdělávání v různých zemích. Ke konci 90. let se objevuje zmíněné mezinárodní měření dovednosti 15letých žáků aplikovat čtenářské, matematické a přírodovědné znalosti v každodenním kontextu, tzv. gramotnosti (PISA). Později se rozběhlo zjišťování úrovně tzv. kompetencí dospělých PIAAC a pilotně byla ověřována možnost měřit výsledky učení vysokoškoláků s cílem zjistit tzv. přidanou hodnotu výuky (AHELO).

Avšak je to právě PISA, která se i díky značnému mediálnímu ohlasu stala doslova emblémem poznávacích nástrojů, pomocí nichž mají vlády upravovat svou vzdělávací politiku. OECD jako organizace bohatých zemí, která se stará primárně o ekonomický rozvoj, dokázala po několika málo letech po- mocí nástrojů měření vzdělávacích „výstupů“ zásadně proměnit i převažující způsob uvažování o vzdělávání. Vzdělávání přitom není primárním předmětem zájmu OECD – na rozdíl od UNESCO, které má k doporučením v oblasti vzdělávání demokratický mandát a legitimitu. Ekonomické, ba ekonomistní přístupy ke vzdělávání vedly totiž v posledních patnácti letech k tomu, že kultura výkonu a výsledků nahradila kulturu seberozvoje a emancipace jedince (dnes už těmito výrazy téměř pohrdáme jako prázdnou patetickou deklarací). Srovnávací kvantifikující měření vytlačila povědomí o kvalitě, spolupráce při poznávání a učení byla nahrazena soutěží a snahou porazit ostatní (jakoby v sebekultivaci nebo učení bylo významné druhého „porazit“), respektování specifičnosti vzdělávání a kulturních statků bylo podrobeno diktátu jedné vítězné logiky – logiky efektivnosti v podobě nákladů a výnosů.

U programu PISA se proměna pohledu na vzdělávání a jeho účel děla nejprve jakousi soft strategií – kdo by nechtěl znát vědecky podložená data o tom, jaká je úroveň vlastního vzdělávacího systému? Posléze i interpretacemi výsledků v podobě ligových tabulek, které seřazují družstva-země podle výkonů zhruba půl miliónu žáků z asi 65 zemí s možností zjistit rozdíly mezi chlapci a dívkami, mezi školami v různých regionech, mezi různými typy škol.

Ministři i novináři dnes netrpělivě čekají na výsledky dalšího kola šetření a na to, zda se jejich vzdělávací systém zlepšil, propadl nebo stagnuje. Chtějí se dozvědět, kdo je nejlepší a u koho se poučit.

„OECD a testy PISA škodí vzdělávání po celém světě“

Můžeme Davida Berlinera z University v Arizoně, Dianu Ravitchovou z univerzity v New Yorku nebo Sally Tomlinsonovou z Oxfordu považovat za lidi neochotné podívat se do zrcadla „objektivních výsledků“ vzdělávání ve svých zemích a srovnat je s úrovní vzdělávání v jiných zemích světa?

Těžko, jde o špičkové světové odborníky (pedagogy, psychology, didaktiky) na školní vzdělávání. Spolu s další téměř stovkou expertů, akademiků i před- stavitelů nevládních vzdělávacích organizací adresovali otevřený varovný dopis Andreasi Schleicherovi, duchovnímu otci a statistickému guru právě programu PISA. Ten se od r. 2000 jevil jako téměř nekritizovatelný pilíř našich znalostí o kvalitě vzdělávacích systémů v zemích OECD.

Dopis zveřejněný 6. května 2014 v britském Guardianu pod expresivním titulkem OECD a testy PISA škodí vzdělávání po celém světě a podepsaný zmíněnými veličinami vyjadřuje hluboké znepokojení a obavy z dopadů výsledků PISA a vyzývá k zastavení dalšího kola šetření. Vzápětí 25. května téhož roku Washington Post hlásá zdánlivě nelogickou zprávu Šanghaj, jednička v PISA testech, ze šetření zřejmě vystoupí; podobně se hovoří o tom, že vystoupit z PISA chce Rakousko. Michiganský server pro veřejné vzdělávání neváhá použít titulek Vymývání mozků PISou: měřit, stanovit pořadí, opakovat. V březnu 2014 vydává americký pedagog čínského původu Yong Zhao knihu Who’s Afraid of the Big Bad Dragon: Why China has the Best (and Worst) Education. V ní říká, že PISA se stala jedním z nejdestruktivnějších faktorů v dnešním vzdělávání: vytváří prý iluzorní modely excelence, idealizuje systémy, které mají vážné vzdělávací nedostatky, glorifikuje autoritářské přístupy a pozornost vzdělávacího světa směřuje do minulosti místo do budoucnosti. Výsledky PISA mají podle něj v dnešním světě podobný, možná i větší dopad na vnímání úrovně země než počty olympijských medailistů nebo nobelistů. “Je šokující vidět tolik racionálních a vzdělaných lidí ve významných pozicích, jak věří tomu, že tři testové skóry vypovídají o kvalitě jejich vzdělávacího systému, o efektivnosti učitelů, o schopnosti žáků a o budoucí prosperitě je- jich společnosti”, říká Zhao. Ostatně i u nás jsme se s nekritickými interpretacemi těchto skórů setkávali. A nejen u politiků, kterým by se dala určitá naivita prominout.

Je tohle všechno bleskem z čistého nebe? Potřebujeme tedy taková šetření? A v čem vlastně mohou vzdělávání škodit? Signatáři otevřeného dopisu A. Schleicherovi hovoří o sedmi největších škodách, které PISA napáchala, a nakonec připojují sedm konstruktivních doporučení, jak dál. Nechci je všechny podrobně komentovat. Upozorním pouze na ty podle mého soudu nejzávažnější.

Především, PISA prý vedla k obrovské eskalaci testování a „dramaticky zvýšila víru v kvantitativní měření“. A to při známé nedokonalosti a nespolehlivosti testů tohoto typu. Najednou se podle jeho výsledků začali hodnotit žáci, učitelé, ředitelé, školy. A výsledky v PISA (tj. často jen pořadí v žebříčku zemí) se staly hlavním, ne-li jediným motivem „závodu o špičku žebříčku“.

Práce o kvalitě vyučování/učení přitom doporučují rozlišovat minimálně čtyři pojetí: kvalitu jako excelenci, dále jako přínos uplatnění mimo školu (na trhu práce), jako „ it to purpose“, tj. jako míru naplnění specifických cílů či účelů vytčených konkrétní školou nebo typem školy a konečně kvalitu jako tzv. transformativní efekt, tj. míru, v níž vzdělávání přispělo k proměně vnímání světa žáky a k růstu jejich osobnosti (srov. Harvey and Green, 1993, Tito autoři se sice zabývají především vysokoškolským vzděláváním; jejich analýzy však lze v době vítězícího neoliberálního paradigmatu vzít jako inspiraci pro pohled na účel vzdělávání vůbec.). Je zjevné, že dosavadní zacházení s výsledky srovnávacích šetření preferuje prosazování kvality vzdělávání jako excelenci a následně i kritérium praktického zužitkování (základního) vzdělání. A tím přispívá k určité deformaci pohledu na účel vzdělávání.

Vzdělávání jsme navíc zredukovali na jeho měřitelné aspekty a začali jsme o něm uvažovat v krátkých časových horizontech, říkají signatáři. Podle D. Ravitchové se jasně oddělila skupina „testcentric“ zemí (školy asijské, ale také z USA a ty, které vzdělávání postupně začaly přizpůsobovat typu úloh v PISA) od těch ostatních, jako jsou např. Francie nebo Švýcarsko.

Dodejme k tomu, že taková orientace na „výstupy“ z často opakovaných testů je v rozporu s poznatky pedagogického a psychologického výzkumu vyučování a učení, které statistici a ekonomové ovládnuvší někdy před 10–15 lety vzdělávací politický diskurs ostentativně ignorují. Především jde o poznatek, že žádné relevantní poznání o povaze a funkčnosti vyučování a procesech učení nelze získat v krátkých intervalech a nemá smysl na jejich základě dělat ukvapené zásahy. Podobně se nedoceňují zjištění zdůrazňující významnou roli drilu a tréninku paměti v každém procesu učení. Zejména pak poznatky o vztahu krátkodobé a dlouhodobé paměti zpochybňující efektivitu přílišné orientace na učení řešením problémů (Sweller, 1994; de Jong, 2010).

Ponecháme-li stranou kritiku za zvláštní „partnerství“ OECD programu s nadnárodními privátními společnostmi, které za úplatu hbitě nabízejí také (budoucím skvělým výsledkům v PISA) adekvátní výcvik učitelů, přípravné testy apod., a které plánují rozšířit PISA i do Afriky, zbývá poslední významný negativní dopad. Pravidelný tříletý cyklus vyvíjí tlak na školy a učitele a prostřednictvím orientace na testovou kulturu vzdělávání snižuje autonomii učitelů a zvyšuje stres žáků.

Signatáři na závěr zdůrazňují: „Nechápeme, jak se Vaše organizace mohla stát globálním arbitrem prostředků i cílů vzdělávání na celém světě. Zúžené zaměření OECD na standardizované testy nese riziko, že se učení promění na otrocký nácvik ubíjející radost z učení“. A vyzývají k zpomalení tempa a k vynechání jednoho cyklu šetření (plánovaného na rok 2015). Čas by se měl využít k diskusi o zmíněných souvislostech a k vývoji alternativních metod zjišťování výsledků vzdělávání.

Upozorněme ovšem na ambivalentnost kritiky PISA. Všechny kritiky totiž nelze házet do jednoho pytle; nevycházejí z jednoho konceptuálního rámce. Řečeno politologickou terminologií – některé jsou kritikou „zprava“, jiné kritikou „zleva“ (složitost kritiky současných trendů ve vzdělávání jsem naznačil jinde; srov. Štech, 2013, zejména s. 620–621). Tak jedni se opírají do šetření PISA proto, že jeho výsledky mají za důsledek orientaci školy na nácvik a drilování vybraných (testovaných) operací a redukují prý tvořivé vyučování/učení objevováním, snižují orientaci na řešení problémů a podporu transferu v učení (např. právě signatáři dopisu). Druzí zase kritizují položky PISA za psychologicky nepodloženou, ba kontraproduktivní aplikaci převážně problémově formulovaných úloh se silnou kulturně nejednoznač- nou kontextovou složkou. Kritika směřuje ke školsky neadekvátní orientaci na gramotnostní kompetence.

Nejlepší v žebříčku – náš vzor? „Finn-ished“, aneb příklad finského mýtu

Jedním z nejostřejších tvrzení výše zmíněného Zhao (2014) je výrok, že se díky PISA neoprávněně idealizují vzdělávací systémy, které mají také vážné vzdělávací nedostatky. Upozorním jen na v zahraničí již analyzovaný příklad Finska.

Když byly v prosinci 2013 zveřejněny dosud poslední výsledky PISA, mnoho komentátorů i expertů bylo zaskočeno. Mytizované Finsko s „nejlepším z možných vzdělávacích světů“ se propadlo oproti roku 2009 o 22 bodů směrem k průměru. The Economist 7. prosince 2013 pod titulkem Finn-ished – pád někdejší severské vzdělávací hvězdy v dřívějších testech PISA přesouvá pozornost k tvrdšímu asijskému modelu se rozpomněl, že pokles výkonnosti finských žáků naznačovaly už výsledky v letech 2006 a 2009. Mediální obraz Finska jako vzorového vzdělávacího systému má kořeny v dobrém umístě- ní v ligové tabulce PISA z let dřívějších. Již od té doby byla ignorována řada varovných analýz samotných finských badatelů. Jinak bychom prý dnes ne- museli kroutit hlavou nad výroky Leeny Krokforsové o nízké motivaci a selhávání finských učitelů matematiky a o naprosto nemotivujícím učivu. Nebo nad tvrdým odsudkem finského školství, které prý dostatečně nevzdělává akademicky špičkové žáky, protože se bohužel orientuje na zvyšování úrovně většiny, tj. průměru (Juha Yla-Jaaski).

V červnu 2013 (tedy před zveřejněním posledních výsledků PISA) vyšlo speciální číslo francouzského časopisu Recherches en éducation pod názvem Mýtus o finském vzdělávání (REE, 2013). V jednotlivých studiích vesměs od finských autorů jsme se mohli dočíst, jaké údaje nám byly od druhé poloviny minulé dekády „finskými vzdělávacími turisty“ (garant čísla Fred Dervin) a „prodavači finského zázraku“ utajeny. I z výsledků PISA totiž už od r. 2006 vyplývalo, že rozdíly mezi chlapci a dívkami (ve prospěch dívek) jsou největší mezi všemi zúčastněnými zeměmi. Žáci ze švédské menšiny (5 % všech žáků) trvale vykazují významně slabší výsledky než žáci finské majority, děti stále rostoucího počtu imigrantů mají mizivou šanci dostat se na vysokou školu (7,5 % z nich) a rozdíly v kvalitě škol na jihu a severu země se neustále zvyšují. Již v letech 2007–2008 odborníci varují před špatným sil- ně selektivním systémem rekrutování učitelů, který je lokální – vybírají si je místní úřady a ředitelé škol. Tak vznikají školy se špičkovými učiteli, o které je mezi rodiči obrovský zájem, a školy, o které zájem není a jejichž výsledky jsou špatné bez naděje na zlepšení. Vztah finských žáků ke škole příliš pozitivní není, říká Dervin. Rostoucí násilí v letech 2007–2012 je jen špičkou ledovce. Také vztah ke čtení nebo k dalším předmětům za poslední dekádu se poměrně citelně zhoršil.

Nedávno formulovaná kritika motivace učitelů, učebnic a učiva a nedostatečného rozvíjení talentů se ve Finsku vyskytovala bez ohledu na dobré výsledky v PISA. Podle části znalců finského školství byly výsledky PISA závojem zakrývajícím nahotu reality. Existuje tedy mezi nimi a kvalitou školního vzdělávání (nejen ve Finsku) vůbec nějaký vztah? Můžeme z nich vycházet při práci ve škole nebo při řízení školského systému?

Pochybnosti od samého počátku

Z bohatých kritických pramenů publikovaných v uplynulé dekádě již od r. 2003 vyplývá, že PISA stojí na chatrných teoretických základech, vykazuje metodologická omezení a jeho výsledky jsou sice zajímavé, ale v podstatě jen málo didakticky užitečné pro práci ve třídě (srov. Štech, 2011).

Za prvé, už sám výchozí pojem gramotnost je poněkud nejasný, resp. „smíšený“. Zahrnuje jak poznatky získané formálním vzděláváním ve škole, tak osobní zkušenosti s rozmanitými kontexty a situacemi každodenního života (real-world problems), tak i znalost různých způsobů mobilizace poznatků a dovedností při jejich prokazování: tu běžně označujeme jako testová či evaluační „gramotnost“. Francouzská pedagožka Barré de Miniac (2003) varovala, že gramotnost je pouze popisný empirický pojem (notion), jehož užitečnost spočívá hlavně v inspiraci pro další seriózní výzkumy směřující k zvýšení didaktické efektivnosti výuky čtení, psaní nebo matematiky. Gramotnost ukazuje zejména na potíže s užitím oborových/předmětových poznatků. Nicméně to ještě neznamená, že přímo odhaluje slabiny učiva či výuky. Slabé výsledky by přitom neměly zkratkovitě vést k nácviku užití v problémových situacích.


Z hlediska psychologie učení totiž není vůbec jisté, že naservírovat nováčkům kultury problémové úlohy blízké životu, které vytlačí dril, memorování, osvojení elementárních operací a dovedností je cestou k úspěchu. Výzkumy učení hovoří spíše o opaku.

Za druhé, jako příklad metodologických slabin uvedu jen kritiku německých pedagogů (in Kaščák a Pupala, 2011, s. 67). Např. Rindermann tvrdí, že podíl matematických vědomostí představuje v PISA úlohách cca 30 % a podobné je to prý v úlohách na přírodovědnou gramotnost. Pečlivá obsahová analýza položek (úloh) ho vede k závěru, že „se silně podobají úkolům z inteligenčních testů“. Připomeňme, že ty měří obecné rozumové schopnosti jako porozumění, srovnávání, vyvozování závěrů apod. a odhlížejí přitom od konkrétních (natož školních!) obsahů. Rindemann následně koreloval výsledky PISA s výsledky v inteligenčních testech a zjistil extrémně vysokou korelaci mezi nimi. Ta vždy ukazuje na to, že oba nástroje měří zhruba totéž. Tato slabina má za následek, že z výsledků PISA můžeme jen těžko vyvozovat závěry pro školní vzdělávání a učení žáků. Wuttke (in Kaščák a Pupala, 2011, s. 67) klade ironickou otázku: „co se stane, až se rozkřikne, že PISA představuje ve své podstatě jazykově zatěžující inteligenční test?“

Mohli bychom zmínit i další slabiny. Mezi ty „drobné“ patří např. tvorba vzorku žáků. Některé země z něho vyloučily děti s poruchami učení, zatímco jiné nikoli. Podobně nejsou výsledky korigovány s ohledem na počet dětí imigrantů ve vzorku. Vezmeme-li v potaz pouze výsledky dětí majority v Nizozemsku nebo v Německu (Bavorsko), pak i v minulosti byly lepší než výsledky etnicky homogenních Finů.

Za třetí, převažující interpretace v rozporu s výše uvedeným předkládají veřejnosti (skrytě nebo otevřeně) jednotlivé učitele, způsoby výuky, klima školy nebo práci s učivem jako hlavní nebo jediný možný prostředek zlepšení vzdělávacích výsledků a v důsledku snížení sociálních nerovností. Častěji jsou ovšem usnadněny „interpretace“ (spíše spekulace) mající podobu kritizování, obviňování, pronásledování nebo naopak vynášení škol na piedestal („hunting, blaming, shaming, faming“ podle Myerse a Goldsteina). Ti tvrdí, že se posiluje ničím nedoložený názor, že „vina je na školách, protože všechny ostatní působící faktory byly pod kontrolou, a proto jakákoli zbytková variance musí mít svůj původ ve škole“. Podobně interpretace i výsledky PISA mnohokrát doložené korelace mezi výsledky žáků a mírou sociálních, etnických či rodových nerovností je poznamenána přeceněním proměnné „škola“.


Analýzy konstatují menší vliv školy než rodiny, sociálního a kulturního zázemí na výsledky. Tomu však neodpovídá skutečnost, že se nepřiměřeně více diskutuje o učitelích, učivu nebo metodách výuky a nedostatečně se analyzuje působení sociálních vlivů.

Pro přímé využití ve škole tedy výsledky PISA moc vhodné nebudou. K čemu tedy jsou? Myslím, že úlohy lze využít jako inspiraci pro seriózní didaktický výzkum a pro srovnávání výsledků žáků v čase (a ve specifickém druhu úloh) na úrovni školní třídy nebo školy. Jde o tzv. low-stake užití. Jen tak by se podařilo z nástroje předem dané politiky vykazování, kontroly, srovnávání a soutěže učinit něco užitečného pro žáky i učitele.

Literatura

Barré de Miniac, Ch. (2003). La littéracie: au delà du mot, une notion qui ouvre un champ de recherches variées. Revue suisse des sciences de l éducation/Schweizerische Zeitschrift für Bildunswissenschaften/Rivista svizzera di science dell educazione, 25(1), 111–124.

Harvey, L., & Green, D. (1993). De ining quality. Assessment and Evaluation in Higher Education, 18, 8–35.

de Jong, T. (2010). Cognitive load theory, educational research, and instructional design: Some food for thought. Instructional Science, 38(2), 105–134.

Kaščák, O., & Pupala, B. (2011). PISA v kritickej perspektivě. Orbis scholae, 5(1), 53–70.

REE (Recherches en éducation) (2013). Le mythe de l ́éducation inlandaise. Nantes: CREN – Université de Nantes.

Sweller, J. (1994). Cognitive load theory, learning dif iculty, and instructional design. Learning and Instruction, 4(4), 295–312.

Štech, S. (2011). PISA – Nástroj vzdělávací politiky nebo výzkumná metoda? Orbis scholae, 5(1), 123–133. Štech, S. (2013). Když je kurikulární reforma evidence-less. Pedagogická orientace, 23(5), 615–633.

Zhao, Y. (2014). Who’s afraid of the big bad dragon: Why China has the best (and worst) education. San Francisco: Jossey Bass.

Autor

prof. PhDr. Stanislav Štech, CSc., Univerzita Karlova v Praze, Pedagogická fakulta, Katedra psychologie, Magdalény Rettigové 4, 116 39 Praha 1, e-mail: stanislav.stech@pedf.cuni.cz

Poznámka autora: Jádro tohoto textu jsem publikoval na serveru Česká pozice dne 7. 10. 2014 pod názvem Srovnávání výsledků vzdělávání? Zatím zlý pán...

Zdroj: Pedagogická orientace, 2015, č. 4