Tedy zaprvé, kolega Martíšek má jistě pravdu. Závady, na které upozorňuje, jsou skutečně vážné a v profesionálně připravovaném testu by se nic takového nemělo objevit. Sdílím např. názor diskutujícího Vladimíra Volka, že „za příklad, kde 4 nemá oblouček bych někomu dal pěstí mezi oči“ (jde o to najít mezi čísly 2, 3, 4, 5, 6, 8 to, které mezi ně nepatří, a to v oddílu Numerické myšlení), i když bych nevolil tak silná slova.

TSP není OSP

Za druhé, kritika kolegy Martíška se týká testu TSP Masarykovy univerzity a nikoliv testu Obecných studijních předpokladů (OSP) společnosti Scio. Někteří si to bohužel pletou. Ani vzdáleně podobné závady byste v testech společnosti Scio nenašli. Test Obecných studijních předpokladů (dále jen OSP) – ukázka viz www.scio.cz/nsz/cs/osp.asp, má jasně danou strukturu a předem známé typy úloh. U každého typu úlohy lze vždy vysvětlit, jak schopnost takové úlohy řešit, souvisí s obecnými předpoklady ke studiu. A to předpoklady ke studiu naprosté většiny oborů. Test OSP není produktem snahy o originalitu, vychází z rozsáhlých a dlouhodobě potvrzovaných zahraničních zkušeností, zejména z testu SAT Reasoning testu (dříve plným názvem Scholastic aptitude test) a GRE (Graduate record examination). Ty se k přijímání studentů používají už přes padesát let a jejichž kvalita byla vědecky analyzována ze všech možných hledisek, a výsledky publikovány v impaktovaných časopisech. U testu SAT jsme i sami analyzovali souběžnou validitu právě s testem OSP, viz www.scio.cz/1_download/SAT_vs_OSP_soubezna_validita.pdf.
Není asi vhodné, abych se pouštěl do kritiky testů TSP Masarykovy univerzity. Jak správně někdo poznamenal, v jistém smyslu je to konkurence, a má vyjádření by tak ani nezněla důvěryhodně. Analytické srovnání testu OSP a TSP jsme ovšem zpracovali a vedení MU zaslali. Zasílám tuto analýzu i kolegovi Martíškovi.

Jak se dělá kvalitní test

Jak má vypadat kvalitní test s výběrem odpovědi (multiple-choice) je pěkně popsáno zde jan.strojil.cz/testy.html nebo www.scio.cz/vyzkum/tvorba_testu/teorie_testu/pozadavky.asp. A jak se při přípravě testu má postupovat zde: www.scio.cz/vyzkum/tvorba_testu/teorie_testu/postup.asp. Jak vidí každý, kdo si tyhle dokumenty projde, dodržovat takový postup vyžaduje jednak čas (a tím pádem peníze), a také odborné, technické a organizační zázemí. Jak třeba zajistíte pilotování úloh, když každou úlohu má vyřešit minimálně 100 reprezentantů cílové skupiny, úloh potřebujete několik set a současně se s úlohami nesmějí seznámit budoucí testovaní? Něco takového může střední nebo vysoká škola dělat jen stěží, prostě na to nemá podmínky. Ovšem pokud se taková metodika nedodržuje, test pak nemůže dobře plnit svoji funkci: být objektivní, spolehlivý (reliabilní) a validní. Jak se nedostatky projeví v míře nespravedlnosti zkoušek, to si mohou zájemci přečíst zde: www.scio.cz/1_download/brozura_NSZ2008.pdf, str.17 a 18.
Samozřejmě, že ne všechny testy jsou tzv. high-stake (dle jejich výsledků se o něčem podstatném rozhoduje) a mají takový význam jako přijímací zkoušky, nejsou na ně tedy kladeny takové nároky.

Oborové testy nebo testy obecných studijních předpokladů

Každé má své pro a proti. Mnohdy je nejlepší kombinace.

Oborové testy:

+ Zjistí, zda uchazeč má základní znalosti a dovednosti, na které se ve studiu navazuje. Námitky: Zaprvé, pokud by to bylo tak důležité, měli by být odmítnuti všichni, kteří nesplní PŘEDEM danou úroveň (mělo by jít o CR test) – tak se ovšem nikde nepostupuje. Např. na 1.LF UK v Praze se skládají zkoušky z Fy, Ch a Bi, z každé je možné získat 100 bodů. Přijati ale byli všichni s více než 190 body. Čili např. i uchazeči, kteří mohli mít z jednoho z předmětů nulu. Správné by bylo vyloučit všechny, kteří měli kdekoliv měně než např.50. Aza druhé, pokud má student vysoké OSP, rychle si potřebné doplní, zejména pokud jde o znalosti, obtížnější to může být u matematiky a cizích jazyků.

+ Znalostmi z oboru uchazeč prokazuje motivaci ke studiu konkrétního oboru. Námitka: Za prvé, věk, kdy se uchazeči rozhodují, se stále posouvá, mnozí uchazeči se rozhodují na poslední chvíli, někteří až na vysoké škole. Neměla by se o motivaci starat i fakulta? Za druhé, na mnohé obory prostě není dost motivovaných uchazečů. Jak třeba má být uchazeč motivován ke studiu andragogiky či sémiotiky, když neví, o co jde? Ale dokonce i u oborů, kde se to zdá jasné, je zpravidla obsah studia odlišný od laických představ uchazeče.
+ Student, který se k přijímačkám naučil nějaké potřebné množství znalostí tím prokáže, že není líný, zatímco velmi chytří (ale třeba i líní) uchazeči zvládnou test OSP bez přípravy. Bez námitek.

– Výsledek přijímací zkoušky výrazně závisí na vzdělávací historii uchazeče. Ve všeobecně vzdělávacích předmětech jsou tak diskriminováni uchazeči ze středních odborných škol a učilišť oproti gymnazistům (proto ty, kdo to nevědí: absolventi gymnázií tvoří dnes méně než 40 % přijatých na VŠ). A vždy jsou diskriminováni ti, kteří měli špatného učitele. Námitka: úkolem vysoké školy není zkoumat předchozí vzdělávací historii uchazeče, to je jeho problém.

Testy obecných studijních předpokladů:

+ Výsledek testu málo závisí na vzdělávací historii uchazeče. Viz předchozí.

+ Obecné studijní předpoklady jsou relativně stabilní a tudíž jejich úroveň trvá po celou dobu studia. Námitka (obvyklá, ale jen velmi omezeně platná): na test se lze naučit. Není to pravda. Vcelku lehce (několik hodin práce) lze získat zácvik k typům úloh, který v průměru znamená posun o 10 pozic na stobodové percentilové škále. Nelze se ale posunout třeba z 50 na 90. Výborní složí zkoušku bez přípravy napoprvé v 95. percentilu. Slabí se ani při největší snaze nedostanou ani na průměr.

–+ Na test se nelze naučit, a tudíž silně motivovaní uchazeči se slabými studijními předpoklady mají malou šanci. Bez námitek. Viz předchozí.

– Test nepredikuje dostatečně studijní úspěšnost. Korelace vzhledem k závěrečnému prospěchu na VŠ zpravidla nepřesahuje 0,40 (viz www.scio.cz/1_download/brozura_NSZ2008.pdf, str. 15). Námitka: nic lepšího nemáme. Mnohem větší vliv má pochopitelně motivace studenta, ta ovšem je velmi proměnlivá, a to během celého studia. Na počátku studia ji lze předvídat asi stejně dobře jako počasí pro 20. 11. v roce 2014. Z toho hlediska je korelace 0,4 výborný výsledek.

Testy nebo ústní zkoušení

Zde je situace jednoznačnější. Ústní zkoušení v přijímacím řízení je drahé a velmi nespolehlivé. Strukturované rozhovory umějí hodnotit např. poradenští (i jiní) psychologové, ti jsou na to ovšem vyškoleni. Ani zde ovšem míra spolehlivosti nedosahuje spolehlivosti testů. Neškolení lidé, jakkoliv kvalifikovaní ve svém oboru, objektivně hodnotit pohovor nemohou. Téměř s jistotou dají přednost lidem, se kterými si lépe rozumějí, popř. kteří umějí zájem o obor lepe předstírat, a to jsou v českých podmínkách gymnazisté s lépe vzdělanými rodiči. Tomu např. odpovídala struktura přijatý na obor učitelství pro 1. stupeň na jedné pedagogické fakultě, na základě motivačních pohovorů byli přijímáni spíše gymnazisté oproti absolventkám středních pedagogických škol, jejichž motivace pro práci s dětmi jistě byla reálně vyšší. Spíše jako anekdota zní naše zjištění, že na jistou katedru historie byly z 80 % přijaty ženy, ačkoliv v testech byli mnohem úspěšnější muži – na katedře ovšem pracují – a tedy pohovory vedli - převážně muži. Zajistit srovnatelnost hodnocení u různých komisí je téměř nemožné.

Při dnešní rostoucí právní poučenosti uchazečů se pak zařazením pohovorů fakulty vystavují riziku velkého množství odvolání (přezkumů), a to jak vidět často odvolání oprávněných.

Co používají nejprestižnější fakulty?

Které české fakulty jsou nejprestižnější, na tom nepanuje shoda. Pokud bychom použili jednoduché kritérium - převis poptávky, tak v roce 2010, pak mezi 15 neuměleckými fakultami s nejvyšším převisem jich 9 používá test studijních předpokladů, z toho 5 spolu s oborovým testem, 4 další jsou lékařské.
Jednodušší situace je ve světě. Podle World Universtiy Ranking společnosti Thompson Reuters vybírá nejméně 15 z 20 univerzit studenty na většinu oborů podle testu studijních předpokladů, nejčastěji SAT Reasoning testu nebo ACT, popřípadě podle testů, ve kterých oddíly obecných studijních předpokladů tvoří podstatnou část (např. MCAT na medicínu, LSAT na práva). Mezi jinými California Institute of Technology, Harvard, Stanford, Princeton, MIT, Yale.

A co vlastně hledáme?

Velkou potíží při diskusích o přijímacích zkouškách na vysoké školy je otázka, jaké studenty vlastně fakulta hledá. To se sice na první pohled zdá zcela jasné, ale při bližším zkoumání se ukazuje, že to zdaleka není jednoduché. Jen jako příklad uvádím několik možností (některé, pravda, trochu absurdní). Vybrat mezi uchazeči studenty, kteří:
  • nejlépe zvládnou první semestr
  • s největší pravděpodobností dostudují (v řádném termínu)
  • budou z nich nejlepší odborníci (pracovníci) ve vystudovaném oboru
  • zůstanou pracovat ve vystudovaném oboru (třeba učitelé)
  • přínos studia (přidaná hodnota) u nich bude největší (z hlediska efektivity vynaložených prostředků to není nijak absurdní požadavek)
  • bude mezi nimi nejvíce špičkových, elitních odborníků
  • bude s nimi během studia nejméně práce
  • nejvíce by si studium zasloužili
Každý z těchto cílů pochopitelně vyžaduje jinou koncepci přijímacích zkoušek, jiné způsoby zjišťování, případně i jiné testy. Přijímací zkoušky jsou přece jen nástroj k dosažení určitého cíle. Ale pokud nemáme jasno v cíli, těžko posuzovat, který nástroj je ten správný, a hodnotit jejich klady a zápory a námitky k nim, jak jsem je uvedl výše.