Scio.cz: Jak se dělají testy a co je položková analýza - stručný úvod

Možná budete překvapeni, kolik se toho musí udělat, má-li být vyvinut skutečně kvalitní - profesionálně sestavený test.

Při jeho tvorbě je třeba dodržovat jasně stanovený „Postup při vývoji testů“. Důležitou součástí testu jsou jeho statistiky. Tvůrci mají k dispozici nástroje na měření kvality testu i jeho jednotlivých úloh. Nejdůležitější veličiny, které je třeba hlídat, jsou popsány níže.

Podrobné informace k danému testu z ČJ včetně statistik jsou zveřejněny ve spodní části stránky.

Položková analýza: Ukázky z testu z Českého jazyka včetně statistik a komentářů statistik k vybraným úlohám můžete nalézt zde.

Statistiky testu / testových položek

U testu a testových položek sledujeme několik základních statistik – úspěšnost (čistou a hrubou), diskriminaci. U testu pak dále ještě reliabilitu.

Diskriminace a čistá a hrubá úspěšnost jsou statistiky, které se primárně zjišťují u jednotlivých testových položek. Analogicky je možné je dále dopočítat pro celý test. Reliabilita se zjišťuje pro test jako celek.

Hrubá úspěšnost

Na úrovni položky je počítána jako podíl počtu uchazečů, kteří odpověděli na danou testovou položku správně k počtu všech uchazečů, kteří test absolvovali. Analogicky je počítána hrubá úspěšnost pro test – jde pouze o rozšíření na všechny otázky v testu – tj. jde o podíl počtu všech správně zodpovězených otázek všemi uchazeči k celkovému počtu otázek, které tito uchazeči v testu měli (celkový počet otázek = počet otázek v testu * počet uchazečů). Hodnoty hrubé úspěšnosti jsou v intervalu 0 až 1. Hrubá úspěšnost testu by se měla pohybovat kolem hodnoty 0,5, tj. test by s ohledem na normalitu rozdělení bodů uchazečů neměl být ani příliš lehký, ani příliš těžký.

Čistá úspěšnost

Na úrovni položky jde o podíl počtu získaných bodů všemi uchazeči v dané položce k počtu bodů, které mohli tito uchazeči souhrnně za položku získat (tj. (max. počet bodů, který je možné za správnou odpověď získat) * (počet uchazečů)). Na úrovni testu jde o poměr počtu získaných bodů všemi uchazeči k maximálnímu počtu bodů, kterého může být v testu těmito uchazeči dosaženo (maximální počet bodů = (max. bodů, které je možné v testu získat) * počet uchazečů). V případě, kdy je za špatnou odpověď část bodu odečtena, může čistá úspěšnost nabývat i záporných hodnot. V případě, kdy je správná odpověď na testovou položku hodnocena jedním bodem a špatná odpověď 0 body, nabývá čistá úspěšnost stejných hodnot jako hrubá úspěšnost.

Diskriminace

Je číselně vyjádřená schopnost položky, resp. testu rozlišovat mezi úspěšnými a neúspěšnými uchazeči. Tj. na úrovni položky se hodnotí, zda celkově úspěšní řešitelé testu (počítáno jako skupina 27 % nejlepších účastníků), odpovídali na konkrétní položku správně a naopak skupina nejhorších řešitelů (27 %) odpovídala na tutéž položku špatně. Čím více je skupina nejlepších a nejhorších řešitelů na úrovni položky podobnější těmto skupinám z hlediska celého testu, tím větší je diskriminační schopnost položky. Diskriminace za celý test je tedy souhrnem za všechny položky v testu. Diskriminace nabývá hodnot v intervalu 0 až 1. Za dobrou hodnotu je považována diskriminace v okolí hodnoty 0,4.

Reliabilita testu

Reliabilita je vlastností testu, která hodnotí náhodnost výsledků v testování – jde tak v podstatě o jeho spolehlivost. Jde teoreticky o hodnotu korelačního koeficientu mezi opakovaným provedením stejného nebo podobného testu za stejných podmínek. Ačkoli korelační koeficient nabývá hodnot od −1 do 1, reliabilita je číslo, které v praxi bývá mezi 0 a 1.

Pokud opakované testování stejných uchazečů za pomoci stejného testu není možné (většinou není), je hodnota reliability aproximována s využitím některého ze vztahů KR-20 (Kruder-Richardson Formula 20), nebo s pomocí v současnosti zřejmě nejpoužívanějšího Cronbach´s alpha (Cronbachovo alfa). KR-20 je koeficient používaný v případě, kdy odpověď na otázku je dichotomickou proměnnou, tj. otázka typu správně – špatně. Cronbachovo alfa je tak v podstatě pouze rozšířením KR-20.

Za velmi dobrou je považována hodnota reliability nad 0,8. Případ, kdy reliabilita nabývá hodnoty 1 (tj. výsledky uchazečů v testu nejsou ovlivněny náhodou vůbec) je v praxi nereálný.

Test z ČJ projektu Vektor

Tento test byl určen pro testování v projektu Vektor. V tomto projektu se testují žáci středních škol ze 12 předmětů včetně ČJ v prvním ročníku při nástupu na SŠ a o tři roky později ti samí žáci ve čtvrtém ročníku (Vektor Modul 4) před ukončením SŠ, a porovnává se u jednotlivých testů, jak hodně se který žák, třída či škola zlepšila za tyto tři roky vzhledem k ostatním. Více informací k projektu můžete nalézt zde.

Tento test z ČJ řešili žáci SŠ v termínu 15. září - 15. října 2010 v rámci projektu Vektor. Reliabilita tohoto testu byla 0,708.

Převzato s laskavým souhlasem z webu společnosti Scio.cz.