Dopis Arcibiskupského gymnázia v Praze ServiceDesku projektu NIQES: "Po dvou hodinách snažení se 30 studenty ve dvou učebnách jsme testování odpískali a nechceme v něm pokračovat.(...) Pokud nebudeme mít záruku, že příští pokus o testování proběhne bez komplikací, nemůžeme dále ztrácet čas opakovanými experimenty s žáky."
Vážený ServiceDesku projektu NIQES,
při dnešním testování (22. 5. 2012) jsme se v naší škole potýkali s tak zásadními problémy, že jsme plánované testy vůbec nemohli dokončit. Po dvou hodinách snažení se 30 studenty ve dvou učebnách jsme testování odpískali a nechceme v něm pokračovat. Přitom jsme aplikaci nainstalovali podle návodu, všechny potíže jsme v přípravném čase řešili s Vaší podporou, vyzkoušeli jsme postinstalační testy a byli jsme dobře připraveni. Pokud nebudeme mít záruku, že příští pokus o testování proběhne bez komplikací, nemůžeme dále ztrácet čas opakovanými experimenty s žáky.
Pozorované potíže:
- Timeouty v řádu minut i desítek minut při přihlašování do testovací aplikace, volbě testu, přechodech mezi testem a anketami i uvnitř samotného testu mezi otázkami (!). Při testu se čas zatuhnutí aplikace počítal do doby testu! (Jednalo se u některých uživatelů třeba o 20minutovou ztrátu). Žáci navíc byli rozhozeni nečekaných chováním testovací aplikace a nemohli se soustředit na práci. Výsledky (pokud se je vůbec podařilo získat), jsou tím výrazně zkreslené.
- Několika uživatelům v průběhu testování aplikace úplně spadla, jeden žák se k vlastnímu certifikovanému testu dostal až na 4. pokus.
- Asi polovině uživatelů, kterým se test podařilo doklikat do konce se na závěr neodeslala data na Váš server.
- V textu zadání i odpovědí se volně vyskytovaly vysázené html tagy b nebo i.
- Jedné žákyni test v jedné konkrétní úloze neumožnil psát do odpovědního políčka - klávesnice nereagovala (ačkoli v jiných jejích úlohách to normálně šlo).
- Tlačítko "Další" pro přechod mezi úlohami bylo u některých žáků skryto téměř za okrajem obrazovky a koukal z něj jen malý kousek bez nápisu (zatímco v postinstalačním testu bylo tlačítko normálně celé vidět).
- Portál portal.niqes.cz byl v průběhu dopoledne zcela nedostupný, ani teď na něm nevidím výsledky našeho testování.
- A ještě potíž s konkrétní verzí testovací aplikace, kterou používáme (linux): Při volbě testu jako samostatné session není v testu žádná možnost přepínat rozložení klávesnice (což z postinstalačního testu nebylo patrné: tam nebyla otázka, u které by se to mohlo projevit).
22 komentářů:
Vážení přátelé,
připravte se také na řadu telefonátů od rozzuřených rodičů, kteří se po shlédnutí výsledků svých dětí dozvěděli, že správné odpovědi na slovní úlohy v matematice byly vyhodnoceny jako špatné, protože dítě odpovědělo celou větou.
Dneska to funguje už naprosto bez problémů. Tak je to zkouška, dá se to pochopit, ale příště chlapci znovu a lépe!
Pokud ten portál portal.niqes.cz má fungovat, tak mě v 9:40 nejede, takže bych to za bezproblémové nepovažoval...
Teď dali na nástěnku pokyny, jak na otevřené úlohy odpovídat. Vypadají rozumně, škoda, že nepřišly před začátkem testování. Ale snad se chybami rychle něco naučí.
O bezproblémovém provozu se nedá hovořit ani omylem. Veškeré problémy úvodního textu z arcibiskupského gymnázia mohu plně potvrdit. Je to jen další důkaz, jak je celá tato akce zbytečná. Btw. - viděl jste někdo brífing ČŠI? Jak se tam vzájmeně potlapkávali a chválili. Bylo mi opět na zvracení (viz Černí baroni - generál Postránecký - připadám si úplně stejně). Zpravodajství v médiích jsou stejně tendenční - všichni oslovení jásají a chválí, žádný negativní názor ....
Včerejšek byl dost tragický. Ale brali jsme to jako zkoušku, žákům jsme vysvětlili, že je to zkouška a oni aspoň poznali, jak je důležité složité věci nechtít dělat z jedné vody načisto. Dnes už je to mnohem lepší a kdybychom začali až dnes, hodnotili bychom průběh zkoušky celkem pozitivně.
Jo u nás to dnes taky proběhlo vcelku rozumně, ale uvidíme v dalších dnech. Nicméně jsem nahlížel žákům přes rameno, jaké úlohy byly v matematice pro 5. ročník. Zajímalo by mne, které to byly ty avizované základní úlohy. Každá úloha totiž obsahovala nějaký špek až chyták, což mi přijde k dětem vcelku nefér.
Já bych řekl, že dnes je to bezproblémové naoko. Odeslání testů proběhlo nečekaně rychle a bylo ukončeno hláškou, že přenos peoběhl v pořádku. Při kontrole na rozhraní IDM jsem ale zjistil, že dva testy se vrátily (mají červený status) a ostatní tam nejsou. K nějakým změnám došlo, už se po odeslání neitevírá internetový prohlížeč, přibylo stručné vyhodnocení. Podle rychlosti odeslání bych řekl, že data nejsou dnes přijímána do systému okamžitě, aby to dlouho netrvalo, ale že někde čekají a budou pak postupně zpracováno. To jsme ale mohli vědět.
Tak to je opravdu perla:
V žádném případě nelze vyhodnotit odpověď celou větou, byť chápeme, že učitelé správně žáky k takovým odpovědím vedou. Cituji z dnes uveřejněného návodu: Jak odpovídat na polootevřené úlohy?
Máme tedy odstoupit od zápisů odpovědí ve slovních úlohách a vysvětlit žákům, že je to tak sice učíme, ale někdo chytřejší to neumí přečíst?
Je to proto, že odpovědi kontroluje počítač a ne hodnotitel, chápu. Už jsem s nimi mluvil a dodatečně to projdou a opraví.
Kolego, neblázněte, že budete učit děti podle nějakých testů.
Jak to, že nikomu nevadí, že se z žáků stali pokusní králíci, kteří slouží k nalezení chyb v systému. A to na místo řádné výuky!
Není to porušení zákona?
Když to tady čtu, tak vám závidím... Takové drobnosti. Patrně nejste ze středních škol a nejednáte s cermatem.
U nás v Olomouci dnes naprosto bez problémů.
Dobrý den všem,
procházíme odpovědi žáků na polootevřené úlohy. Pokud byste se někdo chtěl vyjádřit k následujícím otázkám, budeme rádi.
1) Má se v matematice za správnou považovat odpověď s gramatickými chybami? Zdá se, že ano, i když je to trochu proti komplexnímu hodnocení výkonu žáka.
2) Co si myslet o odpovědi žáka, který jinak výsledky nic moc, ale na otázku na druh větného členu odpoví "atribut nonkongruentní"?
Kdo nechce, věřit nemusí, ale takové alternativy odpovědí, jaké žáci "vymysleli" (často "využitím" gramatických chyb a překlepů) by nikdo předem nevymyslel. Proto se odpovědi procházejí dodatečně a klíč správných odpovědí se doplňuje (byť srdce češtináře nad slovními odpověďmi v matematice krvácí...).
Petr Suchomel
Pane Suchomele, vy (ČŠI) přece nehodnotíte tímto testem žáky komplexně?! Tak si nehrajte na posledního spravedlivého. Jak víte, že by odpověď byla "na papíře" stejně "zraňující" jako ta psaná na klávesnici? Stresující podmínky jste nastavili vy. Tak se teď nepohoršujte, prosím.
Dnes jsem zjistil, že z včerejších testů z matematiky se 8 VRÁTILO.Odeslal jsem jednotlivé, ale nic se nezměnilo.Prý to může trvat
i 24 hodin.Bordel!!!!!!
DD,
děláme IT servis na několika školách, tak doplním z technického pohledu pár postřehů:
- po automatické aktualizaci aplikace z verze 2.2 na některou vyšší po 15.5. a spuštění testů ze zkušební sady docházi k havárii aplikace (po zadání 5. znaku přihlašovacího jména), správně by se měla zobrazit hláška s popisem problému. Toto je diletantské řešení programátora
- ve čtvrtek 17.5. odpoledne stále nejsou vygenoravány testovací dávky pro některé školy, i když v metodických podkladech bylo zveřejněno, že jsou od 15.5. ke stažení - administrátorská aplikace nevrací správný popis chyby, ale pouze obecnou hlášku, ze které nelze poznat přesnou příčinu problému
- kvůli přetížení serverů je někdy třeba použít funkci import a export testů, problém je, že se při této akci nepřenese soubor _resources20.xml, který slouží jako zdroj obrázků v některých otázkách, přitom postinstalační test "33333" proběhne zcela korektně
Nemám sílu to někam posílat, ale pokud bude někdo ze zdejších přispěvatelů posílat na ČŠI připomínky, tak to klidně může použít.
Volal jsem na tu jejich hotline, kde hořelo,ale asi nevyhořelo... ;-), Tak tam mi řekli, že ten seznam vrácené testy nejsou testy, ktreé se vrátili, ale které jsou na serveru. Prej to přejmenují, že nejsem jediný, kterého to zmátlo...
Nejdříve jsem si chtěla vybít vztek nad tímto "experimentem" na klávesnici, ale poté co mé rozhořčení, coby rodiče a učitele, dosáhlo několikastránkové úvahy, nezbývá než mávnout rukou a říct "No comment".
Na naší škole se nepodařilo rozchodit zvuk u poslechových otázek z jazyka. Protože aplikace neumožňuje práci s okny, nebylo možné ani žádné laborování. Dokumentace nulová, podpora v řádu dní. Nakonec jsme stáhli balíček s mp3, dětem to pouštíme přes bedny najednou. Hlavně že všechny měly sluchátka... Naprosto jsem nepochopil, na základě čeho se vybírají obtížnější varianty odpovědí. V jedné ze tříd tyto těžší části nedostal ANI JEDEN ze žáků, což se v jejich celkovém výsledku projevilo. Máme žáka, který pro změnu dosáhl totální "nuly". To snad není ani při náhodném výběru možné (navíc to není žádný trouba) a skutečně klikal co měl. Posuvníky v okně otázek splývají s pozadím. Některá děcka je prostě přehlédla a nečetla celý text. A teď považte, že "Rozpočet projektu pro celkové způsobilé výdaje činí 296 242 042 Kč."
Naprosto nechápu systém vyhodnocování. Proč to trvá HODINY někde na nějakém serveru?
Tak jsem tak narychlo udělal výpočet mzdových nákladů při teoretickém daňovém základu 18 000,- Kč (tedy "čistého") a vyšlo mi, že celý projekt by zaplatil na jeden rok cca 882 učitelů. Možná jsem někde udělal botu, ale koukejme se na to touto optikou!
...a samozřejmě jsem započítal i odvody na sociálníé a zdravotní pojištění. Bez nich by to bylo cca 1221 kantorů.
Okomentovat