4. Evaluace

Jak jsme popsali na začátku, současný diskurs v tvorbě elektronických vzdělávacích objektů se opírá o paradigma akčního výzkumu. To znamená, že na začátku návrhu libovolného objektu či kurzu je výzkum, který nám umožňuje vhodně navrhnout celý proces, přičemž na konci návrhu je samozřejmě přítomná evaluace. Nikdy totiž nemáme jistotu, zda to, co jsme vytvořili, bude skutečně fungovat, že se z materiálů lidé naučí to, co by měli, a zda budou spokojeni. Tedy zda se nám podařilo naplnit metriky, které jsme si předsevzali, když jsme s vývojem začali.

Vývoj se opírá o zásady produktového managementu, což vede k tomu, že produkt musí být SMART – musí být konkrétní, měřitelný, dosažitelný, realistický a časově ohraničený. A právě k měřitelnosti směřuje tato „poslední fáze“. Ve skutečnosti není poslední. Nikdy se nám nepodaří udělat po všech stránkách dokonalý produkt, takže se očekává, že ho budeme postupně upravovat a měnit. Ostatně, proměnou bude procházet také cílová skupina, se kterou pracujeme, svět, pro který byl celý kurz koncipován.

Schopnost hodnotit kurz je někdy v oblasti vzdělávání upozaděná a očekává se, že hodnocení určitým inherentním způsobem provádí autor kurzu, který je odborník a expert, který dokáže zadání přetvořit do dokonalé podoby. Ale vzdělávání je stále méně normativní záležitostí a více a více se obrací na zákazníka, tedy na studenta a jeho potřeby. Což je něco, co zkušený autor dokáže částečně odhadnout, ale nikdy ne dokonale.

Současně bychom rádi zdůraznili, že evaluace nemá smysl bez inovace. Jen tam, kde očekáváme, že budeme chtít s projektem dále pracovat, má smysl se do evaluace pouštět – je náročná a zatěžuje studenty i evaluátory, proto je třeba mít vždy před sebou cíl, ke kterému by měla směřovat. Podle prostředků a projektového schématu to často může být i jen nějaký drobný celek, kterým si nejsme jisti. Neexistuje žádné univerzální evaluační schéma, které by bylo možné v projektu nasadit a na konci mít dobré výsledky.

K dispozici je bezpočet přístupů, které lze pro evaluaci využít. Zde uvádíme alespoň některé:

• Práce s daty z LMS: především Moodle, ale i další nástroje mají k dispozici velké množství informací, které lze pro evaluaci kurzu nebo jeho částí využít; od čtenosti jednotlivých objektů, přes výsledky testů až po sledování konkrétních aktivit studenta. Jde o variantu dat, která je zajímavá v tom, že nezatěžuje studenta a je k dispozici velice rychle, takže může posloužit například pro přípravu na synchronní nebo presenční části výuky. Nevýhodou je, že vyžaduje základní znalost learning analytics.
• Komparace pre a post testu: velice populární kvantitativní přístup dosahoval vrcholu před několika lety. Pracuje s tím, že student je v určitých úlohách otestován na začátku kurzu a poté na konci. Nevýhodou je, že do výsledků se promítá mnoho proměnných, které nelze kontrolovat a také určitá procedurální náročnost s přemlouváním účastníků k vyplnění pre a post testu.
• Evaluace portfolií či úkolů: je dnes poměrně zajímavou a rozvíjející metodou, kdy výzkumník sleduje výsledky práce studentů, analyzuje je podle určitého klíče a na základě něj sleduje, jaká je výstupní znalost či dovednost studentů, protože o tu ve skutečnosti jde. Tato metoda je citlivá na dobré nastavení úloh a metod jejich analýzy.
• Sebereflexe a sebeevaluace studentů: další dnes populární metoda se opírá o subjektivní pocity studentů, co se naučili nebo co na základě absolvování kurzu dokáží. Důraz je zde kladen na skutečnost, že právě subjektivní rovina je pro praktickou implementaci vzdělávacího obsahu z kurzu rozhodující.
• Práce s daty z testů: jednoduchá metoda, která se opírá o to, jak studenti odpovídají v testech. Může být náročnější na konstrukci otázek a nedá se s ní testovat vše, ale základní přehled, například o nejnáročnějších částech kurzu, může poskytnout dostatečně.
• Rozhovory se studenty, focus groups a další kvalitativní metody: umožňují náročnější reflexi kurzů a odhalení mnoha témat, která by jinými metodami nemusela být patrná, jako je celková spokojenost, studijní prožitek, těžkosti a radosti během kurzu atp. Jsou náročné na čas a domluvu, ale pro plastickou evaluaci nenahraditelná.

U evaluace je třeba mít co nejpřesněji nastavené, co chceme zjistit. Téměř vždy platí, že přesné, cílené otázky na dílčí problémy poskytují více informací než otázky obecné. Je snazší zobecňovat z konkrétních příkladů (dobře vybraných) v detailu než z obecných odpovědí vyvozovat něco pro jednotlivé části kurzu.

Současně musíme zdůraznit, že evaluace není jen věcí vztahu tvůrce – student, ale stále větší význam má hodnocení sebe sama nebo reflexe studijního pokroku či prožitku u studentů samotných. Tato osobní reflexe může být také dobrým zdrojem dat, ale současně je integrální součástí učebního procesu studentů.