Zpětná vazba a její plánování
Zpětnou vazbu není možné v procesu učení vnímat jako izolovanou událost, ale má charakter integrálního propojujícího prvku celého procesu edukace. Tuto skutečnost jsme ve dvou odlišných perspektivách naznačovali v předchozích dvou kompetencích – při diskusi nad vztahem formativního a sumativního hodnocení jsme se snažili ukázat, jak lze oba přístupy kombinovat a strukturovat tak, aby bylo jejich spojení při využití digitálních technologií co nejefektivnější. Následně jsme se zaměřili na problematiku learning analytics a její potenciál zlepšování edukační praxe. Upozornili jsme na skutečnost, že jde o přístup či kompetenci, jejímž cílem je pozitivní změna v učení – jak u jednotlivců, tak v celých kurzech.
V tomto materiálu bychom měli postoupit dále a zaměřit se ještě na další aspekty hodnocení, které jsme doposud jen stručně zmínili nebo jsme se k nim ještě nedostali. Pokud se podíváme do DigCompEdu, je tato kompetence popsaná tak, že vzdělavatel „používá digitální technologie k poskytování včasné a cílené zpětné vazby žákům. Přizpůsobuje vzdělávací postupy a poskytuje podporu v závislosti na výsledcích generovaných použitím digitálních technologií. Zpřístupňuje výsledky žákům a jejich rodičům a používá je při rozhodování“.
Rádi bychom se zde v úvodu zastavili u některých podstatných momentů spojených právě s touto kompetencí. Předně je třeba chápat a plánovat zpětnou vazbu realizovanou prostřednictvím digitálních technologií jako proces s vysokou etickou kvalitou. Je třeba v každém okamžiku myslet na to, zda pracujeme s daty, která jsou ku prospěchu studenta, zda s jejich zpracováním máme souhlas a zda operace, které s nimi provádíme, jsou skutečně etické a legální. To se týká mnoha podceňovaných oblastí, jako je například ukládání dat nebo řízení přístupu k nim v rámci školních systémů.
Představa, že každý učitel ve škole nebo každý knihovník v knihovně budou mít přístup k tomu, jak se danému člověku daří v testu z Karla Čapka, nebo dokonce o čem si píše se svým vzdělavatelem, je zcela mimo jakoukoli diskusi. Bezpečnost a péče o zabezpečení dat, která slouží jako podklad pro zpětnou vazbu, by měla být jednou ze základních priorit každého vzdělavatele.
Většinou můžeme mít pocit, že problémem může být jen prodej osobních údajů, ale ve skutečnosti lze říci, že společenská citlivost k tomuto fenoménu se postupně zvyšuje a že jde o dobré jméno instituce, která je vinou špatného zabezpečení nebo nedobré informační a bezpečností politiky silně ohroženo, nepočítaje případné možné pokuty. To znamená, že právě náročná etická, bezpečností a legislativní analýza toho, jak poskytujeme zpětnou vazbu, by měla být prvním krokem v jejím poskytování.
Druhou významnou rovinou koncepčního uvažování o hodnocení je, jaká je jeho pozice v procesu vzdělávání. V předchozích textech jsme naznačili, že skutečnost, že student vidí hodnocení a měření svého studijního úsilí, které je vztažené k určitému konceptu, ho může přivést k posílení autonomního učení stejně jako vhodně prováděné formativního hodnocení. V obou případech je ale nutné, aby šlo o proces, který je systematicky reflektovaný vzdělavatelem – je to on, kdo musí připracovat zprávy o vzdělávání, kdo pomáhá nastavovat procesy učení, mění jednotlivé strategie a kroky, které vedou od nepříliš efektivního učení k takovému, které bude skutečně funkční a smysluplné.
Je přitom zřejmé, že v případě školy by nemělo jít o práci jednoho vzdělavatele, ale že musí jít o prvek strategického řízení a integrace výuky. Se specifickými formami takové práce se zpětnou vazbou se můžeme setkat ve vzdělávání neformálním či volnočasovém, které nemá většinou ambici komplexní změny jedince, ale zaměřuje se na práci s konkrétními dovednostmi, znalostmi nebo postoji jedince.
V tomto ohledu lze vidět zásadní prostor, který se vytváří pro mentory a kouče, kteří jsou schopni takovou podporu studentovi nabídnout a případně integrovat různé zdroje informací o studiu na jedno místo, které student bude moci reflektovat. Jedním z velkých problémů může být určitá rozdrobenost zdrojů – část informací se může nacházet v systémech LMS, další například ve Formativ a jiné v nástrojích, které využívá knihovna nebo jazyková škola. Výsledkem je, že není splněná základní podmínka funkční zpětné vazby – rychlost, srozumitelnost a konkrétnost.
Také tomuto aspektu by měla být věnována strategie v rámci plánování hodnocení a jeho pozice uvnitř edukačního procesu. Je většinou výhodnější vybrat horší nástroj, který bude moci být společný všem, než studenty rozptylovat mezi mnoho různých prostředí.
Rádi bychom se zaměřili na fenomén, který s rozvojem digitálních technologií získává na stále větší popularitě, totiž na vzájemné studentské hodnocení. Na první pohled by se mohlo jednat o přístup téměř ideální – vzdělavatele nemusí opravovat velké množství prací, které se automaticky rozdělí mezi studenty, kteří nejenom že se mohou z prací druhých něco dozvědět a přiučit, ale také si rozvíjejí schopnost dávat zpětnou vazbu. Hodnocení od spolužáků je vždy jiné než od učitele či tutora, což ale nemusí znamenat horší ani méně kvalitní. Přesto se domníváme, že má smysl o této formě hodnocení přemýšlet blíže.
V zásadě je možné se setkat se dvěma základními přístupy k tomu, proč ho zavádíme:
Provozujeme příliš velké kurzy – vzájemné hodnocení se poměrně rychle rozvinulo s nástupem MOOC, kdy bylo jasné, že lektor nemůže opravit všechny úkoly (dokonce ani tým tutorů) a současně, že automaticky opravované testy nejsou ideálním nástrojem na ověřování určitých dovedností nebo znalostí. Tento přístup se snaží zdůraznit, že sice vzájemné hodnocení není ideálním nástrojem, ale že jde o jedinou cestu, jak provozovat určité druhy vzdělávání nebo jak poskytovat smysluplnou zpětnou vazbu. Přístup zdůrazňuje, že takové hodnocení sice není tak dobré jako profesionální, ale je pořád praktičtější a lepší než test.
Druhý přístup pracuje s modelem edukačního významu zpětné vazby – sledujeme důvody, proč by studenti měli své projekty nebo výstupy v určitou edukační fázi hodnotit mezi sebou. Rozvíjejí si kompetence k hodnocení druhých, musí přemýšlet o tom, proč druhý postupoval jinak než oni, k tématu musí přistupovat znovu a hlouběji. Tato varianta je edukačně vhodná, často ale tvoří jen část hodnocení v určitém kurzu. Typicky nabízí náročnější modely než první varianta, jako je zpětná vazba poskytovaná na zpětnou vazbu nebo jiné náročné koncepty s netriviálními prvky hodnocení druhých.
Obecně je možné říci, že ať již vybereme jednu, nebo druhou variantu práce se vzájemnou zpětnou vazbou, jde o relevantní a korektní přístup, který je vždy vhodné studentům dostatečně popsat a vysvětlit.
Centrum pro inovace výuky na Cornell University uvádí následující důvody, proč užívat vzájemné hodnocení mezi studenty:
Studenti více přebírají zodpovědnost za své vzdělávání a za práci skupiny. Tento parametr je důležitý, protože vede k aktivnímu učení také v dalších oblastech a oslabuje diskurs moci, spojený s pozicí vzdělavatele. Studenti se současně cítí být vtaženi do zodpovědnosti za proces vlastního učení jako prvek autonomie.
Rozvíjí schopnost hodnotit druhé. Tuto schopnost budou studenti ve svém životě často potřebovat. Vhodně nastavené vzájemné hodnocení vede ke strukturaci a kultivaci tohoto procesu. V ideálním případě je proces zpětné vazby tutorem analyzován a studenti dostávají zpětnou vazbu na svoji práci. Díky tomu se učí hodnotit druhé, dodržovat hodnoticí kritéria a formulovat doporučení pro druhé.
Studenti jsou obecně motivovanější učit se více do hloubky – aby mohli dobře hodnotit druhé, musí tématu rozumět a umět se do něj dostatečně ponořit. Tím, že jsou studentské úkoly rozdílné, musí studenti téma vidět a promýšlet z více stran, často si doplňovat informace a znalosti. Jde tedy o integrální součást procesu učení.
Vzájemná inspirace – studenti mohou vidět, jak nad problémem přemýšlí někdo druhý s podobnými možnosti a zdroji. Jde vlastně o formu kultivovaného brainstormingu, z jehož obsahu studenti mohou v kurzu dále vycházet. Tento bod také vymezuje, jaké druhy úkolů jsou vhodné na vzájemné hodnocení a jaké nikoliv.
Z výše uvedeného je patrné, že existují poměrně dobré důvody, které mohou vzdělavatele vést k tomu, že po vzájemném hodnocení sáhne a do procesu vzdělávání ho inkorporuje. Z hlediska celkové strategie vzdělávacích institucí je vhodné pracovat s určitou vyvážeností a dlouhodobou prací s touto formou zpětné vazby. Musíme počítat s tím, že studenti se tyto činnosti nenaučí okamžitě, ale že jde o kompetenci, kterou si budou muset dlouhodoběji rozvíjet.
S tím souvisí také to, jakým způsobem bychom měli vzájemné hodnocení zadávat. Předně je třeba vysvětlit smysl a cíl vzájemného hodnocení – tedy popsat, k čemu by mělo sloužit, co se při něm člověk učí a jak pomůže hodnocenému. Druhým krokem je stanovení dobře zvolených kritérií hodnocení; doporučuje se méně pracovat s parametry subjektivními (líbí x nelíbí) a více se soustředit na prvky, které lze snadno kvantifikovat, jako: je dodržen rozsah, obsahuje práce zdroje ve správné citační normě, jsou alespoň dva zdroje z recenzovaných časopisů atp. Každé kritérium by mělo obsahovat číselné úrovně s jasně popsanými body, které odlišují kvalitu daného parametru.
Pokud pracujeme s volnou zpětnou vazbou (což je důležité), je možné sledovat dvě základní strategie hodnocení – buď jde o konstruktivní kritiku, nebo o práci s pozitivními prvky. Oba přístupy mají své výhody a limity. U konstruktivní kritiky je třeba velice pečlivý tréning – čím lépe ho dokážeme na příkladech zvládnout, tím větší smysl může mít i pro studenty. Je přitom nutné v takovém případě neustále kontrolovat stávající zpětné vazby, vybírat z nich dobré i špatné příklady a ty se studenty analyzovat.
Takový proces zabere čas, ale vede k dobrým výsledkům. Získané dovednosti jsou přenositelné mezi kurzy, což jistě ocení například univerzita nebo libovolná škola. Výhodou je, že studenti mohou pomoci druhému se zlepšit, navrhnout lepší postup nebo nové řešení. Klíčová je přitom právě ona konstruktivnost – není možné být čistě negativní nebo nenavrhnout vhodný postup. Tento způsob zpětné vazby se hodí tehdy, když očekáváme, že studenti budou moci svoji práci ještě vylepšit.
Druhou možností je práce s pozitivním hodnocením ve vybraných a předem ohraničených kritériích – studenti se musí naučit sledovat nejen svoji vlastní perspektivu, ale dívat se na situaci očima druhého, pomoci mu poznat silné stránky, na kterých může dále pracovat a stavět. Cílem pro hodnoceného je podpořit to, v čem je skutečně dobrý, a umožnit mu se na tyto aspekty soustředit. Hodnotitel naopak rozvíjí empatii a schopnost přemýšlet v širších souvislostech. Toto hodnocení je vhodné tam, kde se úkoly po vzájemném hodnocení neopravují a má větší smysl motivovat studenty k další práci než opravovat dílčí nedostatky.
Jak je již z výše uvedeného patrné, rádi bychom se v tomto přehledu soustředili především na nástroje, které mohou být použity pro vzájemné hodnocení, případně pro sebehodnocení studentů. Vnímáme jako zásadní fakt, že skrze technologie dokážeme podpořit studijní autonomii a zapojení se studentů do procesu edukace.
FeedbackFruit – aplikace s množstvím funkcí určitě stojí za vyzkoušení. Umožňuje tvořit interaktivní studijní materiály, diskutovat, spolupracovat, ale také pracovat se vzájemným hodnocením. Nabízí hezky udělané škály pro jednotlivé položky nebo možnost práce se slovním komentářem. Výhodou je i příjemný a přehledný design.
Google Classroom – i přestože se ke Google Classroom vracíme ve výčtech nástrojů opakovaně, tak ho musíme zmínit také zde; podporuje jednoduše udělané vzájemné hodnocení, práci se základními kategoriemi, a především se opírá o Google nástroje. Hodně funkcí lze tak připojit díky pluginům.
Google Forms – aplikace od Google může mít různé využití, ale jednou z nich je nepochybně práce se sebehodnocením s využitím škál nebo slovních komentářů.
IS MU – také informační systém Masarykovy univerzity, který v Česku využívá několik vysokých škol, podporuje vzájemné hodnocení studentů. Stačí nahrát soubory do připravené složky a nastavit, kdo, kolik a podle jakých kritérií má hodnocení provádět.
Moodle – tradiční systém na řízení výuky si poradí také se vzájemným hodnocením. Výhodou je možnost nastavení téměř všech funkcí a nástrojů, které se vzájemným hodnocením souvisí. Nevýhodou je nepříliš pěkný design a integrace do velkého balíku dalších služeb. Moodle má smysl užít pro vzájemné hodnocení jen tehdy, když už je do vzdělávacího procesu nasazený.
Peer Blender – aplikace na vzájemné hodnocení od českého tvůrce uvolněná pod otevřenou licencí pro vlastní užití. Poslední aktualizace je z roku 2018, ale stále nabízí zajímavé funkce, a to především v rovině přehledu vzdělavatele o tom, jak vzájemné hodnocení vypadá a probíhá.
PeerGrade.io – tento nástroj patří mezi nejznámější aplikace, které se v rámci vzájemného hodnocení uplatňují. Hlavní důraz klade na jednoduchost a přehlednost. Nahrání práce na hodnocení, stejně jako udělování a sledování zpětné vazby je zde triviálně jednoduché.
SnatchBot – aplikace umožňuje tvořit chatboty, kteří mimo jiné mohou dobře posloužit jako základní nástroj sebeevaluace. Na rozdíl od dotazníků jsou užiteční v tom, že sebehodnocení má charakter dialogu.
TEAMMATES – je zajímavý tím, že na rozdíl od velké části své konkurence je bezplatný a otevřený. Jde o ideální řešení, pokud má člověk k dispozici malý rozpočet a požaduje jednoduché řešení.
The Peer Assessment Tool – je open source nástroj, který si lze naistalovat na vlastní server a využít ho pro vzájemné hodnocení. Je rychlý, jednoduchý a základní hodnocení má postavené na smajlících s doplňujícím komentářem. Ideální především pro mladší studenty.
Double, K. S., McGrane, J. A., & Hopfenbeck, T. N. (2020). The impact of peer assessment on academic performance: A meta-analysis of control group studies. Educational Psychology Review, 32(2), 481–509.
Jedna z nejlepších studií na téma vzájemného hodnocení je analýzou 54 publikovaných textů na téma vzájemného hodnocení. Ukazuje, že vzájemné hodnocení má mírně pozitivní vliv na akademický výkon, ale že pro jeho skutečné hodnocení nemáme paradoxně dost dat. Výzkumy na toto téma jsou většinou kusé, neobsahují dostatečné informace o kontextech, které jsou ale pro vzájemné hodnocení zásadní. Často navíc dochází k tomu, že si autoři do studií promítají své vlastní hodnoty a přesvědčení. To, jak bude nebo nebude tato forma hodnocení fungovat, je mimořádně citlivé na kontextuálních proměnných (vysvětlení, nastavení rubrik, role učitele, klima třídy, …), které se ale zatím nepodařilo dostatečně dobře prozkoumat.
Wanner, T., & Palmer, E. (2018). Formative self-and peer assessment for improved student learning: the crucial factors of design, teacher participation and feedback. Assessment & Evaluation in Higher Education, 43(7), 1032–1047.
Studie se opírá o vlastní zkušenosti autorů. Tvrdí, že sebehodnocení a vzájemné hodnocení vyžaduje pečlivý návrh a implementaci, aby je bylo možné použít pro skutečně funkční formy vzdělávání. Ukazuje, že tyto formy jsou nezbytnou formou pro rozvoj kompetencí pro 21. století, ale že přechod k nim není pro nikoho snadný a vyžaduje nejen dobrý design, ale i čas. Studie vychází z toho, že jak vzájemné hodnocení, tak sebehodnocení zvyšují schopnost studentů porozumět vlastnímu edukačnímu procesu a převzít za něj odpovědnost.
Zheng, L., Zhang, X., & Cui, P. (2020). The role of technology-facilitated peer assessment and supporting strategies: A meta-analysis. Assessment & Evaluation in Higher Education, 45(3), 372–386.
Studie přináší několik zajímavých zjištění. Souhlasí s tím, že existuje mírný nebo střední pozitivní vliv na akademický výkon studentů, když provádějí vzájemné hodnocení. Technologie jsou v článku vnímané jako zásadní pozitivní prvek, který umožňuje tuto činnost provádět lépe, rychleji a kvalitněji. Kvalitněji znamená, že dochází k rozvoji kritického myšlení a vyšších kognitivních nároků na studenta, což aktivizuje jeho edukační strategie. Zajímavé je, že anonymní hodnocení zcela vychází jako podstatně lepší (kognitivně náročnější) než neanonymní zpětná vazba. To jen potvrzuje význam a roli technologií v této formě zpětné vazby.
Závěr
Výše uvedené studie se jasně shodují na tom, že mýtus, že vzájemné studentské hodnocení je neefektivní nebo méně kvalitní než od lekotra, je jasně vyvrácen. Vzájemné hodnocení naopak vtahuje studenty do procesu učení a kritického myšlení. Vhodné nastavení procesu zpětné vazby, edukace studentů, příprava toho, že a jak hodnocení probíhá, a jeho reflexe je ale pro smysluplnou implementaci důležité. To současně ale neříká, že by se vzdělavatel neměl podílet na zpětné vazbě nebo že by jeho přínos v ní byl zanedbatelný.
Také DigCompEdu se snaží pracovat s určitou vyrovnaností, s volbou vhodné strategie hodnocení s ohledem na edukační cíl. Zdá se být zřejmé, že i když některé naděje nebo ambice vkládané do vzájemného hodnocení se ne vždy naplní v očekávané míře, jde o formu zpětné vazby, která má mimořádně velký význam a smysl.
