Analýza výukových výsledků
Jestliže se v něčem pedagogika v posledním století změnila, je to důraz na data. Zatímco až do poloviny minulého století v oblasti vzdělávání převládalo přesvědčení, že jde o normativně koncipovaný projekt, ve kterém teoretici vzdělávání postupně racionálně zdůvodňují a odkrývají kdo, jak a kdy se má vzdělávat, nástup evidence based přístupů tuto myšlenkovou krajinu proměnil, a to přinejmenším ze tří důvodů.
Tím prvním je obecně snaha společenských a humanitních věd vyrovnat se přírodním a technickým. Pokud se stávají měřitelné, získávají větší společenskou legitimitu. Současný pedagogický diskurs je takový, že je relativně snadné publikovat i nepříliš náročné výzkumné studie opírající se o empirická data, pokud jsou dobře statisticky zpracována. Tento příklon k měření v pedagogice není tématem jen této vědní disciplíny, ale zásadním způsobem ji ovlivňuje a určuje.
Druhý důvod spočívá v obecné důvěře v evidence based přístupu jako takovému. Medicína byla poměrně dlouho konstruována jako spekulativní věda, kterou bylo možné provozovat často na dálku dopisní formou. Až vznik klinik ji definitivně přivádí do formy, kterou známe dnes, a postupně klade důraz na postupy založené na datech. Léčba je měřitelná a výsledky měření různých postupů umožňují identifikovat ten nejlepší. Pro změnu praxe je pak nutné vždy mít k dispozici vhodná data.
Tento přístup umožňuje říci, co funguje a nefunguje, případně za jakých podmínek a situací je určitý postup efektivní a jiný selhává. V tomto ohledu může být důraz na data ve vzdělávání důležitý také pro konkrétní vzdělavatele, nastavení kurzů a vzdělávacích postupů. I když budeme váhat, zda je vzdělavatelská věda více uměním, nebo technikou, opřít se o data je obecně velice praktické a užitečné. I přestože jsou lidské přístupy a zkušenosti jistě různé, existuje velké množství situací, kde je empirická evidence zcela jasná.
Například Harry Fletcher-Wood má na důsledné evidenci a datech založený svůj koncept responzivní výuky. Každou hodinu musí učitel získávat informace o tom, co se studenti naučili, a tato data promítat do designu další edukační jednotky. Jeho kniha poměrně názorně ukazuje, že takový přístup může být efektivní, a současně nemusí představovat pro studenty nějaký přehnaný pocit stresu a kontroly. Analýza jejich učebních aktivit jim samotným umožňuje regulovat své učení a vzdělavateli reagovat na jejich podněty.
Fletcher-Wood současně zdůrazňuje, že nejde jen o proces získávání dat, ale že výuka založená na datech musí mít specifickou strukturu, postupy, akcenty, které proměňují celý její proces. Nejde mu tedy o to „učit jako normálně“ a u toho získávat data, ale o zásadní transformaci praxe. Responzivní výuka je na jedné straně silně evidencionalistická, ale současně s sebou nese prvky formativního hodnocení, což z ní činí velice zajímavý komplexní edukační přístup.
Druhý důvod je tedy ten, že pomocí empirických dat můžeme regulovat a upravovat edukační praxi tak, aby byla efektivnější, lepší, zábavnější. Tento aspekt považujeme za velice důležitý a tvoří určité jádro transformativní proměny pedagogiky v posledních dekádách.
Třetí pramen změn souvisí s nástupem technologií. Nikdy v minulosti nebylo tak snadné získávat data o tom, jak studenti pracují s jednotlivými materiály, jak odpovídají na kvízy, které otázky jsou pro ně náročné, co čtou, jak pracují. Rozvoj e-learningu, ale i technologií v prezenčním vzdělávání (jako je například Kahoot), umožnil získávat a zpracovávat data v bezprecedentním množství a kvalitě.
Musíme si být ale vědomi, že je velký rozdíl mezi daty o studentovi a pro studenta. Data by neměla sloužit k nějaké kontrole, hodnocení nebo k tomu, abychom z dat vytvářeli obraz studenta, ale aby mu posloužila pro jeho vlastní rozvoj, reflexi a postup. Sledovat tuto perspektivu považujeme za zásadní, protože právě v práci s daty můžeme vidět jak jednu z největších výzev současné edukace, tak také zásadní hrozbu, před kterou vzdělávací systém i jednotliví vzdělavatelé stojí.
V DigCompEdu je k této kompetenci napsané, že vzdělavatel „vytváří, kriticky analyzuje a interpretuje digitální data o aktivitách žáka, jeho výkonu a pokroku. Používá je pro nastavení další výuky“. Domníváme se, že pro pochopení významu této kompetence jsou potřebné obě poloviny této definice – na jedné straně kriticky zpracovávaná a systematicky sbíraná data, která slouží nikoli pro vzdělavatele samotného nebo pro porovnávání škol, ale pro úpravu edukační praxe, která má být ku prospěchu samotného studenta. Ať již v optice jednotlivce, nebo studijní skupiny.
Nabídnout nějakou jednoduchou definici Learning analytics (analýza učení není úplně vhodným a šťastným překladem) není snadné. Podle SoLAR jde o „měření, shromažďování, analýzu a zprostředkovávání zpráv o údajích o studentech a jejich kontextech za účelem porozumění a optimalizace učení a prostředí, ve kterém k němu dochází“.
V této definici bychom rádi upozornili na některé podstatné body. Tím prvním je, že nejde o práci s daty, ale o zprostředkovávání zpráv – samotná data jsou studentům i jejich lektorům nepříliš užitečná, protože jim neumožní pochopit, co znamenají, jak je chápat, jakým způsobem s nimi lze pracovat. Jinými slovy – dostupnost dat z různých vzdělávacích systémů (od Formative po Socrative nebo Moodle) neznamená, že je možné je snadno použít. Právě pečlivá analýza, zasazení do kontextu a vhodná prezentace je zásadní. Cílem není získání dat, ale zlepšení praxe.
Právě tento důraz na zlepšení je pro dominantní diskurs v oblasti learning analytics důležitý, byť není vždy zcela jasná shoda na tom, co přesně znamená. Můžeme se tak setkat s paternalistickým diskursem, který zdůrazňuje, že cílem je identifikovat problém konkrétního studenta a provést akce, které povedou k tomu, že vzděláváním projde. Jde tedy o prevenci dropout jevu, který z procesu řešení do určité míry vyčleňuje samotného studenta a jeho svobodnou vůli.
George Siemens naproti tomu akcentuje rozměr změny vzdělávacího prostředí – cílem je zjistit, jak se studentům jako celé populaci v kurzu studuje, jaké materiály, úkoly, cvičení, aktivity i jednotlivé testové otázky jim s učením pomáhají a jaké méně, a toto prostředí na základě dat postupně upravovat. Tento model je inspirován přístupem akčního výzkumu, který se snaží postupně upravovat praxi tak, aby byl výsledný produkt co nejlepší.
Třetí přístup je možné nalézt například v EduCause Horizon Report pro rok 2021, který upozorňuje na to, že paternalistické paradigma (podpora nejslabších) je vyčerpané. Je třeba se soustředit na analýzu toho, jak studují ti nejlepší studenti. Pomocí různých zdrojů dat popisovat jejich vzdělávací strategie a v designu kurzů i v programech podpory je zpřístupňovat ostatním. Jinými slovy – cílem není „doučování nejslabších“, které neřeší jejich problém více, než že jim umožní kurzy dokončit, ale změna způsobu, jak studují, aby se mohli stát skutečně dobrými.
Již zmíněný SoLAR pak akcentuje význam sebereflexe a autoregulace. Cílem learning analytics podle něj je především podpora studentů, aby se dokázali učit lépe a autonomně, aby dokázali o svém vzdělávání přemýšlet, kriticky ho reflektovat a díky informacím, které jsou jim poskytovány, ho měnit tak, aby se učili lépe. Zatímco předchozí přístupy vždy akcentovaly důraz na vzdělavatele či designera kurzu, tento se soustředí na jedince a jeho autonomii, což je v souladu s požadavky DigCompEdu a jeho cílů.
Pokud jde o vlastní výzkumné přístupy nebo oblasti, ze kterých lze pro learaning analytics získávat data, tak jde například o následující oblasti (část z nich se nedá nijak přeložit, proto je uvádíme s ohledem na konzistenci anglicky všechny), pro něž vybíráme vždy jen typickou oblast. Vnímáme, že jejich reálný rozsah aplikace je vždy podstatně širší:
Content analysis – tato oblast se soustředí na to, jak vypadají studentské výstupy, jako jsou eseje, úkoly, portfolia. Přístup se opírá o myšlenku, že kvalita vzdělávání je určena jeho výstupy.
Discourse analytics – tento přístup se soustředí na porozumění tomu, jak vypadají interakce studentů mezi sebou, mezi studentem a vzdělavatelem nebo i chatboty. Nesoustředí se přitom jen na četnost interakcí, ale také na jejich obsah a strukturu. Snaží se tak odhalit myšlenkové pozadí práce studentů a jejich studia.
Disposition analytics – tento přístup se soustředí na analýzu dispozic studenta a práci s ní uvnitř kurzu. Například jiným způsobem je možné přistupovat k učení u zvědavého a bázlivého studenta. V současné době se tato oblast spíše přesouvá do výzkumu dat potřebných pro adaptibilní učení.
Epistemic Network Analysis – tento přístup usiluje o analýzu dat, která lze zobrazit v grafu, a porovnávání napříč různými kurzy a prostředími. To umožňuje modelovat obecné charakteristiky studentů a zjišťovat způsoby jejich studijního chování.
Log files Analytics – práce s automaticky zaznamenávanými daty například prostřednictvím přístupů k testovým úlohám, studijním materiálům atp. Jejich cílem je analýza práce s různým druhem obsahu a jeho optimalizace.
Social learning analytics – se soustřeďuje na to, jak vypadají interakce mezi studenty, jak často si píší, laikují a sdílejí příspěvky atp. Často se soustředí na kvantifikovatelné jevy a vzájemné interakce. Dříve šlo o velice populární způsob práce s daty, dnes se od něj spíše upouští, protože není možné zachytit šíři komunikačních prostředků (například těžko lze sledovat zprávy, které si studenti vyměňují přes WhatsApp).
Web analytics – pomocí webové analytiky lze provádět optimalizaci studijních materiálů například s ohledem na rozlišení obrazovky nebo použitou technologii (Java, operační systém, …).
Zásadní výzva, před kterou celá oblast Learning analytics stojí, je, jakým způsobem ji provozovat, a přitom respektovat legislativní omezení (především GDPR) a etické limity. Data, která získáváme o studentských aktivitách, jsou totiž skutečně studentská. Měla by sloužit k tomu, aby se zlepšovalo jejich edukační prostředí nebo možnost jejich studijní autonomie. Je třeba důrazně vystupovat proti snaze takto získaná data prodávat nebo zpřístupňovat třetím stranám, stejně jako je přeceňovat. Platí, že jsou vždy nekompletní, nikdy nemáme všechna data o tom, jak daný člověk studuje, a využívání learning analytics by mělo vést ke zlepšování edukace, nikoliv k denaturaci pedagogiky, k nahrazení studenta souborem čísel, která lze snadno vzájemně porovnávat.
Cílem vzdělavatele proto je, aby dokázal vytvořit prostředí aktivní práce s těmito daty a současně aby jeho práce s nimi byla transparentní. Jako zajímavé lze hodnotit participativní metody, kdy se na způsobech analýzy a využívání dat podílejí samotní studenti. V určitém ohledu lze konstatovat, že i když význam evidence based přístupu ke vzdělávání roste, zlatá éra learning analytics se naopak v určitém ohledu blíží ke konci – množství dat a způsob jejich zpracování je stále omezenější a řada výzkumů prováděných před pěti lety by dnes bylo nejen vysoce neetických, ale také nelegálních. Naopak velký potenciál je možné vidět v systémech na dolování studijních dat, které poskytují podporu pro adaptabilní a personalizované učení.
Nalézt nějakou snadno dostupnou množinu nástrojů, které lze pro tuto oblast využívat, není triviální. Zatímco rozmanité formy zpětné vazby poskytuje téměř každý vzdělavatel a je na to náležitě odborně vybavený, v případě této kompetence je situace komplikovanější. Náš výběr proto bude zahrnovat především snadno dostupné výzkumné nástroje, které lze při práci s learning analytics využít:
Catma – aplikace na kvantitativní výzkum; uživatel do ní nahraje požadované dokumenty a pak je může kódovat. Z kódu lze provádět základní analýzu. Jde o open source nástroj, který je snadný na užití, ale nenabízí zdaleka tolik funkcí, co například MaxQDA či Atlas.ti.
Epistemicnetwork – jak název napovídá, je určený pro Epistemic Network Analysis. Užitečné je, že přímo na webu je možné nalézt návody a popisky, jak s ním pracovat. Dokáže z nahraných datasetů tvořit grafy, porovnávat soubory mezi sebou a různě je analyzovat.
Google Analytics – asi nejpoužívanější nástroj na webovou analytiku; dokáže měřit počet stránek a čas strávený na stránkách na konkrétního uživatele, analyzovat zájmy návštěvníků, zdroje návštěvnosti nebo například rozlišení obrazovky. Lze jej využít jak pro learning analytics, tak pro další práci s webovými stránkami.
Hotjar – umožňuje tvořit záznamy chování uživatelů na webu nebo heatmapy z pohybu kurzoru. Díky tomu lze dobře porozumět tomu, co studenti na stránkách nebo v kurzech dělají a jak je možné je přizpůsobit jejich potřebám.
JASP – nástroj na kvantitativní zpracování dat je utvořený jako bezplatná varianta SPSS. Snaží se nabídnout základní funkce a podobné ovládání jako jeho placený kolega.
R Studio – komplexní nástroj na strojové zpracování dat a „statistické programování“. Lze pomocí něj získávat z dat různé vzorce, grafy, struktury, filtrovat je a porovnávat. Dnes jeden z nejrozšířenějších nástrojů na statickou práci s daty netriviálního druhu (tedy takovou, kterou nelze jednoduše „naklikat“).
SmartKlassTM – rozšíření do Moodlu, které může být užitečné pro běžného vzdělavatele, aby získal snadný náhled nad důležitými daty, která Moodle produkuje. Ukazuje, že jeden z pohledů na Learning Analytics může být manažerský náhled nad daty, který podporuje rozhodování vzdělavatele a řízení edukačního procesu.
Smartlook – je podobný nástroj jako Hotjar, ale od českých vývojářů. Umožňuje sledovat záznamy pohybu jednotlivých uživatelů na webových stránkách, tvořit heatmapy, filtrovat data podle druhu zařízení, genderu uživatelů nebo tvořit různé testovací scénáře.
Voyant tools – umožňuje provádět jednoduché i náročnější analýzy textových korpusů. Hodí se pro diskursivně orientované analýzu, dokáže identifikovat nejčastější slovní spojení, fráze, vazby mezi slovy nebo jejich vývoj v čase. Velkou výhodou je velice jednoduché ovládání.
Zoola – nabízí skutečně profesionální (bohužel tomu odpovídá i cena) přehled dat z LMS. Disponuje 25 předdefinovanými pohledy na progres studenta, jeho aktivitu, hodnocení a další parametry. Podporuje tvorbu zpráv pro zpětnou vazbu, ale může být nápomocný také pro ukončování komplexnějších vzdělávacích aktivit.
Guzmán-Valenzuela, C., Gómez-González, C., Rojas-Murphy Tagle, A., & Lorca-Vyhmeister, A. (2021). Learning analytics in higher education: a preponderance of analytics but very little learning?. International Journal of Educational Technology in Higher Education, 18(1), 1–19.
Studie ukazuje, že podstatná část pozornosti v oblasti learning analytics se soustředí na analýzu, a nikoliv na učení. Ukazuje se, že dominantní diskurs jednak podceňuje složitost a komplexitu učení, ale také že jen omezeně pracuje s náročnějšími teoriemi. Autoři vnímají jako zásadní výzvu mezioborový výzkum, který by do této oblasti přinesl komplexnější a teoriemi podpořený kontext. Je jinak otázkou, zda to, co měříme, má skutečně něco společného s učením, nebo jde o nějakou „analytickou“ zkratku nad ním.
Aguilar, S. J., Karabenick, S. A., Teasley, S. D., & Baek, C. (2021). Associations between learning analytics dashboard exposure and motivation and self-regulated learning. Computers & Education, 162, 104085.
Studie se zaměřuje na to, jakým způsobem využít learning analytics ve prospěch studenta. Autoři se věnují tomu, jak tvorba přehledů, které jsou dostupné studentovi, mohou (během krátké doby sedmi týdnů) proměnit sebeřízení a autonomii ve vzdělávání. Současně upozorňují, že jde o transformativní proces s mnoha dalšími proměnnými, který je třeba prozkoumat. Zdá se ale, že samo zviditelňování vhodných dat studentovi mu může pomoci významně optimalizovat své vzdělávací strategie.
Misiejuk, K., Wasson, B., & Egelandsdal, K. (2021). Using learning analytics to understand student perceptions of peer feedback. Computers in human behavior, 117, 106658.
Studie ukazuje zajímavou oblast uplatnění learning analytics na hodnocení toho, jak studenti vnímají vzájemné hodnocení. Experiment pracoval s možností dávat zpětnou vazbu na zpětnou vazbu. Mezi výsledky je možné zařadit to, že studenti požadují konkrétnější zpětnou vazbu než laskavou a že ti, kteří vnímají zpětnou vazbu jako důležitou, na ni reagují s určitou vděčností. Celá studie hezky ukazuje, jak lze nástrojů analytiky užít pro evaluaci konkrétních edukačních technik a postupů.
Závěr
Lze asi souhlasit s tím, co ve své studii uvádí Carolina Guzmán-Valenzuela; totiž že learning analytics je stále mladou a dynamicky se vyvíjející se disciplínou. Tvrdí, že jsme v situaci, ve které existuje mnoho příkladů dobré praxe z manažerského i akademického prostředí, ale současně nám chybí teorie, které by byly dostatečně robustní na vysvětlení fenoménů, jež by dokázaly nabídnout komplexní obrázek toho, jak k učení dochází. Zde bude pravděpodobně ležet jedna z velkých výzev moderní pedagogiky. Na druhou stranu má pravdu i Stephen J. Aguila, když říká, že i drobné a málo probádané změny, které vedou ke změnám, jimž úplně nerozumíme, mohou být pro studenty užitečné. I zkratky mají smysl.
