Learning Analytics: wat het kan, wat het nodig heeft en wat tricky is
In verschillende accenten werd een stortvloed aan informatie over ons uitgegoten op de pre-conferentie van Dé Onderwijsdagen over Learning Analytics. Met een goed opgebouwd programma kregen meer dan 300 mensen te zien wat er allemaal mogelijk is met alle soorten van data, maar vooral ook wat daarvoor nodig is. Een middagje Learning Analytics.
We startten met twee verhalen die de complexiteit laten zien van goede learning analytics toepassing. Hendrik Drachsler (in het Limburgs-Duits Nederlands) nam ons mee in de zes dimensies die een rol spelen bij LA: zoals storage: waar sla je dat op; security: van wie zijn de data, hoe lang bewaar je het, wat mag je gebruiken; competences je gebruikt: wat wil je uit de data halen. Zijn advies: begin met eenvoudige vragen te stellen (bijv: hoe vaak en op welk moment wordt een video gebruikt).
Neil Sclater (Schots- Brittish) borduurde hierop voort door duidelijk te maken dat er heel wat voor nodig is voordat je klaar bent om met data te gaan werken. Hij sprak over de maturity index: je hebt een staforganisatie nodig, met data scientists, met ict, met statistici, etc. Hij ging er op in dat er een noodzaak moet zijn, een visie, korte termijn winsten te behalen moeten zijn. Succesfactoren zijn op een kleine schaal beginnen; transparent zijn, duidelijk hebben van wie de data zijn. Maar dan heb je ook wat: hoe mooi is het als je kunt zien hoe op welk moment een student hard werkt, hoe de plek van de student in de groep is.
Twee praktijkvoorbeelden volgden. Stefan Mol (zonder accent) verhaalde over de organisatorische inbedding bij de UvA– oa de oprichting van een Center of Governance (en de weg ernaar toe). Hij benoemde de dilemma’s die een rol spelen bij de inrichting hiervan en de omgang met data: is het gecentraliseerd of niet; gaat het om research of practise; is het bottom up of juist niet; gaat het om technology of om pedagogiek. Belangrijkste lessen: er is noodzaak tot centrale infrastructuur, data liggen besloten in systemen en het is niet altijd makkelijk om ze eruit te halen, je moet kunnen experimenteren, en tot slot: data governance is relevant. Een mooi voorbeeld uit zijn koker: door slimme of smart doelen te stellen, bereiken studenten betere prestaties. Hoe kun je studenten daartoe motiveren, om die doelen te stellen. Daarvoor heeft de UvA een tool ontwikkeld.
ROC Groningen wil het studiesucces van hun studenten vergroten. Met Twijnstra Gudde hebben zij groepen van succesfactoren onderscheiden: factoren die van invloed zijn, maar waar niet naar gevraagd wordt, bijvoorbeeld omdat je jekunt afvragen of het ethisch is om ze te vragen (denk aan ziekte, COTO score, verzuimgedrag); factoren die voorspellend zijn, maar niet worden aangetoond, (denk aan etniciteit, woonsituatie); en factoren die significant te voorspellen zijn (zoals tijdigheid van inschrijving, instroom in hoger jaar, het aantal aanmeldingen op verschillende opleidingen). Grote vraag die hierbij speelde is: welke data mag je ethisch gezien wel of niet gebruiken.
En dat was ook de insteek van Arnout Engelfriet van IctRecht: hoe zit dat juridisch? Toen werd het echt lastig: je moet toestemming vragen of aantonen dat je bepaalde gegevens nodig hebt. Zomaar wat uit Osiris halen en dat gebruiken is er niet bij. Tenzij je kunt aantonen dat jouw instelling een publieke taak heeft. Of de taak om excellent onderwijs te geven. Maar dat moet je wel voorbereiden.
Ionica Smeets sloot de rij. Zoals te verwachten weet zij als geen ander hoe je data kunt manipuleren, of mis verstaan, en dat liet ze op smakelijke wijze zien. Hoe kun je data problemen voorkomen; wat is een gemiddelde (echt); staar je niet blind op data alleen, soms is intuïtie handig; hoe benoem je uitschieters in de data en wanneer moet je rekening houden met Simpsons paradox… Kernboodschap: denk na over data.
Dat data-nadenken geldt dus ook voor het geheel: er is veel mogelijk, we hebben veel prachtige voorbeelden gehoord; maar het is altijd complex, het vraagt om een helder doel, een goed ingerichte organisatie; de wetgeving komt op je pad en je kunt je ook nog eenvoudig vergissen in de data. De slides van Dé Onderwijsdagen tref je hier.