EvaluationsstrukturLernenMitGMLS

Evaluationsstruktur ‘Lernen mit GMLS’ Derzeit werden allerorten empirische Untersuchungen durchgeführt, wie gut generative Machine Learning Systeme (Biblionetz:w0… (last changed by BeatDoebeli)

 


17 September 2024 – 13:52

|

Version 1
|

BeatDoebeli

Derzeit werden allerorten empirische Untersuchungen durchgeführt, wie gutgenerative Machine-Learning-Systeme(Biblionetz:w02833) sich zum Lernen eignen. Zur Einordnung:GMLS in der Bildung(Biblionetz:w03434),Lernen MIT GMLS.
Da viele dieser Untersuchungen ähnlich aufgebaut sind, habe ich mir die Grundstruktur solcher Evaluationen aufgezeichnet :

In vielen Untersuchungen wird ein speziell fürs Lernen oder gar speziell für ein Thema gebautes oder konfiguriertes GMLS untersucht. Es werden meist drei Gruppen von Proband:innen gebildet: Gruppe A: Lernende ohne GMLS-Unterstützung (die Kontrollgruppe)
Gruppe B: Lernende mit adaptierter GMLS-Unterstützung (die Treatment-Gruppe)
Gruppe C: Lernen mit allgemeiner GMLS-Unterstützung
Es wird also nicht nur das Verhalten von Lernenden mit und ohne speziell erstelltem/konfiguriertem GMLS verglichen, sondern mit Hilfe der Gruppe C wird auch untersucht, ob Lernende mit einem speziell erstelltem/konfiguriertem GMLS besser abschneiden als mit einem allgemein verfügbaren Standardprodukt.
Die speziell erstellten/konfigurierten GMLS unterscheiden sich von Standardprodukten meist durch spezifische (zusätzliche) Trainingsdaten (z.B. fach- oder themenspezifisches Material) und/oder spezifische didaktische Anweisungen an das GMLS (z.B. die Aufforderung, nur Hinweise, nicht aber die Lösung für Probleme zu verraten).
Die Leistungen der Lernenden werden sodann in zwei oder drei Untersuchungen geprüft: T1: Leistungsmessung vor der Versuchsphase (wo man im Idealfall identische Leistungen in allen drei Gruppen erhofft)
T2: Leistungsmessung nach der Versuchsphase unter Zuhilfenahme des GMLS (die Lernenden der Gruppen B und C dürfen also in ihrer Gruppe verfügbare Werkzeug weiterhin verwenden).
T3: Leistungsmessung nach der Versuchsphase, aber ohne Zuhilfenahme des GMLS (alle drei Gruppen lösen die Aufgaben ohne GMLS).
Eine Leistungsmessung T3 (die zeitlich durchaus praktisch zeitgleich wie T2 stattfinden kann) soll prüfen, ob die Lernenden auch bessere Leistungen als zum Zeitpunkt T1 zeigen, wenn sie das neue Werkzeug nicht mehr zur Verfügung haben. Damit soll meist geprüft werden, ob die Lernenden dank GMLS auch gelernt haben, entsprechende Probleme ohne GMLS zu lösen. Peter Kießling, Florian Funke, Sven Hofmann (2024). Entwicklung und Evaluation einer KI-Assistenz zur didaktisch-pädagogischen Unterstützung des Lernprozesses mit Programmieraufgaben Biblionetz:t31890
Zum Kommentieren ist eine Registration notwendig.IsaBlog 

Weitere Blogbeiträge aus dem zITBOx Netzwerk

Vom TPACK- zum DPACK-Modell – Unterrichtsentwicklung unter den Bedingungen der Digitalität

Mit dem DPACK-Modell lassen sich strukturiert und gleichzeitig leicht konkretisierbar Anforderungen an Lehrpersonen in einem von Digitalität geprägten Lernalltag erläutern und diskutieren. Das Modell erweitert das bekannte TPACK-Modell um die …

KI-Paradoxien – Widersprüche im Umgang mit Künstlicher Intelligenz in der Schule

Künstliche Intelligenz verspricht, den Unterricht zu revolutionieren: Sie soll Lernprozesse verbessern und Lehrkräfte entlasten. Doch in der Praxis treten paradoxe Effekte auf. Bereiche wie Entlastung, Kompetenzen und Motivation stehen oft …

KannEineKIHaertesteBezahlschrankenUeberwinden

Kann eine KI ‘die härtesten Bezahlschranken überwinden’? Im Juni 2024 hat die Schwyzer Ständerätin den Bundesrat in einer Interpellation (Biblionetz:t32003) gefra… (last changed by BeatDoebeli)