Description
Im Rahmen des Medizinstudiums werden für die schriftlichen, internen (z.B. Semesterabschlussklausuren) und externen Prüfungen häufig Aufgaben in Form von Single-Choice-Fragen verwendet. Der Fragenstamm setzt sich meist aus der eigentlichen Frage und einer sog. „Fallvignette“ zusammen, die der Frage voran steht und eine (mitunter medizinisch kritische) Situation schildert. Diese Vignette kann unterschiedliche inhaltliche Komplexitätsgrade erreichen. Die Aufgaben unterliegen somit einem strengen sprachlichen Evaluierungsverfahren, um die Studierenden bei der Beantwortung der Fragen nicht zu beeinflussen. Eine solche Einflussnahme kann z.B. verursacht werden durch versteckte „Cues“, Mehrdeutigkeit, Vagheit, irrelevanten Informationen, Negation oder undeutliche Abgrenzung mehrerer Fragen.
Mithilfe einer prompting-fähigen Anforderungsanalyse, z.B.: durch die Zusammenstellung geeigneter Prompting-Beispiele soll die Performanz eines Live-ChatGPT (z.B. GPT@RUB) getestet werden, sowie ein eigenes LLM getuned und gehostet werden. Darauf aufbauend soll eine Eingabemaske (z.B. LLAMA-API) entwickelt werden, der die linguistische Evaluation der Prüfungsfragen quantitativ etwa durch eine numerische Vorevaluation unterstützt.
Die Arbeit wird gemeinsam mit dem Zentrum für digitales Lehren und Lernen in der Medizin der RUB (Dr. Matthias Joswig) betreut.
Contact: Maria Berger (maria.berger-a2l@rub.de)
Extent: M.Sc.