14. Juli 2025 - Künstliche Intelligenz Interdisziplinär zur Open-Source-KI: YoKI im Fokus
Marcus Buchwald beschäftigt sich bereits seit 2018 mit Medizininformatik, Datenanalyse und Künstlicher Intelligenz (KI) in der Medizin und war maßgeblich an der Entwicklung der universitären KI-Plattform YoKI beteiligt. Als Doktorand ist Marcus Buchwald sowohl Teil der Forschungsgruppe am Engineering Mathematics and Computing Lab (EMCL) an der Universität Heidelberg als auch Teil der Forschungsgruppe Data Analysis and Modeling in Medicine des Mannheim Institute for Intelligent Systems in Medicine (MIISM) der medizinischen Fakultät Mannheim. Marcus Buchwald promoviert zu generativen KI-Modellen in der Medizin.
Im Gespräch gibt er einen Überblick zu den YoKI-Sprachmodellen (LLMs – Large Language Models) und erläutert, wie diese funktionieren und warum der Begriff „Künstliche Intelligenz“ in die Irre führen kann.
Wer war an der Entwicklung von YoKI beteiligt und was ist der Vorteil der Plattform?
Die Entstehung von YoKI war von Anfang an ein Teamprojekt unter Mitwirkung der EMCL-Gruppe und dem Universitätsrechenzentrum. Für die technische Seite und die Bereitstellung des Servers ist das URZ, namentlich Holger Altenbach aus dem Servicebereich Core Technologies und Collaboration zuständig. Alexander Zeillmann, Jonas Roller, Pascal Memmesheimer und ich haben die verschiedenen Modelle für YoKI ausgewählt, konfiguriert und ausgiebig getestet.
Bei der Entstehung von YoKI stand die Datensouveränität von Beginn an im Fokus. Der größte Vorteil liegt darin, dass über die Plattform verschiedene Modelle verwendet werden können, die on premise, d.h. auf universitären Servern betrieben werden. Alle Modelle können also komplett datenschutzkonform genutzt werden, da die Daten unsere Universität nicht verlassen – das ist für die Arbeit im wissenschaftlichen Kontext von entscheidender Bedeutung
Welche Modelle wurden für YoKI ausgewählt und werden weitere dazukommen?
Bei der Auswahl haben wir darauf geachtet, dass alles Open-Source-Modelle sind, die auf universitären Servern betrieben und für unseren Bedarf angepasst werden können. Derzeit stehen vier Modelle zur Auswahl, wobei standardmäßig (per Default) momentan das Sprachmodell Meta-Llama eingestellt ist. Llama und DeepSeek sind leistungsstarke „Allrounder“ zur Textgenerierung und -verarbeitung. Mit Qwen und Aya stehen zusätzlich spezialisierte Modelle zur Auswahl. Aya von Cohere ist mehrsprachig und kann in 101 Sprachen kommunizieren, wohingegen Qwen spezielle Fragen rund um Coding bearbeiten und so beim Programmieren unterstützen kann.
Die Zahlen in den Bezeichnungen der Modelle stehen für die Anzahl der Parameter, mit denen diese trainiert wurden (Llama 70B = 70 Billions, entspricht 70 Milliarden Parametern). Wie in einem neuronalen Netz in einem Gehirn stehen die Parameter für die Anzahl der Neuronen und damit für die Größe bzw. Tiefe und Komplexität des Netzes. Mit DeepSeek haben wir ein Sprachmodell ausgewählt, das von sich Reden gemacht hat, weil es deutlich weniger Energie und Kosten verursacht und deutlich weniger komplex ist. Bei DeepSeek wurden Optimierungstechniken aus dem Machine Learning wie Model pruning und Destillation angewendet. Dabei wird das Wissen von einem großen Modell auf ein kleineres übertragen (sozusagen destilliert), ohne dass es maßgeblich an Genauigkeit verliert. Unnötige Parameter oder ganze Schichten aus dem vortrainierten neuronalen Netz werden zusätzlich durch sog. pruning entfernt, ohne dass die Leistungsfähigkeit signifikant beeinträchtigt wird. Das spiegelt sich ebenfalls im Namen (z.B. DeepSeek-R1-Distill-Qwen-32B) wider.
Studierende und Beschäftigte können mit YoKI ohne Berührungsängste selbst ausprobieren, welche Grenzen und Unterschiede es bei der Nutzung unterschiedlicher Modelle gibt. Durch den Vergleich lassen sich z.B. bei der Eingabe desselben Prompts deutliche Unterschiede feststellen.
Da die neueren Versionen (ab 3.2) von Llama aufgrund des EU AI Acts nicht zugelassen sind, werden auch andere Modelle wie das für die EU entwickelte Mistral für den universitären Einsatz in Betracht gezogen. Wir werden YoKI und die Sprachmodelle also stetig weiterentwickeln und anpassen.
Kurz und knapp: Was sind Deine wichtigsten Take-aways zu LLMs?
Sprachmodelle sind starke Werkzeuge, die sehr hilfreich sein können, aber keineswegs als allgemeiner Problemlöser für alle Arten von Aufgaben verstanden werden sollten. Obwohl sie in diesem Bereich aufholen, sind sie immer noch sehr limitiert darin, mathematische Aufgaben sowie Logik-Aufgaben zu lösen, weil sie in erster Linie darauf trainiert sind, Sprache zu verstehen um realistischen Text zu generieren.
Der Begriff KI ist irreführend, da die Methodik von Sprachmodellen auf der Berechnung von Wahrscheinlichkeiten z.B. in Wortfolgen oder Kontexten von Wörtern beruht. Da die Modelle immer leistungsfähiger werden, denke ich, dass künftig die Qualität der Eingaben, also das sog. Prompt Engineering weniger relevant werden wird, weil die Modelle selbst bei vager Formulierung, den Kern der Prompt-Aussage oder Frage besser extrahieren werden können. Ein verantwortungsbewusster Umgang mit generativer KI bleibt wegen Bias, Halluzinationen, Sicherheit, ethischer Fragen oder ökologischer Auswirkungen hingegen weiterhin wichtig.
Es gibt jetzt auch einen Chatbot für den IT-Service als Testmodell. Wie funktioniert er und wofür kann er genutzt werden?
Der Chatbot für den IT-Service basiert derzeit auf dem Llama-Modell. Er soll dazu dienen, konkrete Fragen zu IT-Problemen zu beantworten. Dafür wurde das Sprachmodell speziell mit den Webseiten, Anleitungen und Informationen des URZ erweitert. Das System ist so ausgelegt, dass der Chatbot in der Rolle als IT-Servicekraft antworten kann und keine Auskünfte zu andern Fragen möglich sind.
Technisch wurde dafür ein Retrieval-Augmented Generation (RAG) Ansatz verwendet. Ein RAG-Modell kombiniert den gezielten Zugriff auf relevante Daten aus definierten Quellen wie der URZ-Website mit einem generativen, vortrainierten Sprachmodell. RAG kann also gezielt auf für den IT-Service relevante Daten wie z.B. Anleitungen oder den Service-Katalog zurückgreifen und darauf basierend Support-Antworten erstellen. Dadurch ist es speziell für die Bedürfnisse im IT-Service angepasst. Bei einer solchen Lösung können Datenquellen mit spezifischen Support-Informationen wie Dokumente, Datenbanken oder Tutorials genau definiert werden. Damit bleibt die Datenherkunft nachvollziehbar und sensible Informationen werden kontrolliert verarbeitet. Der Chatbot ist noch in der Testphase und wird weiter angepasst, damit die Antworten und ausgegebenen Links noch zielführender und passgenauer werden.
Auf dieser Basis sollen perspektivisch auch für andere Anwendungszwecke in der Verwaltung, an Einrichtungen und Fakultäten eigene Chatbots für spezifische Fragenstellungen entwickelt und eingesetzt werden können.
Zu guter Letzt: Wofür benutzt Du KI-Modelle außerhalb Deiner Forschung?
Ich persönlich nutze z.B. Claude zum Programmieren, speziell für das Erstellen von Klassen und Funktionen in Python.
Vielen Dank für diese Einblicke!
Marcus Buchwald im Porträt
Marcus Buchwald ist medizinischer Physiker und forscht seit 2022 für seine Promotion bei Prof. Dr. Vincent Heuveline und Prof. Dr. Jürgen Hesser an generativen KI-Modellen, die vorhersagen sollen, wie sich im Rahmen einer Therapie erfasste Bilddaten von Patient:innen verändern. Dabei werden Faktoren wie u.a. Medikation, Risiken, Alter, Geschlecht oder Vorerkrankung berücksichtigt. Seine Arbeit umfasst nicht nur technische, sondern insbesondere auch methodische Fragestellungen, da jedes KI-Modell nur gute Ergebnisse erzielen kann, wenn die Erhebung und Qualität der Daten, mit denen das System trainiert wurde, den notwendigen wissenschaftlichen Standards entspricht.
„Saubere“, d.h. korrekte, vollständige, aktuelle und konsistente Daten sind eine der großen Herausforderungen in der Medizininformatik.
Forschungsarbeiten dieser Art sollen in Zukunft die Entwicklung von sog. prädiktiven KI-Modellen ermöglichen, die dazu beitragen können, für Patient:innen die bestmögliche, genau auf sie zugeschnittene, individuelle Behandlung und deren Verlauf KI-basiert „vorherzusagen“.
