KI-Chatbots in der Gesundheitsaufklärung

KI-Chatbots wie ChatGPT oder Gemini liefern schnell verständliche Antworten auf gesundheitsbezogene Fragen. Durch ihre Funktionsweise bergen sie jedoch Risiken: Sie können überzeugend klingende Fehlinformationen (Halluzinationen) erzeugen, Warnsignale übersehen oder Ratsuchende durch Fehleinschätzungen beunruhigen. Für den verantwortungsvollen Einsatz in der Gesundheitsaufklärung müssen Sprachmodelle an evidenzbasierte Quellen gebunden und von strengen Kontrollmechanismen flankiert werden. Bislang fehlte es im deutschsprachigen Raum an praxisnahen Standards und praxiserprobten Architekturen, die diesen Spagat zwischen medizinischer Evidenz, Zielgruppenorientierung und technischer Umsetzbarkeit systematisch abbilden. 

Das Projekt zielt auf die Schaffung eines praxistauglichen Referenzmodells (Leitfaden), das als verlässlicher Leitfaden dient. Es beantwortet drei zentrale Fragen:

1. Was macht einen guten Gesundheits-Chatbot aus? (Qualitätskriterien)

   Wir definieren konkrete Anforderungen für den praktischen Einsatz: Antworten müssen medizinisch belegbar, laienverständlich formuliert und neutral sein. Gleichzeitig muss das System klare Grenzen wahren – etwa indem es keine eigenständigen Diagnosen stellt, Notfälle erkennt und strengen Datenschutzvorgaben (DSGVO, EU AI Act) folgt.

2. Wie baut man das System technisch sicher auf? (Praxisnaher Bauplan)

   Wir beschreiben bewährte technische Architekturmuster. Dazu gehört vor allem, wie ein Sprachmodell fest mit verifizierten medizinischen Datenbanken verknüpft wird (RAG-Prinzip), damit es ausschließlich auf geprüfte Fachinhalte zugreift und Quellen korrekt zitiert.

3. Wie bleibt der Chatbot dauerhaft verlässlich? (Laufende Qualitätssicherung)

   Ein Chatbot ist nach dem Start nie „fertig“. Wir erarbeiten Prüfverfahren, die auch im laufenden Betrieb sicherstellen, dass Antworten fehlerfrei bleiben. Dazu kombinieren wir automatisierte KI-Tests (z. B. „LLM-as-a-Judge“) zur Messung von Texttreue mit regelmäßigen Stichproben durch Fachpersonal.

Aus der Praxis für die Praxis: Um zu beweisen, dass diese Kriterien im Alltag funktionieren, erproben wir das Modell kontinuierlich an einem eigenen Testsystem und gemeinsam mit externen Partnern an bestehenden Systemen.

Eckdaten

Laufzeit: Evaluationsphase und Erprobungsphase bis Mitte 2027

Projektleitung: Markus Seelig, Stiftung Gesundheitswissen

Projektpartner: ZTM Bad Kissingen GmbH

Methodischer Ansatz

Kern des Projekts ist die schrittweise Entwicklung eines praxistauglichen Referenzmodells. 

Folgende Schritte sind bereits abgeschlossen:

• Entwicklung eines prototypischen KI-Chatbots zur Prüfung der technischen und inhaltlichen Machbarkeit.
• Erstellung eines Anforderungskatalogs (Version 0.9) auf Basis systematischer Recherchen, Praxiserfahrungen und Expertengespräche.
• Entwicklung prototypischer Testverfahren zur automatisierten Qualitätsmessung („LLM-as-a-Judge“).
• Erste Bewertungen der Machbarkeit eines evidenzbasierten Chatbots, der Messbarkeit von Qualitätskriterien sowie der Automatisierung der Prüfprozesse mit positivem Ergebnis.

Aktuell in der Umsetzung:

• Weiterentwicklung des Anforderungskatalogs (Version 1.0) durch vertiefende Recherchen und Erkenntnisse aus laufenden Anwendungstests.
• Ausbau der automatisierten Testverfahren („LLM-as-a-Judge“) um weitere Qualitätsanforderungen z. B. zur weiteren Minimierung von Halluzinationen oder zur Messung der Verständlichkeit.
• Entwicklung eines Referenzmodells zur Verknüpfung der Qualitätsanforderungen mit passenden Systemarchitekturen und Betriebsprozessen.
• Erprobung der Qualitätsanforderungen in realen Anwendungsszenarien mit Entwicklungspartnern.

Zukünftig geplant:

•    Vorstellung und Diskussion des Anforderungskatalogs in Fachkreisen und bei relevanten Stakeholdern.
•    Evaluation und Validierung der automatisierten Testverfahren über einen systematischen Vergleich zwischen menschlicher Bewertung und Maschinen-Output.
•    Ganzheitliche Evaluation des Referenzmodells zur Bewertung der Wirksamkeit und Skalierbarkeit im Gesundheitswesen

Evidenzbasierte und zielgruppengerechte Gesundheitskommunikation stellt höchste Anforderungen an Verlässlichkeit, Verständlichkeit und Sicherheit. KI-Chatbots können diesen Anspruch erfüllen – allerdings nur, wenn sie auf einer geprüften Wissensbasis aufsetzen und methodisch gut gesteuert werden.

Die einmalige Einrichtung reicht nicht aus. Um Patientensicherheit und inhaltliche Exzellenz langfristig zu garantieren, müssen Konzeption, technischer Aufbau und fortlaufende Qualitätskontrolle Hand in Hand gehen. Das Referenzmodell der Stiftung Gesundheitswissen liefert hierfür die wissenschaftlich fundierte und praxiserprobte Blaupause.