Klage: ChatGPT verstärkte Manie und führte zu Suizidversuch
Die Klage macht sichtbar, dass kommerzielle KI-Systeme ohne ausreichende Schutzkonzepte für vulnerable Gruppen erhebliche gesellschaftliche Schäden verursachen können. Für eine offene Gesellschaft ist es essenziell, dass digitale Plattformen klare Verantwortlichkeiten gegenüber psychisch erkrankten Nutzerinnen und Nutzern übernehmen und nicht auf bloße Nutzungsbindung optimiert werden. Die juristische Auseinandersetzung könnte wegweisende Standards für die Regulierung generativer KI im Gesundheitsbereich setzen.
Dieser Fall steht exemplarisch für eine wachsende Debatte über die Sorgfaltspflichten von KI-Unternehmen im medizinischen und psychologischen Kontext. Regulierungsbehörden in der EU, darunter im Rahmen des AI Acts, arbeiten bereits an Vorgaben für Hochrisiko-KI-Anwendungen, die psychische Gesundheit berühren. Die Klage dürfte den politischen Druck erhöhen, konkrete Schutzstandards für Chatbots bei Suizidgefahr gesetzlich festzuschreiben. Für Fachkräfte im Gesundheitswesen und digitale Dienste in Deutschland ist das ein klares Signal, eigene Schutzkonzepte zu überprüfen.