Und so geschah es, meine erste reale KI Vibe Coding Horrorgeschichte, eine die mich persönlich betroffen hat. --> English version of the text
Ich war bei einem medizinischen Termin und wurde von einer freundlichen Person empfangen. Kurz nach der netten Begrüssung erwähnte sie, ein Video gesehen zu haben, welches erklärt, wie einfach es heutzutage für jeden ist, Software mit KI zu erstellen. Das löste eine Idee aus: "Warum eine bewährte Branchenlösung nutzen, wenn man einfach sein eigenes Patientenverwaltungssystem bauen könnte?"
Genau das hat die Person gemacht. Sie startete einen Coding-Agent nach Anleitung aus dem Video, baute eine eigene Patientenverwaltungsanwendung, importierte alle bestehenden Patientendaten und veröffentlichte die Anwendung im Internet. Die Person fügte sogar eine Funktion hinzu, um Gespräche während der Termine aufzuzeichnen und die Audioaufnahmen an nicht einen, sondern gleich zwei KI-Dienste zur automatischen Zusammenfassung zu senden. Kein manuelles Tippen mehr.
Alles was schiefgehen konnte, ging schief.
Einige Tage später begann ich, die Anwendung zu erkunden. Nach dreissig Minuten hatte ich vollen Lese- und Schreibzugriff auf alle Patientendaten. Alles war unverschlüsselt und völlig ungeschützt im offenen Internet. Als erstes informierte ich die Person umgehend. Die Antwort die ich erhielt war zu 100% KI-generiert, bedankte sich herzlich für die Meldung und versicherte mir, dass sofort Massnahmen ergriffen wurden, nämlich Basic Authentication hinzuzufügen und einige Zugriffsschlüssel zu erneuern.
Diese Person hatte keine Ahnung, was sie gebaut hatte oder welche Konsequenzen das haben könnte. Die Daten lagen nicht nur offen da: sie wurden auf einem US-Server ohne Auftragsverarbeitungsvertrag unverschlüsselt gespeichert, Sprachaufnahmen wurden an grosse US-amerikanische AI-Unternehmen gesendet, und ich wurde nie darüber informiert. So geht man nicht mit medizinischen Patientendaten um.
Die Person hat mit ziemlicher Sicherheit gegen mehrere Bestimmungen des nDSG und möglicherweise auch gegen das Berufsgeheimnis verstossen. Ich bin kein Anwalt, daher ist das mit Vorsicht zu geniessen.
Technischer Hintergrund
Die gesamte Anwendung bestand aus einer einzigen HTML-Datei mit allem darin: JavaScript, CSS und HTML-Struktur. Das Backend war ein Cloud-Datenbankdienst ohne jegliche Zugriffskontrolle, keine "Row-Level Security", keine Verschlüsselung, nichts. Die gesamte "Zugriffskontrolle" befand sich im JavaScript im Browser, was bedeutete, dass die Daten für jeden mit einem einzigen curl-Befehl erreichbar waren.
Alle Audioaufnahmen wurden direkt an externe KI-APIs zur Transkription und Zusammenfassung gesendet.
Es gab noch weit mehr technische Fails, aber das reicht bereits, um sich ein Bild zu machen.
Ausblick
Das ist nicht die KI-Zukunft, auf die ich mich freue. Ich selbst nutze ebenfalls KI-Coding-Agenten, aber ich bin in der Lage zu verstehen, was passiert, kann den Code lesen und habe eine Vorstellung von Softwarearchitektur. Wer einfach drauflosvibed, wird uns keine gute Zukunft bringen.
