Wenn bei einem KI-Einsatz ein Fehler passiert

Ein hypothetisches Beispiel: Eine Projektleiterin in einem Ingenieurbüro mit 60 Mitarbeitenden erstellt ein Angebot für einen grösseren Auftrag. Für die technische Beschreibung nutzt sie einen öffentlich zugänglichen KI-Chatdienst über ihr privates Konto. Als Kontext fügt sie die vollständige Kalkulation ein: Margen, Zuliefererpreise und die Namen der Ansprechpersonen bei zwei Lieferanten.

Eine Woche später erwähnt sie das Vorgehen in einer Teamsitzung. Ein Kollege meldet es dem Bereichsleiter. Ob daraus ein Schaden entsteht, ist in diesem Moment offen. Fest steht: Vertrauliche Daten wurden in einen Dienst eingegeben, den im Unternehmen niemand dafür freigegeben hat.

Das Beispiel ist erfunden. Es macht die organisatorischen Fragen sichtbar, die sich nach einem solchen Fehler stellen.

Die ersten 48 Stunden: vier Sofortmassnahmen

Die Reaktion liegt bei der Geschäftsleitung. Aus meiner Sicht gehören vier Dinge in die ersten zwei Tage.

1. Sachverhalt festhalten. Welche Daten, welcher Dienst, welches Konto, welcher Zeitpunkt? Das Gespräch mit der Mitarbeiterin dient der Klärung, ohne Schuldzuweisung.
2. Exposition begrenzen. Was sagen die Bedingungen und Einstellungen des Dienstes zu Speicherung, Weiterverwendung und Löschung der Eingaben? Lässt sich der Verlauf löschen? Jeder Schritt wird mit Datum notiert.
3. Verpflichtungen prüfen. Bestehen Geheimhaltungsvereinbarungen mit den betroffenen Lieferanten oder dem Auftraggeber? Sind Personendaten betroffen?
4. Information entscheiden. Wer muss intern Bescheid wissen? Wer extern? Wer entscheidet das, und bis wann?

Meldeweg und Eskalation

Im Beispiel kam die Meldung durch einen Zufall zustande. Ein Unternehmen mit geregeltem Meldeweg ist auf diesen Zufall nicht angewiesen. Drei Fragen sollten vor dem ersten Vorfall beantwortet sein:

• An wen melden Mitarbeitende einen Fehler im Umgang mit KI? Eine benannte Stelle genügt.
• Nach welchen Kriterien informiert die Geschäftsleitung das Verwaltungsratspräsidium? Ich schlage vier vor: vertrauliche Daten von erheblicher Tragweite, betroffene Personendaten, vertragliche Geheimhaltungspflichten, mögliche Aussenwirkung.
• Wer führt den Vorfall bis zum Abschluss, und wer dokumentiert ihn?

Dazu kommt eine Frage der Kultur. Ein Meldeweg wirkt aus meiner Sicht nur, wenn eine Meldung für die meldende Person sicher ist. Meine Empfehlung: Wer einen eigenen Fehler rasch meldet, soll daraus keinen Nachteil befürchten müssen. Das gehört ausdrücklich in die Nutzungsrichtlinie.

Datenschutz: was zu prüfen ist

Normtext: Das Datenschutzgesetz (DSG, SR 235.1, in Kraft seit 1. September 2023) zählt zur Verletzung der Datensicherheit auch den Fall, dass Personendaten Unbefugten offengelegt oder zugänglich gemacht werden (Art. 5 Bst. h). Nach Art. 24 Abs. 1 DSG meldet der Verantwortliche dem EDÖB «so rasch als möglich» eine Verletzung der Datensicherheit, «die voraussichtlich zu einem hohen Risiko für die Persönlichkeit oder die Grundrechte der betroffenen Person führt».

Einordnung: Ob die Namen von Ansprechpersonen in einer Kalkulation diese Schwelle erreichen, ist eine Frage des Einzelfalls. Die Geschäftsleitung klärt sie mit einer Fachperson für Datenschutz. Organisatorisch zählt, dass die Frage innert Tagen gestellt und die Antwort festgehalten wird.

Rechtliche Bewertung: eine Frage des Einzelfalls

Wer nach einem solchen Vorfall welche rechtliche Verantwortung trägt, hängt vom konkreten Sachverhalt ab: von den geltenden Regeln im Unternehmen, vom Wissensstand der Beteiligten, von den Verträgen, von einem allfälligen Schaden und von dessen Ursache. Eine Richtlinie führt zu keiner automatischen Entlastung. Ihr Fehlen führt zu keiner automatischen Verantwortlichkeit. Die Beurteilung gehört zu einer Fachperson für Gesellschafts- und Vertragsrecht.

Was vor dem Vorfall geregelt sein sollte

Die Projektleiterin hatte einen berechtigten Bedarf: eine Beschreibung schneller formulieren. Dieser Bedarf bleibt auch mit einem Verbot bestehen. Deshalb setze ich bei den Freigaben an. Einen Fahrplan für den Aufbau dieser Regeln beschreibt der Beitrag KI-Governance: Ein möglicher Fahrplan für die ersten 90 Tage.

• Datenklassen: Reichen drei Stufen (öffentlich, intern, vertraulich), und wissen die Mitarbeitenden, wohin Kalkulationen gehören?
• Freigegebene Dienste: Welcher KI-Dienst ist für welche Datenklasse freigegeben? Wer gibt neue Dienste frei, und nach welcher Prüfung?
• Alternative: Gibt es für den berechtigten Bedarf einen freigegebenen Weg, etwa einen Dienst mit geprüften Vertragsbedingungen?
• Schulung: Kennen die Mitarbeitenden die Regeln anhand von Beispielen aus ihrem Alltag?

Die Lernschleife

Drei Fragen schliessen den Vorfall ab: Was war die Ursache hinter dem Fehler? Welche Regel, welche Freigabe oder welche Schulung passen wir an? Wer prüft nach drei Monaten, ob die Anpassung wirkt?

Die Rolle des Verwaltungsrats

Der Verwaltungsrat führt den Vorfall nicht. Das ist Aufgabe der Geschäftsleitung. Das Gremium stellt sicher, dass die Organisation für solche Fälle steht. Vier Fragen für die nächste Sitzung, als anpassbare Arbeitshilfe:

1. Ist geregelt, welche Daten in welche KI-Dienste eingegeben werden dürfen?
2. Gibt es einen Meldeweg für Fehler, und kennen ihn die Mitarbeitenden?
3. Nach welchen Kriterien erfährt das Gremium von einem Vorfall?
4. Was hat das Unternehmen aus dem letzten Vorfall oder Beinahe-Vorfall geändert?