KI-Risikoanalyse · Validierung · Tests
Ist deine KI sicher genug? Erst der Beleg, dann die Aussage.
Ich untersuche, welche Risiken ein KI-System hat, und halte die Prüfungen als Code fest: Risikoanalyse von oben nach unten, Validierung, Nachweise für deine Freigabe. Die Freigabe entscheidest du. Einzelfirma in Bözberg bei Brugg AG, Anfragen aus der ganzen Schweiz.
| Gegenprobe | T01 | T02 | T03 | T04 | T05 | T06 | T07 | T08 |
|---|---|---|---|---|---|---|---|---|
| Kandidat | Leckage: bestanden | Sensitivität: bestanden | Teilgruppen: bestanden | Robustheit: bestanden | Richtung: bestanden | Kalibrierung: bestanden | Wiederholbar: bestanden | Automatik: bestanden |
| Leckage | Leckage: rot | Sensitivität: bestanden | Teilgruppen: bestanden | Robustheit: bestanden | Richtung: bestanden | Kalibrierung: bestanden | Wiederholbar: bestanden | Automatik: bestanden |
| Falsche Labels | Leckage: bestanden | Sensitivität: rot | Teilgruppen: rot | Robustheit: rot | Richtung: rot | Kalibrierung: rot | Wiederholbar: bestanden | Automatik: rot |
| Teilgruppen-Bias | Leckage: bestanden | Sensitivität: rot | Teilgruppen: rot | Robustheit: rot | Richtung: rot | Kalibrierung: rot | Wiederholbar: bestanden | Automatik: rot |
| Vorzeichenfehler | Leckage: bestanden | Sensitivität: rot | Teilgruppen: rot | Robustheit: bestanden | Richtung: rot | Kalibrierung: rot | Wiederholbar: bestanden | Automatik: rot |
| Zu vorsichtig | Leckage: bestanden | Sensitivität: bestanden | Teilgruppen: bestanden | Robustheit: bestanden | Richtung: bestanden | Kalibrierung: rot | Wiederholbar: bestanden | Automatik: rot |
| Ohne Seed | Leckage: bestanden | Sensitivität: bestanden | Teilgruppen: bestanden | Robustheit: rot | Richtung: rot | Kalibrierung: bestanden | Wiederholbar: rot | Automatik: bestanden |
| Unbeschnittener Baum | Leckage: bestanden | Sensitivität: bestanden | Teilgruppen: rot | Robustheit: rot | Richtung: rot | Kalibrierung: rot | Wiederholbar: bestanden | Automatik: rot |
Demo auf Spielzeugdaten, keine Aussage über ein Kundensystem.
- 8
- Demo: Prüfungen als Code
- 7 von 7
- Demo: kaputte Modelle abgelehnt
- 20 von 20
- Demo: Seeds mit gleichem Ergebnis
- 19
- Tests grün (pytest)
Was ich prüfe
-
KI-Risikoanalyse
Vom Schaden zum Test: Fehlerbilder, Kontrollen und Abnahmekriterien, bevor gebaut oder freigegeben wird.
Weiterlesen KI-Risikoanalyse -
KI-Validierung
Ein Prüfstand als Code, der ein Modell gegen vorher festgelegte Kriterien bestehen oder durchfallen lässt, und der selbst gegen kaputte Modelle getestet ist.
Weiterlesen KI-Validierung -
ML-Modelle testen
Zwanzig Prüfungen von den Daten bis zum Betrieb, nicht nur die Genauigkeit.
Weiterlesen ML-Modelle testen -
LLM und KI-Agenten
Prompt-Injection, Datenabfluss, Werkzeug-Rechte, streuende Antworten.
Weiterlesen LLM und KI-Agenten
Beleg statt Behauptung
«Die KI ist sicher» ist erst dann eine Aussage, wenn dahinter Zahlen stehen.
- «Sicher» gilt für ein System, einen Einsatzbereich und eine Version, mit Zahlen. Nicht als Etikett.
- Zuerst das Risiko, dann die Prüfung, dann die Aussage. Nie umgekehrt.
- Prüfungen sind Code: versioniert, wiederholbar, ein roter Test stoppt die Freigabe.
- Der Prüfstand muss selbst rot werden können. Darum teste ich ihn gegen absichtlich kaputte Modelle.
- Was nicht gemessen ist, behaupte ich nicht. Zu wenig Daten heisst: ausserhalb des Einsatzbereichs.
Für wen
- Firmen, die KI einführen und gegenüber Kundschaft, Revision oder Behörde zeigen müssen, was sie geprüft haben. Ob ein Nachweis akzeptiert wird, entscheidet die Gegenseite. Mein Hintergrund ist Qualitätsmanagement in regulierten Branchen (ISO 9001, ISO 13485 für Medtech, ISO 27001, DSG).
- Softwarefirmen mit KI-Funktionen, deren Testteam nach Prüfungen über die Genauigkeit hinaus sucht.
- KMU, bei denen KI Mails, Offerten oder Rapporte entwirft und ein Mensch freigibt. Auch diese Freigabe lässt sich prüfen.
So sieht ein Beleg aus
Auf der Seite zur KI-Validierung läuft ein echter Prüfstand: acht Prüfungen, ein guter Kandidat, sieben absichtlich kaputte Modelle. Du siehst den Code, die Rohausgabe und die Grenzen der Demo.
Antworten
Was ist eine KI-Risikoanalyse?
Eine KI-Risikoanalyse ordnet einem KI-System mögliche Schäden zu, beschreibt, wie sie entstehen könnten, und legt fest, was sie abfängt und wie das geprüft wird. Die Wahrscheinlichkeit kommt aus Tests, nicht aus einer Schätzung. Ich gehe von oben nach unten vor: Schaden, Gefährdung, Fehlerbild, Kontrolle, Prüfung, Nachweis. Jede Prüfung hängt an einem Risiko, und jedes Risiko hat eine Prüfung oder eine begründete Ausnahme.
Wie belegt man, dass eine KI sicher genug ist?
Ich nenne eine KI für einen Einsatzbereich ausreichend belegt, wenn Tests als Code das mit Zahlen und einer oberen Fehlergrenze zeigen. Die Aussage gilt immer für ein System, einen Einsatzbereich und eine Version. Was sich nicht belegen lässt, schliesse ich aus dem Einsatzbereich aus oder fange es mit Kontrollen ausserhalb des Modells ab.
Was ist der Unterschied zwischen Verifikation und Validierung bei KI?
Verifikation prüft, ob ein KI-System die festgelegten Anforderungen erfüllt, Validierung prüft, ob es für den vorgesehenen Einsatz taugt. Zur Verifikation gehören Tests gegen Abnahmekriterien, zur Validierung der Einsatz mit echten Nutzenden und die Überwachung im Betrieb. Beides braucht Kriterien, die vor dem ersten Test feststehen.
Was bedeutet der EU AI Act für Schweizer Firmen?
Der EU AI Act kann Schweizer Firmen betreffen, die KI-Systeme in der EU anbieten oder deren Ergebnisse in der EU genutzt werden. Die Pflichten für Hochrisiko-Systeme nach Anhang III gelten nach dem Digital Omnibus ab dem 2. Dezember 2027. Ob und wie das für deine Firma gilt, klärt deine Anwältin oder dein Anwalt.
Gibt es in der Schweiz ein KI-Gesetz?
Ein eigenes KI-Gesetz gibt es in der Schweiz, Stand 6. Oktober 2026, noch nicht. Der Bundesrat will die KI-Konvention des Europarats übernehmen, eine Vernehmlassungsvorlage soll bis Ende 2026 vorliegen, und das Datenschutzgesetz (DSG) gilt bereits. Was das für dein Vorhaben heisst, klärt deine Anwältin oder dein Anwalt.
Reicht es, wenn ein Mensch die Ausgabe der KI freigibt?
Die Freigabe durch einen Menschen genügt allein nicht, weil Menschen bei guten Vorschlägen dazu neigen, sie durchzuwinken. Darum teste ich die Kontrolle selbst: Köderfälle mit eingebauten Fehlern zeigen, ob sie gefunden werden. Die Schwelle, zum Beispiel mindestens 90 % gefundene Köder, legen wir vor dem ersten Test fest.
Was kostet eine KI-Risikoprüfung?
Mein Tagessatz liegt bei CHF 1200, abgerechnet nach Aufwand; das ist eine Preisangabe, kein Angebot. Umfang und Preis stehen in einer Offerte, die du bestätigst. Was dein Vorhaben braucht, klären wir im ersten Gespräch.
Was gehört nicht zu deinem Angebot?
Rechtsberatung und Zertifizierung gehören nicht zu meinem Angebot. Ich bereite Nachweise vor und zeige, was in der Praxis zu klären ist. Ob etwas erlaubt ist, klärt deine Anwältin oder dein Anwalt, und ein Zertifikat stellt eine Zertifizierungsstelle aus.
Kontakt
Schick mir den Einsatz in zwei Sätzen. Ich melde mich und sage dir, ob und wie sich dein Vorhaben prüfen lässt. Ob ich den Auftrag übernehmen kann, hängt von meiner Auslastung ab.