KANBrief 1/21
Zwar gibt es keine allgemein anerkannte Definition für künstliche Intelligenz. Klar ist aber, dass die verschiedenen dafür verwendeten Methoden den Menschen dabei unterstützen sollen, Entscheidungen zu treffen – oder sie ihm sogar abnehmen. Offen ist, in welchen Fällen und unter welchen Voraussetzungen sicherheitsrelevante Entscheidungen eines Systems von Methoden der künstlichen Intelligenz beeinflusst oder automatisiert getroffen werden dürfen.
Die von einem Produkt ausgehenden Risiken müssen beurteilt und vor dem Bereitstellen auf dem Markt auf ein vertretbares Maß reduziert werden. Vorgaben für das dabei einzuhaltende hohe Schutzniveau enthalten die Richtlinien und Verordnungen des europäischen Binnenmarkts. Produkte und Arbeitsmittel, die nicht in diesen harmonisierten Bereich fallen, unterliegen nationalen Vorschriften.
Die Hierarchie der Schutzmaßnahmen sieht dabei vor, dass ein Produkt so konstruiert werden soll, dass Gefährdungen erst gar nicht entstehen können. Wo dies nicht umsetzbar ist, müssen Schutzeinrichtungen die Risiken so weit verringern, bis nur noch vertretbare Restrisiken übrig sind. Über diese müssen schließlich die Anwender informiert werden. Einen wesentlichen Anteil an diesem Konzept haben Steuerungen, wenn sie dazu eingesetzt werden, Sicherheitsfunktionen eines Produktes auszuführen.
Entscheidend ist, dass Hersteller in der Lage sind, die von ihren Produkten ausgehenden Risiken zu beurteilen. Und genau dies wäre das Problem, wollte man sich etwa auf eine durch maschinelles Lernen (Beim maschinellen Lernen erlernen Computer eine Aufgabe anhand von Daten und nicht dadurch, dass sie ausdrücklich dafür programmiert oder durch für den Menschen verständliche Regeln trainiert werden.) unterstützte Steuerung verlassen, um zu verhindern, dass Personen von beweglichen Teilen einer Maschine gefährdet werden: Die Designer von Systemen, die auf den komplexeren Methoden der künstlichen Intelligenz basieren (wie etwa maschinelles Lernen mit neuronalen Netzen), können bisher selbst im Nachhinein nicht zufriedenstellend erklären, warum sich ihr System auf eine bestimmte Weise verhalten hat.
Die technischen Grundlagen und Annahmen, auf denen die traditionelle Sicherheitstechnik aufbaut, sind nicht für Systeme gemacht, die automatisiert mit komplexeren Methoden der künstlichen Intelligenz sicherheitsrelevante Entscheidungen treffen. Gegenwärtig werden daher Bewertungsmethoden erforscht. Die Ergebnisse sollen möglichst umgehend für die Normungsarbeit aufbereitet werden (z.B. das Projekt ISO/TR 5469 „Artificial intelligence – Functional safety and AI systems“ in der ISO/IEC JTC 1/SC 42/WG 3). Ziel ist festzustellen, wie künstliche Intelligenz überhaupt im Zusammenhang mit sicherheitsrelevanten Systemen genutzt werden könnte.
Ein Ansatz, die Sicherheit sehr komplexer Systeme vertrauenswürdig zu belegen, besteht darin, „Argumente“ zu definieren, die (induktiv hergeleitete) „starke“ Indizien (nicht den absoluten Beweis) liefern sollen. Er wird schon lange bei sehr komplexen Technologien angewendet, beispielsweise in der Nukleartechnik oder der Luft- und Raumfahrt, aber auch um zu prüfen, ob Software für den sicherheitsrelevanten Einsatz geeignet ist.
Nun wird versucht, mit solchen eher aus dem Risikomanagement kommenden Ansätzen auch für Methoden der künstlichen Intelligenz Kriterienkataloge für ein akzeptables Risikoniveau aufzustellen. Diese Kriterienkataloge können Festlegungen zu Spezifikation und Modellierung, Erklärbarkeit und Nachvollziehbarkeit von Entscheidungen, Übertragbarkeit auf unterschiedliche Situationen, Verifizierung und Validierung des Systems, Überwachung während der Laufzeit, Mensch-Maschine-Interaktion, Prozesssicherung und Zertifizierung sowie sicherheitsbezogener Ethik und Datensicherheit enthalten. In diese Richtung geht auch die Forderung des Europäischen Parlaments für eine Verordnung (EU) über ethische Grundsätze für die Entwicklung, den Einsatz und die Nutzung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien. Das Parlament schlägt dort solche Kriterien für die Bewertung der Konformität vor.
Ein solcher Ansatz bedeutet, dass Sicherheit nicht vorwiegend durch nachprüfbare Produkteigenschaften definiert wird, sondern durch nachprüfbare Prozesskriterien. Um sich einem hohen Sicherheitsniveau im Sinne der europäischen Produktsicherheitsvorschriften und des Grundgedankens der Prävention am Arbeitsplatz anzunähern, müsste dazu aber erst einmal nachgewiesen werden, dass die Kriterien für die oben genannten „Argumente“ vollständig und verlässlich sind. Streng genommen können daher auch Vorschriften, die hierfür den Rahmen und grundlegende Anforderungen vorgeben, erst dann festgelegt werden, wenn sich die ihnen zu Grunde liegenden Annahmen verlässlich bewährt haben.
Die Grenzen, innerhalb derer nach dem gegenwärtigem Rechts- und Normungsstand maschinelles Lernen in eine Maschinensteuerung eingebettet werden könnte, versucht der gerade erschienene ISO/TR 22100-5:2021-01 „Safety of machinery - Relationship with ISO 12100 - Part 5: Implications of artificial intelligence machine learning“ abzustecken. In diesen Tagen legt die Europäische Kommission sowohl einen Vorschlag für die Überarbeitung der Maschinen-Richtlinie 2006/42/EG als auch für eine Verordnung zur künstlichen Intelligenz vor, die rechtlich verbindliche Rahmenbedingungen für die Verwendung künstlicher Intelligenz enthalten.
Diese Rahmenbedingungen müssen vollständige, klare und verifizierbare Anforderungen dafür enthalten, in welchen Fällen und unter welchen Voraussetzungen sicherheitsrelevante Entscheidungen eines Systems von Methoden der künstlichen Intelligenz beeinflusst oder automatisiert getroffen werden dürfen. Ob dies der Fall ist, muss die Fachwelt nun prüfen.
Corrado Mattiuzzo
mattiuzzo@kan.de