Künstliche Intelligenz im Kontext funktionaler Sicherheit

Bei ISO/IEC wird aktuell ein Technischer Report erarbeitet, der erstmals Grundlagen für die Entwicklung und Kontrolle von KI-basierten sicherheitsrelevanten Funktionen aufstellt.

Auf der künstlichen Intelligenz (KI) liegt aktuell ein besonderer Fokus, da sie als eine der Schlüsseltechnologien der Zukunft angesehen wird und schon heute als Grundlage für viele technische Innovationen genutzt wird.

Die Bedeutung dieser Technologie hat auch die Europäische Kommission erkannt und im April 2021 einen ersten Entwurf für eine neue Verordnung zum Einsatz künstlicher Intelligenz vorgelegt. Sobald diese Verordnung in Kraft tritt, wird ein großer Bedarf bestehen, die darin gestellten Anforderungen in internationalen Normen und Standards zu konkretisieren.

Die künstliche Intelligenz wird bisher im Bereich der funktionalen Sicherheit noch nicht oder vollkommen unzureichend adressiert. So lassen sich beispielsweise in der Basisnorm der funktionalen Sicherheit IEC 61508¹ keine verwertbaren Informationen zum Umgang mit künstlicher Intelligenz im Kontext der funktionalen Sicherheit finden. Auch bei der aktuellen Überarbeitung dieser Norm ist eine inhaltliche Berücksichtigung bisher nicht vorgesehen.

Der TR 5469 als Brücke zwischen künstlicher Intelligenz und Sicherheit

Einen Ansatz, diese Lücke zu schließen, entwickelt derzeit die Arbeitsgruppe ISO/IEC JTC 1 SC 42 WG3 in Zusammenarbeit mit Fachleuten der Arbeitsgruppe IEC SC65A zur IEC 61508. Sie erarbeiten gemeinsam den Technischen Report ISO/IEC TR 5469 „Artificial intelligence – Functional safety and AI systems“. Es ist bereits jetzt geplant, diesen als Basis für weitere normative Dokumente wie technische Spezifikationen zu verwenden. Dem Report kommt daher eine hohe Bedeutung zu. Mit dem Erscheinen wird aktuell Mitte 2022 gerechnet.

Ziel des Technischen Reports ist es, das Bewusstsein für die Eigenschaften, Sicherheitsrisikofaktoren, verfügbaren Methoden und potenziellen Einschränkungen von künstlicher Intelligenz zu fördern. Die Entwickler von sicherheitsrelevanten Systemen sollen so in die Lage versetzt werden, künstliche Intelligenz als Teil von Sicherheitsfunktionen angemessen einzusetzen. Weiterhin soll das Dokument Informationen über die Herausforderungen und Lösungskonzepte im Zusammenhang mit der Sicherheit von Systemen bereitstellen, in denen künstliche Intelligenz zum Einsatz kommt.

Hierzu liefert der TR 5469 in Abschnitt 5 zunächst einen Überblick über die Beziehungen zwischen funktionaler Sicherheit und den Technologien der künstlichen Intelligenz. In Abschnitt 6 wird anschließend versucht, einen qualitativen Überblick über verschiedene Niveaus des Sicherheitsrisikos von KI-Systemen zu geben. Als Beurteilungsgrundlage für diese Niveaus dient eine Kombination aus sogenannten KI-Technologieklassen und verschiedenen Nutzungsebenen.

Nutzungsebenen unterscheiden sich dabei durch ihren möglichen Einfluss auf die Sicherheitsfunktion. So werden beispielsweise Systeme, in denen künstliche Intelligenz innerhalb einer Sicherheitsfunktion eingesetzt wird, als sehr kritisch angesehen. Wird künstliche Intelligenz hingegen während der Entwicklungsphase einer Sicherheitsfunktion eingesetzt, wird das als weniger kritisch gesehen. Dabei bleibt jedoch das vom Gesamtsystem und seiner Anwendung ausgehende tatsächliche Risiko vollkommen unbeachtet.

Die Einteilung des zweiten Bewertungskriteriums, die KI-Technologieklasse, basiert zudem lediglich auf einer Übereinstimmung mit bestehenden oder künftigen Normen für funktionale Sicherheit. Dieses Kriterium wird kontrovers diskutiert, da dieser Technische Report gerade die Problematik adressiert, dass aktuelle Normen zur funktionalen Sicherheit die künstliche Intelligenz noch nicht betrachten. Die Einteilung in verschiedene KI-Technologieklassen wird nicht auf Basis der Eigenheiten der spezifischen Technologie vorgenommen, sondern diese spielen ganz im Gegenteil dabei keine Rolle.

Hier könnte Abschnitt 8 ein wirksameres Werkzeug zur Beurteilung verschiedener KI-Technologieklassen und deren resultierender Risiken bieten. Er beschäftigt sich nicht nur mit dem Thema der sicheren und vertrauenswürdigen Verwendung von KI-Systemen, sondern geht auch auf die spezifischen Eigenschaften von modernen KI-Systemen ein und stellt die Risiken und Herausforderungen vor, die sich aus ihnen ergeben. So ist es beispielsweise schwierig, ein auf Deep-Learning basierendes System vollständig zu evaluieren, da dieses durch seine hohe Komplexität nicht vollständig beschrieben werden kann. Die Abschnitte 9, 10 und 11 beschäftigen sich mit möglichen Lösungen für diese Herausforderungen und Risiken durch geeignete Verifizierungs- und Validierungsmaßnahmen, Prozesse und Methoden, aber auch Kontroll- und Risikominderungsmaßnahmen. Ein Verfahren für den Einsatz von KI-Technologie in sicherheitsrelevanten Systemen, bei denen die bestehenden Normen für funktionale Sicherheit nicht angewendet werden können, wird zudem in Abschnitt 7 dargestellt.

Insgesamt bietet der ISO/IEC TR 5469 bereits viele Informationen zum Einsatz von künstlicher Intelligenz im Kontext der funktionalen Sicherheit im Anwendungsbereich der IEC 61508. Besonders die vorgestellten KI-spezifischen Risiken und Methoden zur Risikominderung sind ein wertvoller Beitrag zur Diskussion auf diesem Gebiet. Andere Konzepte sind jedoch noch kritisch zu diskutieren. Für Anwendungen im Automobilbereich ist ein eigener sektorspezifischer Report in Erarbeitung.

Dr. André Steimers, andre.steimers@dguv.de
Thomas Bömer, thomas.boemer@dguv.de 

Institut für Arbeitsschutz der DGUV (IFA)