Des produits sûrs avec une intelligence artificielle complexe ?

Le législateur est confronté au défi de définir des exigences pour des systèmes dont le comportement est imprévisible.

Bien qu’il n’existe pas de définition généralement acceptée de l’intelligence artificielle, il est bien clair que les différentes méthodes qu’elle met en œuvre ont pour but d’aider l’individu à prendre des décisions – voire de se charger de les prendre à sa place. Il reste à préciser, en revanche, dans quels cas ou dans quelles conditions on peut permettre que les décisions d’un système qui ont une incidence sur la sécurité soient influencées ou automatisées par les méthodes de l’intelligence artificielle.

Les risques inhérents à un produit doivent être évalués et réduits à un niveau acceptable avant la mise à disposition sur le marché. Les spécifications concernant le niveau élevé de protection à respecter se trouvent dans les directives et règlements du Marché intérieur européen. Les produits et équipements de travail qui ne relèvent pas du domaine harmonisé sont soumis à des réglementations nationales.

Selon la hiérarchie des mesures de protection, un produit doit être conçu de manière à exclure tout danger dès le départ. Lorsque cela n’est pas réalisable, des dispositifs de protection doivent réduire les risques à un point tel qu’il ne subsiste que des risques résiduels acceptables. Et enfin, l’utilisateur doit être informé de ces risques. Les dispositifs de commande, s’ils sont utilisés pour exécuter les fonctions de sécurité d’un produit, constituent l’un des éléments déterminants de ce concept.

Il est essentiel que les fabricants soient en mesure d’évaluer les risques susceptibles d’émaner de leurs produits. Et c’est exactement le problème que l’on rencontrerait en voulant par exemple se fier à un dispositif de commande assisté par apprentissage automatique¹ pour empêcher que des personnes soient mises en danger par des pièces mobiles d’une machine : les concepteurs de systèmes qui reposent sur les méthodes complexes de l’intelligence artificielle (comme par exemple l’apprentissage automatique avec réseaux neuronaux) ne sont pas, à ce jour, en mesure d’expliquer de manière satisfaisante, même rétrospectivement, pourquoi leur système s’est comporté de telle ou telle manière.

La technique de sécurité en terrain inconnu

Les bases et hypothèses techniques sur lesquelles repose la technique de sécurité traditionnelle n’ont pas été élaborés en vue d’être appliqués à des systèmes qui prennent des décisions ayant une incidence sur la sécurité, de manière automatisée et par le biais de méthodes complexes de l’intelligence artificielle. C’est pourquoi des études sont menées actuellement sur des méthodes d’évaluation. Il est prévu que les résultats en soient exploités immédiatement pour le travail de normalisation². L’objectif est de déterminer comment il est possible a priori d’utiliser l’intelligence artificielle en relation avec des systèmes qui ont une incidence sur la sécurité.

Une approche permettant de démontrer fiablement la sécurité de systèmes très complexes consiste à définir des « arguments » destinés à fournir des indices « forts » déduits de manière inductive (mais non pas la preuve absolue). C’est l’approche adoptée depuis longtemps pour des technologies très complexes, notamment dans la technique nucléaire ou dans l’aérospatiale, mais aussi pour vérifier si un logiciel convient à une application ayant une incidence sur la sécurité.

On s’efforce actuellement d’utiliser ces approches – qui relèvent plutôt du management du risque – pour élaborer des catalogues de critères pour un niveau acceptable de risques, également pour des méthodes de l’intelligence artificielle. Ces catalogues de critères peuvent contenir des indications sur la spécification et la modélisation, l’explicabilité et la compréhensibilité des décisions, la transposabilité à différentes situations, la vérification et la validation du système, la surveillance pendant l’exécution, l’interaction homme-machine, la sécurisation et la certification des processus, ainsi que l’éthique et la protection des données liées à la sécurité. C’est également dans ce sens que va la demande du Parlement européen en faveur d’un règlement (UE) relatif aux principes éthiques pour le développement, le déploiement et l’utilisation de l’intelligence artificielle, de la robotique et des technologies connexes. Le Parlement y propose de tels critères pour l’évaluation de la conformité.

Une telle approche signifie que la sécurité n’est pas définie en premier lieu d’après des caractéristiques produits vérifiables, mais par des critères de processus vérifiables. Pour se rapprocher d’un niveau élevé de sécurité allant dans le sens des réglementations européennes sur la sécurité des produits et de l’idée fondamentale de la prévention au travail, il faudrait d’abord prouver que les critères des « arguments » évoqués plus haut sont complets et fiables. C’est pourquoi, à proprement parler, les prescriptions qui définissent pour cela le cadre et les exigences essentielles ne peuvent, elles aussi, être établies qu’une fois que les hypothèses sur lesquelles elles se basent ont fait fiablement leurs preuves.

Les premières approches réglementaires

La norme ISO/TR 22100-5³, qui vient d’être publiée, tente de déterminer les limites à l’intérieur desquelles, en vertu de l’état actuel de la législation et de la normalisation, l’apprentissage automatique pourrait être intégré dans un système de commande de machine. La Commission européenne présente actuellement une proposition, non seulement pour la révision de la directive Machines 2006/42/CE, mais aussi pour un règlement sur l’intelligence artificielle qui contiendraient des cadres juridiquement contraignants pour l’utilisation de l’intelligence artificielle.

Ces cadres doivent contenir des exigences complètes, claires et vérifiables sur les cas et les conditions dans lesquels il est permis que des décisions d’un système ayant une incidence sur la sécurité soient influencées ou automatisées par des méthodes de l’intelligence artificielle. C’est maintenant aux experts qu’il revient d’examiner si c’est le cas.

Corrado Mattiuzzo
mattiuzzo@kan.de