Lignes directrices sur la cybersécurité de l’IA en périphérie de réseau

Les lignes directrices ci-dessous constituent un ensemble minimal de mesures pratiques pour les organisations qui déploient l’IA en périphérie de réseau. Les organisations pourraient devoir mettre en œuvre des mesures de contrôle techniques, procédurales et d’assurance supplémentaires, particulièrement dans le cas de systèmes sensibles ou essentiels à la mission. Il convient d’appliquer des mesures de contrôle complémentaires lorsque les conséquences d’une compromission, d’une défaillance ou d’une utilisation abusive sont graves.

Les présentes lignes directrices sont regroupées en piliers, conformément à l’ITSAP.10.049 :

• Pilier 1 : La protection contre l’utilisation adverse de l’IA porte sur les façons dont les auteurs de menace malveillants peuvent exploiter les systèmes d’IA, ainsi que sur les moyens dont disposent les organisations pour détecter ces activités et en assurer la surveillance afin d’y réagir;
• Pilier 2 : La protection des systèmes d’IA vise à sécuriser les modèles, les chaînes de traitement logiciel, les dispositifs, les identités et les chaînes d’approvisionnement;
• Pilier 3 : La protection des utilisatrices, des utilisateurs et des processus opérationnels porte sur la sécurité, la protection de la vie privée, la résilience et la supervision humaine.

Pilier 1 : Protection contre l’utilisation adverse de l’IA

Le présent pilier tient compte du fait que des adversaires peuvent utiliser l’IA pour mener des attaques plus rapides, plus adaptatives et plus fréquentes. Les dispositifs d’IA en périphérie de réseau sont particulièrement vulnérables, puisqu’ils sont souvent déployés dans des environnements publics ou non contrôlés, et qu’il peut être difficile d’y appliquer rapidement des correctifs ou d’en assurer une surveillance continue. Les organisations devraient mettre l’accent sur la détection rapide, la surveillance comportementale et la mise en place de mesures de protection adaptatives, tant au niveau des dispositifs individuels que de l’ensemble du parc de dispositifs.

Détection et protection comportementale des dispositifs en périphérie de réseau

Objectif : détecter et contrer les comportements anormaux ou malveillants visant les dispositifs en périphérie de réseau, y compris les attaques qui s’adaptent au fil du temps ou qui font appel à l’IA pour contourner les mesures de sécurité statiques.

Il est préférable de mettre en œuvre des mesures de sécurité capables de repérer les comportements suspects plutôt que de miser uniquement sur des signatures connues ou des règles statiques. Surveillez les processus exécutés sur les dispositifs, l’activité réseau, les séquences de commandes, les sorties des capteurs et les schémas d’utilisation afin de détecter tout écart par rapport au fonctionnement normal. Dans la mesure du possible, établissez des profils de référence au niveau du dispositif ou de l’ensemble du parc de dispositifs afin de repérer rapidement les comportements inhabituels, même lorsqu’aucun type d’attaque particulier n’est encore connu.

Privilégiez des mécanismes de protection capables de réagir de manière dynamique, comme l’isolement fondé sur des stratégies, le confinement automatisé, la limitation du débit ou l’activation d’un mode de fonctionnement sécurisé lorsque des seuils prédéfinis sont dépassés. Dans les environnements où la connectivité est intermittente, veillez à ce que les mécanismes de protection locaux demeurent opérationnels lorsque les services de sécurité infonuagiques ne sont pas disponibles. Examinez régulièrement les alertes et les mécanismes de détection afin d’ajuster les seuils, de réduire les faux positifs et de tenir compte de l’évolution des rôles des dispositifs ainsi que de leurs conditions d’exploitation.

Les petites et moyennes organisations devraient :

• activer les fonctions intégrées de détection et d’intervention sur les terminaux (EDR pour Endpoint Detection and Response) ou les antivirus (par exemple, Microsoft 365 Defender);
• utiliser des outils simples de détection des anomalies réseau ou le système de prévention d’intrusion intégré à un pare-feu afin de repérer les communications inhabituelles provenant des dispositifs;
• commencer par mettre en place des règles de détection de base (par exemple, l’établissement de nouvelles connexions sortantes ou des pointes inhabituelles dans l’utilisation de l’unité centrale de traitement [UCT]) et appliquer automatiquement des mesures de mise en quarantaine lorsque ces règles sont déclenchées.

Les praticiennes et praticiens de la sécurité des TI devraient :

• établir, dans leur système de gestion des informations et des événements de sécurité (GIES), des profils de référence adaptés à chaque catégorie de dispositifs;
• déployer des solutions EDR lorsque celles-ci sont prises en charge;
• utiliser des mécanismes de détection d’intrusion réseau pour les environnements de TO et les dispositifs de l’Internet des objets (IdO) afin de protéger l’équipement industriel;
• élaborer les règles de détection visant les changements apportés dans la distribution des résultats produits par les modèles, l’utilisation inhabituelle de protocoles et les variations soudaines du taux d’inférence.

Surveillance continue et détection des anomalies

Objectif : obtenir une visibilité sur le comportement des systèmes d’IA en périphérie de réseau et détecter rapidement les problèmes de sécurité.

Déployez des capacités de surveillance sur les dispositifs en périphérie de réseau afin de recueillir à la fois les données de télémétrie de sécurité traditionnelles et les signaux propres à l’IA. À tout le moins, il convient de recueillir les événements d’authentification, les données relatives à l’utilisation des ressources, les anomalies de connectivité et les erreurs. Vous devriez également recueillir les indicateurs associés aux modèles d’IA, comme le nombre d’inférences effectuées, les niveaux de confiance, la latence, les journaux de décisions ou les actions autonomes exécutées. Veillez à ce que ces données puissent être transmises de manière sécurisée, notamment au moyen de mécanismes de stockage et de retransmission qui permettent de composer avec une connectivité intermittente.

Définissez des seuils d’alerte afin que les événements graves, comme les échecs de vérification de l’intégrité ou les écarts comportementaux présentant un risque important, déclenchent une intervention immédiate. Les anomalies de moindre gravité peuvent ensuite être examinées sans entraîner une désensibilisation aux alertes chez les membres des équipes responsables. Surveillez les variations dans les performances, la dérive des modèles, les résultats inhabituels ou les changements dans les caractéristiques des données d’entrée, qui peuvent révéler une défaillance de capteur, une intervention malveillante ou une dégradation du modèle. Préparez des procédures d’intervention en cas d’incident propres à l’IA afin que les équipes responsables sachent comment isoler les systèmes touchés, mener les activités d’enquête nécessaires et rétablir les systèmes en toute sécurité.

Les petites et moyennes organisations devraient :

• utiliser une solution de GIES offerte en mode géré ou les fonctions de surveillance intégrées aux services infonuagiques (par exemple, Microsoft 365 Defender, Azure Sentinel ou Elastic Cloud);
• recueillir les journaux système, les journaux d’application et les mesures d’intégrité de base;
• configurer des alertes pour détecter les changements de version ou d’empreinte numérique (hachage), de même que les augmentations soudaines du nombre d’erreurs.

Les praticiennes et praticiens de la sécurité des TI devraient :

• définir un schéma de télémétrie qui comprend notamment l’état de sécurité des dispositifs, les empreintes numériques des micrologiciels et des modèles, les résultats des vérifications d’attestation, l’état de fonctionnement des capteurs et les statistiques d’inférence;
• assurer la signature et la mise en mémoire tampon des journaux, puis les transmettre à une plateforme de GIES;
• mettre en place des tableaux de bord et des règles de détection des anomalies qui permettent de repérer la dérive des modèles, les tentatives de trafiquage, ainsi que les pertes de connectivité.

Pilier 2 : Protection des systèmes d’IA

Le présent pilier porte sur la protection des composantes d’IA, des dispositifs, des logiciels et de l’infrastructure de soutien qui rendent possible le déploiement de l’IA en périphérie de réseau. Comme l’IA est souvent intégrée à des dispositifs distribués, les organisations doivent assurer une forte visibilité sur leurs actifs, mettre en place des contrôles rigoureux dans la chaîne d’approvisionnement, protéger l’intégrité des systèmes et assurer une gouvernance efficace des identités afin de réduire les risques de compromission.

Recenser et classifier vos actifs d’IA en périphérie de réseau

Objectif : savoir quels systèmes d’IA en périphérie de réseau sont en service au sein de l’organisation, où ils sont déployés et quelles seraient les conséquences d’une défaillance ou d’une compromission.

Procédez à un exercice complet de repérage afin de relever tous les systèmes en périphérie de réseau qui ont recours à une forme quelconque d’IA, y compris l’automatisation fondée sur des règles, l’apprentissage automatique, la vision par ordinateur, la fusion des données provenant de capteurs ou les fonctionnalités d’IA intégrées qui pourraient ne pas être immédiatement visibles. Pour chaque système en périphérie de réseau, il convient de documenter sa fonction, les conséquences potentielles d’une défaillance, son incidence éventuelle sur les processus physiques et l’existence de mécanismes de repli ou de moyens de contrôle manuels.

Classez les systèmes selon des catégories de risque clairement définies (essentiels à la sécurité, essentiels aux activités ou opérationnels) pour orienter les efforts de sécurité vers les systèmes qui présentent les risques les plus élevés. Consignez les détails de l’architecture et des dépendances, notamment si les systèmes fonctionnent exclusivement en mode local, selon un modèle hybride périphérie-infonuagique, au moyen de passerelles ou dans une architecture fédérée. Tenez cet inventaire à jour et intégrez-le aux processus de gestion des changements afin que tout ajout de capacités d’IA fasse l’objet d’un examen. Cette étape fondamentale constitue la base de toutes les autres mesures de sécurité décrites dans les présentes lignes directrices.

Sécurisation de la chaîne d’approvisionnement de l’IA et maintien d’une nomenclature dynamique des composantes

Objectif : connaître l’origine et l’intégrité de chaque composante de l’environnement d’IA en périphérie de réseau et être en mesure de la remplacer ou de la mettre à jour rapidement au besoin.

Élargissez votre inventaire de manière à inclure les éléments suivants :

• le matériel;
• les micrologiciels;
• les systèmes d’exploitation;
• les modèles d’IA;
• les bibliothèques;
• les dépendances;
• les plugiciels;
• les jeux de données;
• les fichiers de configuration.

Produisez et tenez à jour des nomenclatures logicielles (SBOM pour Software Bill of Materials) et, dans la mesure du possible, des nomenclatures de modèles (MBOM pour Model Bill of Materials) qui documentent la provenance, les versions et les dépendances des composantes d’IA. Mettez à jour les SBOM et les MBOM chaque fois qu’un changement est apporté aux systèmes afin qu’elles reflètent fidèlement leur état actuel.

Évaluez les logiciels, les cadres de développement et les modèles préentraînés qui proviennent de tiers avant leur déploiement. Cette évaluation devrait comprendre des vérifications de vulnérabilités, un examen des fournisseurs et une validation de l’intégrité des composantes au moyen de codes de hachage ou de signatures numériques. Assurez la surveillance continue des vulnérabilités touchant les composantes utilisées et soyez en mesure d’appliquer rapidement des correctifs, ainsi que de remplacer, de désactiver ou de mettre en quarantaine les éléments touchés. Mettez en œuvre des mécanismes qui permettent de garantir que seuls les logiciels et les modèles approuvés et signés peuvent être exécutés sur les dispositifs en périphérie de réseau.

Gouvernance des identités non humaines

Objectif : gérer les identités et les justificatifs d’identité utilisés par les systèmes d’IA avec le même niveau de rigueur que celui appliqué aux utilisatrices et utilisateurs.

Effectuez une vérification de tous les agents d’IA, des comptes de service, des robots logiciels, des scripts et des processus automatisés afin de déterminer leurs méthodes d’authentification et les ressources auxquelles ils ont accès. Éliminez les pratiques à risque, notamment l’utilisation de comptes d’utilisateur partagés, de justificatifs d’identité statiques intégrés au code ou aux micrologiciels, ainsi que de comptes machine orphelins qui demeurent actifs après la mise hors service des systèmes auxquels ils étaient associés.

Attribuez à chaque système d’IA une identité unique, délivrez des justificatifs d’identité valides pour une durée limitée lorsque cela s’avère possible et automatisez leur renouvellement et leur révocation. Appliquez le principe de droit d’accès minimal afin que les agents d’IA n’aient accès qu’aux systèmes, aux données et aux commandes dont ils ont réellement besoin pour exercer leurs fonctions. Dans les environnements exigeant un niveau d’assurance élevé, liez la délivrance des identités à une attestation du dispositif ou de la charge de travail, de manière à ce que les justificatifs d’identité ne soient accordés que lorsque le système se trouve dans un état jugé fiable.

Mise hors service sécurisée des modèles et application de l’effacement cryptographique

Objectif : veiller à ce que les dispositifs et les modèles d’IA en périphérie de réseau retirés du service ne puissent pas être exploités pour extraire des données, des justificatifs d’identité ou de la propriété intellectuelle.

Mettez en place un processus officiel de mise hors service des dispositifs d’IA en périphérie de réseau qui comprend l’effacement sécurisé des données, la vérification des opérations effectuées, la documentation des activités et la révocation des justificatifs d’identité. Lorsque la technologie le permet, ayez recours à l’effacement cryptographique fondé sur le matériel en détruisant ou en invalidant les clés de chiffrement afin de rendre les données et les modèles stockés illisibles. Dans les cas où les exigences de protection sont particulièrement élevées, détruisez physiquement les supports de stockage.

Précisez, dans les processus d’approvisionnement, que les dispositifs doivent offrir des fonctions sécurisées de stockage et d’élimination des données afin de permettre un chiffrement et une destruction fiable des clés cryptographiques au cours de leur cycle de vie. Prévoyez également des mesures pour les dispositifs perdus ou volés, notamment l’effacement à distance dans les plus brefs délais et la révocation immédiate des accès. Cette approche permet d’assurer la protection des actifs tout au long de leur cycle de vie.

Renforcement de la sécurité des modèles, des agents et de la logique de contrôle de l’IA contre le vol et le trafiquage

Objectif : protéger les modèles d’IA et les composantes de contrôle connexes qui sont déployés sur les dispositifs en périphérie de réseau contre le vol, le trafiquage et la manipulation.

Lorsque la technologie le permet, mettez en œuvre des mécanismes de protection pris en charge par le matériel, comme le démarrage sécurisé, le chiffrement complet du disque et les environnements d’exécution fiables. Traitez les modèles, les stratégies, les fichiers de configuration et la logique des agents comme des logiciels essentiels en les dotant de signatures numériques et en vérifiant ces signatures avant leur chargement ou leur exécution. Dans la mesure du possible, liez le chiffrement des modèles ou des fichiers de configuration à des dispositifs précis afin d’empêcher la réutilisation de fichiers copiés sur d’autres systèmes.

Vérifiez continuellement l’intégrité des composantes et surveillez les changements inhabituels de performances qui pourraient révéler un trafiquage, une modification non autorisée ou une manipulation malveillante. Protégez les règles, les instructions, les fichiers de configuration et les modèles contre toute modification non autorisée au moyen de mécanismes, tels que la journalisation, la protection en écriture, les sommes de contrôle ou les signatures numériques. Mettez régulièrement à l’essai des scénarios, comme l’usurpation des données provenant de capteurs, les modifications malveillantes de fichiers de configuration ou l’utilisation de données d’entrée trompeuses afin de confirmer que les mécanismes de protection, les dispositifs de sécurité intégrés et les alertes fonctionnent comme prévu.

Pilier 3 : Protection des utilisatrices et utilisateurs ainsi que des processus opérationnels

Le présent pilier porte sur la protection de la vie privée, la sécurité, la fiabilité et la gouvernance. Il tient compte du fait que les systèmes d’IA peuvent connaître des défaillances en raison de la dérive des modèles, d’erreurs, d’une utilisation inadéquate ou d’une automatisation excessive, même en l’absence d’une attaque malveillante. Il met l’accent sur la résilience des processus et le maintien d’une supervision humaine appropriée.

Mise en œuvre de mesures de protection de la vie privée et de mécanismes de traitement local des données

Objectif : réduire l’exposition inutile des données sensibles et conserver la maîtrise du traitement des renseignements personnels ou sensibles.

Cartographiez les flux de données de chaque système d’IA en périphérie de réseau, notamment : 

• les données recueillies;
• les emplacements où sont stockées les données;
• la présence éventuelle de renseignements personnels ou sensibles;
• la transmission éventuelle de renseignements personnels ou sensibles vers des serveurs externes ou des plateformes de fournisseurs.

Comme de nombreux dispositifs sont livrés avec des services infonuagiques activés par défaut, il est impératif de déterminer et d’évaluer les transferts de données non apparents.

Privilégiez le traitement local ou sur place des données sensibles en utilisant, dans la mesure du possible, des modèles compacts ou de petits modèles de langage. Lorsque le traitement externe est nécessaire, acheminez les données uniquement vers des environnements approuvés qui respectent les exigences en matière de protection de la vie privée, de sécurité et de compétence territoriale. Surveillez le trafic sortant afin de détecter les destinations inattendues, chiffrez les données en transit et réduisez au minimum l’exposition des données au moyen de techniques comme l’anonymisation, l’agrégation ou la minimisation des données, lorsque cela est possible.

Sécurisation de l’interface entre les technologies de l’information et la technologie opérationnelle et mise en place de mécanismes de sécurité intégrés

Objectif : veiller à ce que la sécurité et la fiabilité ne reposent pas uniquement sur l’IA lorsque cette dernière est intégrée aux environnements de TO.

Recensez tous les points d’interaction entre les systèmes d’IA en périphérie de réseau et l’équipement physique ou les processus de contrôle industriel. Pour chaque point d’interaction, déterminez les conséquences les plus graves pouvant découler d’une défaillance ou d’un comportement inattendu de l’IA et vérifiez qu’un mécanisme de repli sûr est en place et qu’il ne dépend pas de l’IA elle-même. En présence de lacunes, ajoutez des mécanismes de sécurité indépendants fondés sur le matériel ou sur des fonctions de contrôle de bas niveau, comme des arrêts d’urgence, des clapets à rappel par ressort ou d’autres dispositifs qui placent automatiquement le système dans un état sécurisé par défaut.

Mettez à l’essai le comportement de l’IA dans des environnements simulés ou contrôlés avant son déploiement en mode production, y compris dans des conditions anormales ou en présence de scénarios d’attaque. Mettez en place un cloisonnement entre les réseaux d’IA et de TO, limitez rigoureusement les communications entre eux et surveillez les commandes non autorisées ou inhabituelles. Faites preuve de retenue dans l’utilisation de l’IA au sein des environnements de TO et employez-la uniquement lorsqu’elle apporte une valeur ajoutée claire qui justifie la complexité et les risques supplémentaires qu’elle entraîne.

Maintien d’une supervision humaine et de mécanismes de sécurité intégrés indépendants

Objectif : veiller à ce que des personnes autorisées puissent intervenir, neutraliser les systèmes d’IA autonomes en périphérie de réseau ou les arrêter lorsque la situation l’exige.

Pour chaque système d’IA en périphérie de réseau autonome ou ayant une incidence sur la sécurité, mettez en place des dispositifs d’arrêt d’urgence, des mécanismes de prise de contrôle ou des moyens indépendants de mise hors service facilement accessibles. Ces mécanismes ne devraient pas dépendre de la coopération du système d’IA et devraient être mis à l’essai régulièrement. Définissez les situations dans lesquelles une approbation humaine est requise avant qu’une mesure initiée par l’IA puisse être exécutée, en particulier lorsqu’il s’agit de décisions à conséquences importantes.

Formez le personnel responsable de l’exploitation afin qu’il comprenne les capacités et les limites des systèmes d’IA, notamment la façon de reconnaître des résultats peu fiables, d’interpréter les alertes et d’exercer un contrôle manuel lorsque nécessaire. Déterminez de façon délibérée le degré d’autonomie approprié pour chaque système en fonction de son profil de risque et attribuez-lui un niveau d’indépendance correspondant. Conservez des journaux inviolables qui consignent les actions exécutées par l’IA et les interventions humaines afin de permettre l’examen des incidents et des quasi-incidents et d’améliorer tant les technologies que les processus.