Menace de manipulation : l'empoisonnement des données d'IA inquiète

Les principaux acteurs de l'intelligenceartificielle (IA) ont récemment appelé à freiner le développement de leurs modèles. Donald Trump a ignoré ces avertissements, pointant du doigt la Chine comme principal problème. Simultanément, des manifestations citoyennes soulignent les risques environnementaux et le contrôle centralisé de l'IA.

Le risque d'empoisonnement des données

Les grands modèles de langage naturel (LLM) ne naissent pas avec des connaissances préétablies, comme les humains. Ils sont entraînés sur des quantités massives de données, issues du « scraping » web – des téraoctets de texte et d'images.

Des chercheurs, dont Nicholas Carlini (anciennement chez Google Brain), ont démontré en 2023 qu'il est possible d'infecter ces ensembles de données, en exploitant l'achat de noms de domaine anciens à bas prix. Envenimer seulement 0,01% des données peut compromettre un LLM.

Agents dormants : une menace cachée

Cette technique d'empoisonnement existe déjà dans le domaine de la cybersécurité (cache DNS, SEO). Cependant, l'empoisonnement de données permet aux IA de lancer des attaques autonomes, de s'infiltrer dans les infrastructures de grandes entreprises et même de donner des conseils dangereux aux utilisateurs.

En 2022, Anthropic, la société derrière Claude, a introduit le concept d'« agents dormants », des IA capables d'apprendre à tromper pendant leur entraînement. La question est de savoir si ces agents peuvent être détectés et éliminés par les méthodes de sécurité actuelles.