Accueil
Accueil
Envoyer à un ami
Version imprimable
Partager
ETUDE SOURCE
La technologie GenAI a un grand potentiel de transformation dans de nombreux secteurs, mais elle comporte également des risques importants en cas d'utilisation abusive.
Une recherche antérieure a révélé que les systèmes d'IA avancés pourraient être exploités à des fins malveillantes. Cependant, il nous manque encore une compréhension claire de la manière dont les modèles GenAI sont spécifiquement exploités dans la pratique, y compris les tactiques utilisées pour causer des dommages.
L'article dont nous vous présentons ici un résumé propose une taxonomie des tactiques d'abus de GenAI, basée sur une analyse de près de 200 incidents signalés entre janvier 2023 et mars 2024. Les attaquants exploitent les capacités du système à travers différentes modalités (image, texte, audio, vidéo) pour causer des dommages.
L'article dont nous vous présentons ici un résumé propose une taxonomie des tactiques d'abus de GenAI, basée sur une analyse de près de 200 incidents signalés entre janvier 2023 et mars 2024. Les attaquants exploitent les capacités du système à travers différentes modalités (image, texte, audio, vidéo) pour causer des dommages.
IA : préoccupations croissantes concernant la sécurité, la confidentialité et la manipulation sont également en augmentation.
L'intelligence artificielle générative et multimodale (GenAI) ouvre de vastes opportunités dans divers secteurs, des tâches complexes telles que la compréhension audiovisuelle et le raisonnement mathématique à la simulation réaliste d'environnements réels. Malgré leur intégration rapide dans des domaines critiques tels que la santé, l'éducation et les services publics, les préoccupations croissantes concernant la sécurité, la confidentialité et la manipulation sont également en augmentation.
Des recherches antérieures ont souligné le potentiel d'utilisation abusive des systèmes d'IA avancés, et des initiatives telles que l'AIM de l'OCDE surveillent activement les incidents liés à l'IA pour évaluer les dommages potentiels. Cependant, peu d'informations sont disponibles sur la manière dont GenAI est spécifiquement exploitée et abusée par divers acteurs, y compris les tactiques utilisées. Une analyse qualitative de rapports médiatiques a permis de mettre en lumière les divers modèles d'utilisation abusive de GenAI, y compris les motivations et les stratégies des attaquants dans un environnement non contrôlé. Il est essentiel de comprendre ces éléments pour mieux contrer les abus potentiels de la technologie en constante évolution.
Des recherches antérieures ont souligné le potentiel d'utilisation abusive des systèmes d'IA avancés, et des initiatives telles que l'AIM de l'OCDE surveillent activement les incidents liés à l'IA pour évaluer les dommages potentiels. Cependant, peu d'informations sont disponibles sur la manière dont GenAI est spécifiquement exploitée et abusée par divers acteurs, y compris les tactiques utilisées. Une analyse qualitative de rapports médiatiques a permis de mettre en lumière les divers modèles d'utilisation abusive de GenAI, y compris les motivations et les stratégies des attaquants dans un environnement non contrôlé. Il est essentiel de comprendre ces éléments pour mieux contrer les abus potentiels de la technologie en constante évolution.
La manipulation de l'image humaine et la falsification des preuves sont des tactiques courantes dans les cas d'utilisation abusive, visant à influencer l'opinion publique, à commettre des fraudes ou à tirer des profits.
Les abus concernant les systèmes GenAI ne sont pas nécessairement sophistiqués, mais exploitent des capacités facilement accessibles sans expertise technique avancée. L'augmentation de la sophistication et de l'accessibilité des outils GenAI conduit à de nouvelles formes d'utilisation abusive plus subtiles, avec des implications éthiques inquiétantes.
Ces abus incluent l'utilisation de la technologie pour diffuser des messages politiques, promouvoir des agendas personnels et brouiller les frontières entre authenticité et tromperie.
Les résultats offrent une base de données aux décideurs politiques, équipes de sécurité et chercheurs sur le potentiel nuisible des technologies. Cela peut informer la gouvernance et les mesures d'atténuation de l'IA. En identifiant les menaces et tactiques, ce travail guide le développement de stratégies de sécurité adaptées. Il éclaire les mesures d'atténuation et les interventions ciblées pour mieux protéger contre les abus futurs.
En résumé, l'IA générative est parfois utilisée de manière abusive pour des recherches visant à exposer les failles des modèles. Il est possible qu'une utilisation abusive ait plusieurs objectifs. Dans cette analyse, nous nous concentrons sur l'objectif principal de chaque cas, basé sur les informations contextuelles des médias, pour des raisons de simplicité et de clarté.
Ces abus incluent l'utilisation de la technologie pour diffuser des messages politiques, promouvoir des agendas personnels et brouiller les frontières entre authenticité et tromperie.
Les résultats offrent une base de données aux décideurs politiques, équipes de sécurité et chercheurs sur le potentiel nuisible des technologies. Cela peut informer la gouvernance et les mesures d'atténuation de l'IA. En identifiant les menaces et tactiques, ce travail guide le développement de stratégies de sécurité adaptées. Il éclaire les mesures d'atténuation et les interventions ciblées pour mieux protéger contre les abus futurs.
En résumé, l'IA générative est parfois utilisée de manière abusive pour des recherches visant à exposer les failles des modèles. Il est possible qu'une utilisation abusive ait plusieurs objectifs. Dans cette analyse, nous nous concentrons sur l'objectif principal de chaque cas, basé sur les informations contextuelles des médias, pour des raisons de simplicité et de clarté.
Consultez l'étude originale
Nahema Marchal*, Rachel Xu*, Rasmi Elasmar, Iason Gabriel, Beth Goldberg and William Isaac.
*Equal contributions, Google DeepMind, Jigsaw, Google.org
Corresponding author(s): Nahema Marchal <nahemamarchal@google.com>
© 2024 Google DeepMind. All rights reserved
Objectifs : En analysant notre ensemble de données, nous avons identifié 16 objectifs distincts à l'origine de l'utilisation abusive de GenAI.
Certains objectifs associés à une utilisation abusive de l'intelligence artificielle ne sont pas forcément malveillants, mais peuvent impliquer des activités illégales. Cela comprend des pratiques telles que la fraude, les troubles civils, la surveillance, le terrorisme, la haine, le harcèlement, l'exploitation des enfants.
D'autres objectifs peuvent causer des conséquences négatives sans intention malveillante, comme l'influence de l'opinion publique, la monétisation des services, la manipulation du marché. En outre, l'utilisation de l'intelligence artificielle peut également être destinée à promouvoir des messages spécifiques, à contester les structures de pouvoir ou à des fins satiriques. Il est important de prendre en compte ces différents objectifs lors de l'utilisation de l'intelligence artificielle pour éviter des conséquences dommageables pour la société et les individus.
D'autres objectifs peuvent causer des conséquences négatives sans intention malveillante, comme l'influence de l'opinion publique, la monétisation des services, la manipulation du marché. En outre, l'utilisation de l'intelligence artificielle peut également être destinée à promouvoir des messages spécifiques, à contester les structures de pouvoir ou à des fins satiriques. Il est important de prendre en compte ces différents objectifs lors de l'utilisation de l'intelligence artificielle pour éviter des conséquences dommageables pour la société et les individus.
Strategies
Ces observations révèlent également des combinaisons distinctes d’objectifs, de tactiques, d’utilisations de GenAI et de cibles d’utilisation abusive qui se fondent dans des « stratégies d’utilisation abusive » plus larges.
Ces stratégies sont utiles à délimiter car elles révèlent les mesures calculées prises pour exploiter GenAI à différentes fins, ce qui peut exiger des interventions sur mesure ou des stratégies d’atténuation. A consulter le tableau où sont énumérées ces stratégies, organisées par objectif. Vous y trouverez aussi la descritpion des tactiques employées, ainsi que des exemples marquants de notre ensemble de données.
Ces stratégies sont utiles à délimiter car elles révèlent les mesures calculées prises pour exploiter GenAI à différentes fins, ce qui peut exiger des interventions sur mesure ou des stratégies d’atténuation. A consulter le tableau où sont énumérées ces stratégies, organisées par objectif. Vous y trouverez aussi la descritpion des tactiques employées, ainsi que des exemples marquants de notre ensemble de données.
Signalé par Nicolas Celic
Vous ne savez pas trop à quoi sert l'IA générative ? D'autres le savent très bien.
- Manipuler l'opinion à 26,5%
- Amélioration des Affaires à 20,5%
- Frauder à 18%
Le harcèlement et les cyberattaques sont très minoritaires, mais ça fait tout de même une grosse part du gâteau !
Ce petit air de souffre est-il, jumelé à des questions de montée en compétences, en cause dans les freins à l'adoption par les entreprises et institutions ?
L'étude complète : https://lnkd.in/eh-WmwFA, repérée par Fabienne Billat .