Blog

Jun 29, 2023

Argent, marchés et apprentissage automatique : dévoiler les risques de l'IA contradictoire

Il est impossible d’ignorer le rôle essentiel que jouent aujourd’hui l’intelligence artificielle (IA) et son sous-ensemble, l’apprentissage automatique, sur le marché boursier. Alors que l'IA fait référence à des machines capables d'effectuer des tâches qui

Il est impossible d’ignorer le rôle essentiel que jouent aujourd’hui l’intelligence artificielle (IA) et son sous-ensemble, l’apprentissage automatique, sur le marché boursier.

Alors que l'IA fait référence à des machines capables d'effectuer des tâches qui nécessiteraient normalement l'intelligence humaine, l'apprentissage automatique (ML) implique l'apprentissage de modèles à partir de données, ce qui améliore la capacité des machines à faire des prédictions et à prendre des décisions.

L’une des principales façons dont le marché boursier utilise l’apprentissage automatique est le trading algorithmique. Les modèles ML reconnaissent des modèles à partir de grandes quantités de données financières, puis effectuent des transactions basées sur ces modèles – des milliers et des milliers de transactions, en petites fractions de seconde. Ces modèles de trading algorithmiques apprennent continuellement, ajustant leurs prédictions et leurs actions dans un processus qui se produit en permanence, ce qui peut parfois conduire à des phénomènes tels que des crashs flash, lorsque certains modèles déclenchent une boucle de rétroaction, envoyant certains segments du marché dans une chute libre soudaine.

Le trading algorithmique, malgré ses inconvénients occasionnels, est devenu indispensable à notre système financier. Il y a d’énormes avantages ; ce qui est une autre façon de dire que cela rapporte énormément d’argent à certaines personnes. Selon la société de services technologiques Exadel, les banques pourraient économiser 1 000 milliards de dollars d’ici 2030 grâce au trading algorithmique.

Une telle dépendance à l’égard des modèles d’apprentissage automatique en finance n’est cependant pas sans risques – des risques allant même au-delà des krachs éclair.

Une menace importante et sous-estimée pour ces systèmes est ce que l’on appelle les attaques contradictoires. Celles-ci se produisent lorsque des acteurs malveillants manipulent les données d'entrée qui alimentent le modèle ML, ce qui amène le modèle à faire de mauvaises prédictions.

Une forme de cette attaque contradictoire est connue sous le nom d’« empoisonnement des données », dans laquelle des acteurs malveillants introduisent du « bruit » – ou de fausses données – dans l’entrée. La formation sur ces données empoisonnées peut alors amener le modèle à mal classer des ensembles de données entiers. Par exemple, un système de fraude par carte de crédit pourrait attribuer à tort une activité frauduleuse là où il n’y en a pas eu.

De telles manipulations ne constituent pas seulement une menace théorique. Les effets de l’empoisonnement des données et des attaques contradictoires ont de vastes implications dans différentes applications d’apprentissage automatique, y compris les modèles de prévisions financières. Dans une étude menée par des chercheurs de l’Université de l’Illinois, d’IBM et d’autres institutions, ils ont démontré la vulnérabilité des modèles de prévisions financières aux attaques contradictoires. Selon leurs conclusions, ces attaques pourraient conduire à des décisions commerciales sous-optimales, entraînant des pertes de 23 à 32 % pour les investisseurs. Cette étude met en évidence la gravité potentielle de ces menaces et souligne la nécessité de disposer de défenses robustes contre les attaques adverses.

La réaction du secteur financier à ces attaques a souvent été réactive : un jeu de taupe dans lequel les défenses ne sont levées qu'après qu'une attaque a eu lieu. Toutefois, étant donné que ces menaces sont inhérentes à la structure même des algorithmes de ML, une approche plus proactive est la seule manière de résoudre de manière significative ce problème persistant.

Les institutions financières doivent mettre en œuvre des méthodes de test et d’évaluation robustes et efficaces, capables de détecter les faiblesses potentielles et de se prémunir contre ces attaques. Une telle mise en œuvre pourrait impliquer des procédures de test rigoureuses, le recours à des « équipes rouges » pour simuler les attaques et une mise à jour continue des modèles pour garantir qu'ils ne sont pas compromis par des acteurs malveillants ou des données médiocres.

Les conséquences de l’ignorance du problème des attaques contradictoires dans le trading algorithmique sont potentiellement catastrophiques, allant de pertes financières importantes à la réputation ternie des entreprises, voire à une perturbation économique généralisée. Dans un monde de plus en plus dépendant des modèles de ML, le secteur financier doit passer d’un mode réactif à un mode proactif pour garantir la sécurité et l’intégrité de notre système financier.

Joshua Steier est analyste technique et Sai Prathyush Katragadda est un data scientist au sein de la RAND Corporation, non partisane et à but non lucratif.

Copyright 2023 Nexstar Media Inc. Tous droits réservés. Ce matériel ne peut pas être publié, diffusé, réécrit ou redistribué.