🎨 Empoisonnement d’IA « pour le bien » des illustrateurs

Voici un article plus technique que littéraire, mais en tant qu’ingénieur et auteur de SF, je m’intéresse aux actualités et aux problématiques posées par l’IA (Intelligence Artificielle). Cet article pose l’importante question du droit à la propriété intellectuelle de nos amis illustrateurs et graphistes.

❓La problématique

Pour leur apprentissage, les modèles d’Intelligence Artificielle text-to-image (de type Dall-E, Midjourney) ont utilisé des millions d’images collectées sur Internet sans se soucier de la propriété intellectuelle. Cela peut nuire aux artistes dont le style peut être facilement imité (« S’il te plait, dessine-moi un mouton dans le style de Banksy » #🐑). Par exemple, le prompt ci-dessous inspiré de la Tragédie de l’orque plagie une oeuvre bien connue : « reproduis-moi le tableau le cri de Munch, en ajoutant un trou noir qui menace le système solaire. »

🛡️La solution

Des chercheurs de l’université de Chicago proposent un logiciel (Glaze) qui permet aux artistes de protéger leurs créations d’une telle imitation.

L’algorithme modifie de façon imperceptible l’image (pour l’œil humain), mais suffisamment pour empoisonner l’apprentissage d’une IA et la leurrer sur ce qui fait la spécificité de l’œuvre : son style distinctif. 

⚙️ Comment ça fonctionne ? 

Cela semble magique, tant les modifications sont quasi-invisibles à l’œil nu. L’idée est de se concentrer sur le style de l’image, et non les éléments représentés (un chat, un arbre, …) et de leurrer le système d’apprentissage uniquement sur le style. Le style artistique est par exemple le cubisme, le fauvisme, ou une façon propre à l’artiste (par exemple : à la mode Van-Gogh). 

Mais comment isoler le style d’une image ? 

L’idée est la suivante. Considérons l’œuvre à protéger x  

1. Le logiciel créé une nouvelle image de x transformée dans un style artistique cible (c) très différent : T(x, c) (par exemple : « mon dessin (x) dans le style de Banksi (c) »)
2. Ensuite, il génère des micro-variations de x notées d_x qui vont rapprocher x de T(x, c) tout en minimisant l’impact visuel (utilisation de l’algo LPIPS Learning Perceptual Image Patch Similarity pour quantifier ces impacts)
3. L’algo itère en trouvant l’optimum local = distance minimale : minDist(G(x+d_x), G(T(x,c)))
   • tout en respectant la contrainte |d_x|<p. p étant le seuil de dégradation d’image toléré. 
   • G(x) étant la génération text-to-image de l’image x.
4. L’artiste publie enfin l’image G(x+d_x), qui sera visuellement proche, mais qui ressemblera pour un algo de type stable diffusion à un style c. 
5. Le modèle IA qui aura appris sur cette image modifiée reconnaîtra alors plus facilement le style c que le style original. C’est ce que l’on appelle un empoisonnement de modèle pendant la phase d’apprentissage.  

⚔️Quelles contremesures ?

Il est probable que les entités impactées (OpenAI, Stability AI, …) réagissent et mettent en place des contremesures pour atténuer l’effet de tels algorithmes. Par exemple, ajouter du bruit gaussien ou de la compression d’image.

Les auteurs de l’article affirment que l’ajout de bruit diminue autant la protection que la qualité de l’imitation – ce qui est finalement contre-productif pour l’apprentissage.

⭕️ Les limites de l’approche

Il y a déjà tant d’œuvres en accès libre sur Internet, que le mal est déjà fait. Ce procédé nécessite la volonté de l’artiste qui doit protéger l’intégralité de ses oeuvres publiées. C’est compliqué, pour ne pas dire impossible. (Surtout pour les oeuvres publiées à son insu, site de fans, critiques artistiques, etc.)

Ensuite, rien ne garantit qu’une parade ne soit pas trouvée. La protection d’aujourd’hui ne signifie pas la protection de demain, c’est un grand classique en cybersécurité. 

📔Pour aller plus loin

Si vous voulez creuser le sujet :

• Allez sur leur site https://glaze.cs.uchicago.edu/
• Lisez l’article scientifique qui explique plus en détail : http://people.cs.uchicago.edu/~ravenben/publications/pdf/glaze-usenix23.pdf