Filigranes d’images IA : BitMark résiste mieux au réentraînement d’un modèle

Oui, un filigrane apposé sur une image générée par intelligence artificielle peut rester détectable après avoir servi à entraîner un nouveau modèle, mais pas toujours. Selon les travaux de Michel Meintz, chercheur au CISPA au sein du SprintML Lab, tout dépend de la manière dont ce filigrane a été conçu et de l’architecture du modèle qui apprend à partir des images marquées.

Pourquoi la question se pose maintenant

Les filigranes servent de plus en plus à signaler qu’une image vient d’un générateur et à remonter jusqu’à sa provenance. Jusqu’ici, la recherche vérifiait surtout leur tenue face aux retouches : recadrage, compression, altérations diverses. L’étude du CISPA déplace le problème vers un autre terrain, celui de l’apprentissage.

Car ces images circulent massivement en ligne, ce qui augmente la probabilité qu’elles se retrouvent dans les corpus d’entraînement de nouveaux générateurs. Le chercheur y voit un risque pour la qualité des systèmes : « The more you train on your own synthetic data, the more likely the model’s quality is to deteriorate. » Repérer ces contenus synthétiques, et les écarter si nécessaire, devient donc utile. Restait à savoir si le marquage résistait à un cycle d’entraînement, ce que personne n’avait établi.

Un protocole en deux modèles

La démarche tient en une chaîne. Un premier générateur produit des images porteuses d’un filigrane. Ce lot devient la base d’apprentissage d’un second modèle. Une fois entraîné, ce dernier crée à son tour des images, dans lesquelles l’équipe cherche la trace du marquage d’origine.

Point important pour comprendre la portée du résultat : la détection ne s’opère pas image par image. Les chercheurs ont analysé statistiquement, de façon groupée, les signaux présents dans plusieurs ensembles d’images. Leurs conclusions figurent dans l’article « Watermark Degradation Across Model Iterations », présenté à Florence lors de l’ACM Workshop on Information Hiding and Multimedia Security (IH&MMSec 26), comme le rapporte Tech Xplore.

Quatre méthodes, des résultats contrastés

Une limite s’impose : la performance de BitMark n’a été démontrée que sur ce modèle précis, et non sur l’ensemble des architectures. Michel Meintz le résume ainsi : « The transferability of watermarks also depends heavily on the model structure, ».

Ce que l’étude change pour les fournisseurs

• Adapter le marquage au modèle : pour le chercheur, un filigrane doit être pensé pour l’architecture et la méthode de génération visées.
• Des filigranes qui ne se reconnaissent pas entre eux : une entreprise ne détecte que son propre marquage et peut laisser passer une image synthétique signée par un concurrent.
• Un standard commun difficile : un filigrane vérifiable par plusieurs acteurs faciliterait le tri des données, mais Michel Meintz juge un accord compliqué, les entreprises n’ayant ni les mêmes besoins ni les mêmes intérêts.

Pour la suite, le chercheur veut obtenir une détection à partir d’une seule image, ce qui exigerait un signal bien plus marqué ; il s’agit d’un objectif de recherche, pas d’un acquis. Il compte aussi prolonger le principe de BitMark, élaboré jusqu’ici pour Infinity, afin de l’appliquer à d’autres architectures.

Photo à la une. Source : Pexels. Photographe : khezez | خزاز. Licence Pexels.