Des algorithmes « émotifs » face à des œuvres d’art

Reconnaitre les images

Un problème clé en informatique est d'apprendre aux ordinateurs à "comprendre" les images. Traditionnellement, cela signifie développer des algorithmes qui seraient capables, à partir d'une image, de détecter si elle contient des attributs tels que des visages ou des objets communs, par exemple des chaises, des avions, etc.

Les premiers travaux informatiques ont tenté de résoudre ce problème en élaborant des règles complexes et artisanales. Les systèmes plus modernes s'appuient sur des techniques d'apprentissage automatique (machine learning) auxquels sont fournis une grande quantité de données annotées pour qu’ils essaient d'apprendre des « règles » à partir de ces données. A partir de cet apprentissage, l’algorithme est capable d’analyser de nouvelles images qui n’avaient pas été annotées jusqu’alors.

De la reconnaissance à l’émotion

Les ensembles de données servant à « former » les algorithmes d’apprentissage existants ne contiennent toutefois que des informations "objectives" ou factuelles sur le contenu des images. Or, la perception humaine est beaucoup plus complexe et comporte également une composante "émotionnelle" ou affective - certaines images nous rendent heureux, tandis que d'autres peuvent nous rendre tristes ou même fâchés. Il est par exemple impossible de saisir l'effet que le Guernica de Picasso pourrait avoir sur quelqu'un en énumérant simplement tous les objets qu'il représente.

Et c’est justement ce défi qu’ont cherché à relever Panos Achlioptas, doctorant à l’Université de Stanford, Leonidas Guibas son directeur de thèse et Maks Ovsjanikov, professeur au Laboratoire d’informatique de l’Ecole polytechnique (LIX*) qui avait également réalisé sa thèse sous l’encadrement de Leonidas Guidas. Ce trio a été rejoint par Mohamed Elhoseiny et Kilichbek Haydarov, tous deux chercheurs à l’Université des sciences et technologies du roi Abdallah (KAUST en Arabie Saoudite) en raison de leur expertise dans l'analyse des œuvres d'art.

« Dans notre travail, nous nous sommes attachés à créer un nouvel ensemble de données et des modèles d'apprentissage machine associés qui englobent la subjectivité et l'effet émotionnel de la perception. » explique Maks Ovsjanikov dont le travail s’inscrit en partie dans le cadre de son projet EXPROTEA financé par une ERC Starting Grant.

Des milliers de commentaires pour apprendre

« Tous les membres du groupe ont une solide expérience de l'apprentissage machine, mais c'est le premier projet de ce type pour nous. Nous nous sommes concentrés sur les œuvres d'art car elles sont souvent créées explicitement pour susciter une forte réponse émotionnelle » raconte le chercheur.

Pour réaliser la base de données que les algorithmes devaient apprendre, ils ont utilisé plus de 80 000 œuvres d'art et sur lesquels les internautes ont créé des annotations sur l'émotion qu'ils ont ressentie en voyant l'œuvre, ainsi qu'une brève explication du pourquoi.

Cela a conduit un ensemble de données entièrement nouveau, qu’ils ont baptisé ArtEmis, contenant plus de 439 000 explications incroyablement créatives et diverses qui relient les attributs visuels à des états psychologiques et incluent des descriptions imaginatives ou métaphoriques d'objets qui pourraient même ne pas apparaître directement dans l'image (par exemple, "ça me rappelle ma grand-mère").

En utilisant ce nouvel ensemble de données, les chercheurs ont développé des méthodes d'apprentissage approfondi inédites qui peuvent produire des explications "émotionnelles" plausibles sur des images nouvelles, qui ne se trouvent pas dans la base initiale de référence.

Les annotations produites par ces nouveaux systèmes sont plus riches que celles des systèmes informatiques standard et ont parfois un aspect remarquablement humain (par exemple, "cette peinture me donne l'impression de regarder un rêve").

« Bien que nous soyons encore loin de modéliser la perception humaine, nous espérons que ce projet contribuera à mettre en lumière l'effet émotionnel des images et même, à terme, à la création de nouvelles œuvres d'art » imagine Maks Ovsjanikov.

> En savoir plus sur le projet EXPROTEA de Maks Ovsjanikov

*LIX : une unité mixte de recherche CNRS, École polytechnique - Institut Polytechnique de Paris