Le sous-titrage automatique des images est un processus qui permet à des modèles déjà formés s'exécutant sur des ordinateurs de base de générer des descriptions textuelles à partir d'une image. À ce jour, aucun système d'intelligence artificielle n'a été construit et formé pour aider à la description des images du patrimoine culturel, tout en tenant compte des règles de composition de la période et de la scène pour l'iconographie sacrée du XIIe au XVIIIe siècle.
Le Saint Georges à vélo Le projet, dirigé par le Barcelona Supercomputing Center en collaboration avec la Fondation Europeana, vise à fournir des capacités d'enrichissement des métadonnées pour le domaine du patrimoine culturel en tirant parti des ressources de calcul à haute performance (HPC) pour former des modèles d'IA. L'idée de base est d'utiliser des algorithmes de traitement du langage naturel et d'apprentissage en profondeur pour former un modèle de génération de légendes basé sur des dizaines de milliers d'images et de descriptions textuelles ; en conséquence, des descriptions de centaines de milliers d'images provenant de divers référentiels du patrimoine culturel européen peuvent être générées automatiquement, ce qui reflétera une compréhension de la culture, des symboles et du contexte historique.
Les résultats du projet seront utiles à la fois aux professionnels du patrimoine culturel et au grand public. Des annotations riches permettront une bonne indexation, ce qui se traduit par un meilleur accès aux collections et une meilleure expérience de navigation dans les catalogues de collections. Ces résultats peuvent être exploités pour des projets éducatifs, créatifs ou touristiques.
À cet égard, le projet a lancé une campagne de crowdsourcing dans Zooniverse, un portail de science citoyenne basé sur une collaboration ouverte entre pairs, afin de collecter autant d'annotations manuelles que possible pour entraîner le générateur de sous-titres automatiques et, au final, générer descriptions en langage naturel du contenu visuel des œuvres d'art. Le but ultime de cette campagne est de faire un pas en avant pour rendre l'art plus compréhensible et accessible en proposant la génération automatique de descriptions riches de peintures. Tout le monde est invité à participer à cette campagne de crowdsourcing. Pour ce faire, les participants peuvent accéder à Zooniverse en utilisant ce lien. Aidez Saint George à vélo à rendre la culture et l'histoire plus accessibles aux gens !