El subtitulado automático de imágenes es un proceso que permite que los modelos ya entrenados que se ejecutan en computadoras básicas generen descripciones textuales a partir de una imagen. Hasta la fecha, no se ha construido ni entrenado ningún sistema de inteligencia artificial para ayudar en la descripción de las imágenes del patrimonio cultural, teniendo en cuenta las reglas de composición del período de tiempo y la escena para la iconografía sagrada de los siglos XII al XVIII.
El San Jorge en bicicleta El proyecto, liderado por el Barcelona Supercomputing Center en colaboración con la Fundación Europeana, tiene como objetivo proporcionar capacidades de enriquecimiento de metadatos para el dominio del patrimonio cultural aprovechando los recursos de Computación de Alto Rendimiento (HPC) para entrenar modelos de IA. La idea básica es utilizar algoritmos de procesamiento de lenguaje natural y aprendizaje profundo para entrenar un modelo de generación de subtítulos basado en decenas de miles de imágenes y descripciones textuales; como resultado, se pueden generar automáticamente descripciones de cientos de miles de imágenes de varios depósitos del patrimonio cultural europeo, lo que reflejará una comprensión de la cultura, los símbolos y el contexto histórico.
Los resultados del proyecto serán de utilidad tanto para los profesionales del patrimonio cultural como para el público en general. Las anotaciones enriquecidas permitirán una buena indexación, lo que se traduce en un mejor acceso a las colecciones y una mejor experiencia al navegar por los catálogos de las colecciones. Estos resultados pueden ser aprovechados para proyectos educativos, creativos o turísticos.
En este sentido, el proyecto lanzó una campaña de crowdsourcing en Zooniverse, un portal de ciencia ciudadana basado en la colaboración abierta entre pares, con el fin de recopilar la mayor cantidad posible de anotaciones manuales para entrenar al generador automático de subtítulos y, al final, generar descripciones en lenguaje natural del contenido visual de las obras de arte. El objetivo último de esta campaña es dar un paso adelante en la tarea de hacer el arte más comprensible y accesible proponiendo la generación automática de ricas descripciones de pinturas. Todos están invitados a participar en esta campaña de crowdsourcing. Para hacerlo, los participantes pueden acceder a Zooniverse usando click en este enlace. ¡Ayuda a Saint George on Bike a hacer que la cultura y la historia sean más accesibles para las personas!