La didascalia automatica delle immagini è un processo che consente a modelli già addestrati in esecuzione su computer di base di generare descrizioni testuali da un'immagine. Ad oggi, nessun sistema di Intelligenza Artificiale è stato costruito e addestrato per aiutare nella descrizione delle immagini del patrimonio culturale, tenendo conto del periodo e delle regole di composizione della scena per l'iconografia sacra dal XII al XVIII secolo.
Il San Giorgio in bicicletta il progetto, guidato dal Barcelona Supercomputing Center in collaborazione con Europeana Foundation, mira a fornire capacità di arricchimento dei metadati per il dominio del patrimonio culturale sfruttando le risorse di High Performance Computing (HPC) per addestrare modelli di IA. L'idea di base è utilizzare l'elaborazione del linguaggio naturale e algoritmi di deep learning per addestrare un modello di generazione di sottotitoli basato su decine di migliaia di immagini e descrizioni testuali; di conseguenza, è possibile generare automaticamente descrizioni per centinaia di migliaia di immagini provenienti da vari archivi del patrimonio culturale europeo, che rifletteranno una comprensione della cultura, dei simboli e del contesto storico.
I risultati del progetto saranno utili sia ai professionisti del patrimonio culturale che al pubblico in generale. Le ricche annotazioni consentiranno una buona indicizzazione, che si traduce in un migliore accesso alle raccolte e una migliore esperienza di navigazione attraverso i cataloghi delle raccolte. Questi risultati possono essere sfruttati per progetti educativi, creativi o turistici.
A questo proposito, il progetto ha lanciato una campagna di crowdsourcing in Zooniverse, portale di citizen science basato sulla collaborazione peer-to-peer aperta, al fine di raccogliere quante più annotazioni manuali possibili per addestrare il generatore automatico di sottotitoli e, infine, generare descrizioni in linguaggio naturale del contenuto visivo delle opere d'arte. L'obiettivo finale di questa campagna è fare un passo avanti nel rendere l'arte più comprensibile e accessibile proponendo la generazione automatica di ricche descrizioni dei dipinti. Tutti sono invitati a partecipare a questa campagna di crowdsourcing. Per fare ciò, i partecipanti possono accedere a Zooniverse utilizzando questo link. Aiuta San Giorgio in bicicletta a rendere la cultura e la storia più accessibili alle persone!