Saint George on a Bike-project lanceert crowdsourcing-campagne om automatisch natuurlijke taalbeschrijvingen te genereren

Afbeelding: Sint-Joris op een fiets

Automatische ondertiteling van afbeeldingen is een proces waarmee reeds getrainde modellen die op standaardcomputers worden uitgevoerd, tekstuele beschrijvingen van een afbeelding kunnen genereren. Tot op heden is er geen systeem voor kunstmatige intelligentie gebouwd en getraind om te helpen bij de beschrijving van afbeeldingen van cultureel erfgoed, waarbij rekening wordt gehouden met de regels voor tijdsperiode en scènesamenstelling voor heilige iconografie van de 12e tot de 18e eeuw.

De Sint-Joris op de fiets project, geleid door het Barcelona Supercomputing Center in samenwerking met Europeana Foundation, heeft tot doel metadataverrijkingsmogelijkheden te bieden voor het culturele erfgoeddomein door gebruik te maken van High Performance Computing (HPC)-bronnen om AI-modellen te trainen. Het basisidee is om natuurlijke taalverwerking en deep learning-algoritmen te gebruiken om een ​​model voor het genereren van bijschriften te trainen op basis van tienduizenden afbeeldingen en tekstuele beschrijvingen; als resultaat kunnen beschrijvingen voor honderdduizenden afbeeldingen uit verschillende Europese opslagplaatsen voor cultureel erfgoed automatisch worden gegenereerd, wat een weerspiegeling is van een begrip van cultuur, symbolen en historische context.

De resultaten van het project zullen nuttig zijn voor zowel professionals op het gebied van cultureel erfgoed als het grote publiek. Rijke annotaties zorgen voor een goede indexering, wat zich vertaalt in een betere toegang tot collecties en een betere ervaring bij het navigeren door collectiecatalogi. Deze resultaten kunnen worden gebruikt voor educatieve, creatieve of toeristische projecten.

In dit verband lanceerde het project een crowdsourcingcampagne in Zooniverse, een burgerwetenschapsportaal gebaseerd op open peer-to-peer samenwerking, om zoveel mogelijk handmatige annotaties te verzamelen om de automatische ondertitelgenerator te trainen en uiteindelijk te genereren natuurlijke taalbeschrijvingen van de visuele inhoud van kunstwerken. Het uiteindelijke doel van deze campagne is om een ​​stap vooruit te zetten in het begrijpelijker en toegankelijker maken van kunst door het automatisch genereren van rijke beschrijvingen van schilderijen voor te stellen. Iedereen is uitgenodigd om deel te nemen aan deze crowdsourcingcampagne. Om dit te doen, hebben deelnemers toegang tot Zooniverse met behulp van deze link. Help Saint George on Bike om cultuur en geschiedenis toegankelijker te maken voor mensen!

X