Die automatische Bildbeschriftung ist ein Prozess, der es bereits trainierten Modellen, die auf handelsüblichen Computern laufen, ermöglicht, Textbeschreibungen aus einem Bild zu generieren. Bis heute wurde kein System der künstlichen Intelligenz gebaut und trainiert, um bei der Beschreibung von Bildern des Kulturerbes zu helfen, während die Zeitperiode und die Szenenkompositionsregeln für heilige Ikonographie vom 12. bis 18. Jahrhundert berücksichtigt werden.
Der Heilige Georg auf einem Fahrrad Projekt, das vom Barcelona Supercomputing Centre in Zusammenarbeit mit der Europeana Foundation geleitet wird, zielt darauf ab, Möglichkeiten zur Anreicherung von Metadaten für den Bereich des kulturellen Erbes bereitzustellen, indem Ressourcen des Hochleistungsrechnens (HPC) genutzt werden, um KI-Modelle zu trainieren. Die Grundidee besteht darin, die Verarbeitung natürlicher Sprache und Deep-Learning-Algorithmen zu verwenden, um ein Modell zur Generierung von Untertiteln auf der Grundlage von Zehntausenden von Bildern und Textbeschreibungen zu trainieren. Als Ergebnis können automatisch Beschreibungen für Hunderttausende von Bildern aus verschiedenen europäischen Kulturerbe-Repositorien generiert werden, die ein Verständnis von Kultur, Symbolen und historischem Kontext widerspiegeln.
Die Ergebnisse des Projekts werden sowohl für Fachleute des Kulturerbes als auch für die breite Öffentlichkeit von Nutzen sein. Umfangreiche Anmerkungen ermöglichen eine gute Indexierung, was zu einem besseren Zugriff auf Sammlungen und einer besseren Erfahrung beim Navigieren durch Sammlungskataloge führt. Diese Ergebnisse können für Bildungs-, Kreativ- oder Tourismusprojekte genutzt werden.
In diesem Zusammenhang startete das Projekt eine Crowdsourcing-Kampagne in Zooniverse, einem Citizen-Science-Portal, das auf offener Peer-to-Peer-Zusammenarbeit basiert, um so viele manuelle Annotationen wie möglich zu sammeln, um den automatischen Caption-Generator zu trainieren und am Ende zu generieren Beschreibungen des visuellen Inhalts von Kunstwerken in natürlicher Sprache. Das ultimative Ziel dieser Kampagne ist es, einen Schritt nach vorne zu machen, um Kunst verständlicher und zugänglicher zu machen, indem sie die automatische Generierung umfassender Beschreibungen von Gemälden vorschlägt. Jeder ist eingeladen, sich an dieser Crowdsourcing-Kampagne zu beteiligen. Dazu können die Teilnehmer auf Zooniverse zugreifen diesen Link. Helfen Sie Saint George on Bike, Kultur und Geschichte den Menschen zugänglicher zu machen!