Veraltete Benchmarks im Entity Linking? Warum wir sie aktualisieren sollten

Die Verlinkung von Entitäten (Entity Linking, kurz EL) ist eine zentrale Aufgabe in der Verarbeitung natürlicher Sprache. Dabei werden Begriffe oder Namen im Text – sogenannte Mentions – mit den passenden Einträgen in einer Wissensdatenbank wie Wikipedia oder Wikidata verknüpft. Das klingt einfach, ist aber oft herausfordernd: Ein Begriff wie „Apple“ kann je nach Kontext entweder den Technologiekonzern oder die Frucht meinen.

Um EL-Modelle zu entwickeln und vergleichen zu können, kommen standardisierte Benchmarks wie AIDA-CoNLL oder TAC KBP zum Einsatz. Diese Datensätze enthalten bereits vorannotierte Verlinkungen und ermöglichen eine faire Evaluation verschiedener Ansätze. Doch hier liegt ein oft übersehener Haken: Viele dieser Benchmarks sind mittlerweile veraltet. Die zugrundeliegenden Wikipedia-Artikel wurden umbenannt, zusammengeführt oder gelöscht – was dazu führt, dass Modelle auf veraltete Referenzen trainiert und bewertet werden.

Das ist nicht nur ärgerlich, sondern kann auch die Qualität und Aussagekraft von Evaluationen erheblich beeinträchtigen. Ein Modell, das eigentlich korrekt auf die aktuelle Entität verlinkt, wird im schlimmsten Fall als „falsch“ gewertet, weil die Benchmark auf einem alten Link basiert.

In meinem Studienprojekt entwickle ich deshalb ein Tool, das genau dieses Problem adressiert: Es erkennt automatisch, wenn eine Entität in einem Benchmark nicht mehr aktuell ist, und aktualisiert die Verlinkung auf eine gültige, aktuelle Version – entweder auf den heutigen Stand oder auf eine frühere Version zu einem bestimmten Zeitpunkt. Damit wird eine faire und zeitgemäße Bewertung von EL-Modellen möglich.