When the Knowledge Base Becomes the Gold Standard: Measuring Resource-Shared Evaluation Loops in Entity-Level Machine Translation
Di cosa parla
Si indaga cosa succede quando, per tradurre nomi e riferimenti in documenti storici poveri di risorse, si usa lo stesso archivio di conoscenze sia per aiutare il sistema sia per valutarne i risultati: così la valutazione diventa autoreferenziale. Con annotazioni esperte indipendenti sui nomi di persona, gli autori tengono fisso l'insieme di entità e mostrano che i miglioramenti segnalati provengono soprattutto dalle parti già coperte dall'archivio, mentre la porzione indipendente non mostra veri guadagni.
Cosa permette di osservare
Permette di esplorare se i confronti tra sistemi misurano la reale qualità della traduzione o semplicemente l'allineamento con la stessa fonte usata per giudicare, e suggerisce la necessità di riferimenti indipendenti per valutare traduzioni di nomi e riferimenti storici.
Dalla fonte
The Seungjeongwon Ilgi, a UNESCO Memory of the World record, is only 37.4% translated, and the most conspicuous failure mode in automatic translation is the person name -- a misread name corrupts the historical fact rather than merely the surface. Low-resource historical domains have no expert gold standard for entity translation, so practitioners substitute a knowledge base (KB) for the gold. That KB is the same resource injected into the system: scoring becomes self-referential and the metric measures instruction compliance rather than translation quality. We measure this loop. Using expert person-name annotations from the National Institute of Korean History as a gold independent of the injection pipeline, we hold the entity set fixed and vary only the provenance of the correct reading. Of 527 expert-annotated mentions, only 31.1% lie outside the injection pipeline, and the residual…