ADEPT: A Unified Framework for Deep Learning Test Adequacy
Di cosa parla
ADEPT è uno strumento che riunisce in un unico flusso di lavoro diverse tecniche usate per valutare quanto i test coprano i casi rilevanti per modelli di apprendimento profondo. Affronta il problema della frammentazione: molte tecniche esistono come prototipi separati, difficili da installare, confrontare e riutilizzare. ADEPT offre un'interfaccia estendibile per aggiungere nuove tecniche, gestione della configurazione, riuso dei passaggi di preparazione dei dati e report standardizzati per facilitare riproduzione e applicazione pratica.
Cosa permette di osservare
Permette di esplorare come confrontare e scegliere tra diverse modalità di valutazione dei test sui modelli e quanto strumenti unificati possano semplificare la riproduzione, il confronto e l'adozione di queste valutazioni nella ricerca e nello sviluppo.
Dalla fonte
Over the past decade, many test adequacy metrics have been proposed for deep learning that characterize test dataset adequacy from different perspectives, e.g., neuron activation behavior, latent feature coverage, decision-boundary exploration, etc. However, these metrics are typically released as independent research prototypes with substantially different installation and preprocessing requirements, execution workflows, and configuration mechanisms. These complications make them quite difficult to reproduce, compare, and adopt in research work and practical deployment alike. In this paper, we present the engineering details of ADEPT, a framework that integrates representative adequacy techniques, including neuron-coverage-based metrics, surprise adequacy, input distribution coverage, boundary coverage, and source- and model-level mutation score, under a consistent execution workflow.…