Optimized Deferral for Imbalanced Settings
Di cosa parla
Si esplora come far decidere a un sistema se rispondere da solo o passare richieste difficili a esperti esterni, migliorando accuratezza senza consumare molte risorse in più. Il lavoro affronta lo squilibrio per cui il sistema tende a favorire sempre gli stessi esperti e propone una nuova formulazione che considera insieme tipo di input ed esperto, con nuove regole d’apprendimento e un algoritmo chiamato MILD.
Cosa permette di osservare
Consente di chiedersi come evitare che un sistema sovraccarichi sempre gli stessi esperti e come instradare meglio le richieste complesse, anche in scenari con modelli di linguaggio o diagnosi automatica.
Dalla fonte
Learning algorithms can be significantly improved by routing complex or uncertain inputs to specialized experts, balancing accuracy with computational cost. This approach, known as learning to defer, is essential in domains like natural language generation, medical diagnosis, and computer vision, where an effective deferral can reduce errors at low extra resource consumption. However, the two-stage learning to defer setting, which leverages existing predictors such as a collection of LLMs or other classifiers, often faces challenges due to an expert imbalance problem. This imbalance can lead to suboptimal performance, with deferral algorithms favoring the majority expert. We present a comprehensive study of two-stage learning to defer in expert imbalance settings. We cast the deferral loss optimization as a novel cost-sensitive learning problem over the input-expert domain. We derive ne…