Confidence Calibration of Deep Learning Systems
Di cosa parla
Quando un sistema di intelligenza artificiale dice quanto è sicuro di una risposta, quelle stime devono davvero rispecchiare la probabilità di essere corretti. La tesi propone metodi per rendere più affidabili queste stime anche se le etichette di addestramento sono sbagliate, se il modello viene usato su dati diversi da quelli visti prima e se le risposte degli utenti devono restare private. Estende inoltre l’approccio a tecniche che forniscono insiemi di possibili risposte con una garanzia sul tasso di errore e suggerisce soluzioni che bilanciano riservatezza, fattibilità e affidabilità.
Cosa permette di osservare
Consente di esplorare come valutare la fiducia di un modello quando i dati sono rumorosi o provengono da domini diversi, e quali compromessi tra privacy degli utenti e attendibilità delle stime di incertezza occorre affrontare.
Dalla fonte
In high-stakes applications, reliable confidence estimates are as important as the predictions themselves. Confidence calibration ensures that predicted probabilities reflect the likelihood of correctness, making it essential for safe deployment of deep learning models. However, existing methods typically assume access to clean validation data, which is often unrealistic due to label noise and domain shifts. This thesis develops methods for improving calibration under these conditions. First, we address calibration under label noise. Standard methods can produce misleading confidence estimates when labels are unreliable. We propose a framework that uses an estimated noise model to reconstruct noise-free confidence estimates by modeling the relationship between noisy and clean label distributions. We extend this approach to Conformal Prediction (CP), which provides set-valued predictions…