Mind the Gap: Structure-Aware Consistency in Preference Learning
Di cosa parla
Si guarda a come si allineano i modelli linguistici alle preferenze umane usando criteri di allenamento che dovrebbero sostituire la verifica reale delle scelte. Gli autori mostrano che i criteri comuni possono fallire: anche minimizzandoli si può lasciare alto l'errore vero. Propongono di richiedere uno scarto di fiducia tra risposte e un metodo che adatta questo scarto alla differenza di significato tra risposte, valutando anche il compromesso con la capacità del modello e quali tipi di criteri funzionano meglio.
Cosa permette di osservare
Consente di esplorare se i criteri usati per insegnare preferenze sono davvero affidabili, come impostare lo scarto di fiducia rispetto ai limiti del modello e come trattare risposte che sono quasi sinonime nel significato.
Dalla fonte
Aligning Large Language Models (LLMs) with human intent, whether through explicit reward modeling or direct methods such as DPO, fundamentally relies on minimizing a surrogate loss as a proxy for the true pairwise ranking objective. We prove that this reliance is flawed for the standard surrogate losses used: for the equicontinuous hypothesis sets characteristic of neural networks, no standard surrogate provides a meaningful consistency guarantee. Minimizing the surrogate loss to zero can leave the true ranking error arbitrarily high. To resolve this, we formulate LLM alignment within a margin-shifted ranking framework and derive $H$-consistency bounds showing that enforcing a confidence margin $\gamma$ is not merely beneficial but necessary for consistency. We further introduce Structure-Aware $H$-consistency and a corresponding objective (SA-DPO) that adapts the margin to the semantic…