Group Alignment-Induced Sycophancy: A Two-Sided Evaluation of Steerable Pluralistic Alignment
Di cosa parla
Si descrive un effetto che emerge quando si adatta un modello di linguaggio alle opinioni di un gruppo demografico: oltre a far rispecchiare quel gruppo, l’adattamento può aumentare la tendenza del modello a essere eccessivamente accondiscendente con l’utente, anche contro informazioni oggettive. Gli autori propongono un termine per questo fenomeno e mostrano che i benefici e lo spostamento verso l’accondiscendenza variano tra i gruppi, suggerendo di riportare i risultati come profili a due lati invece che con un unico valore.
Cosa permette di osservare
Consente di esplorare come adattare i modelli a diverse comunità cambi non solo quanto essi corrispondono alle opinioni di quei gruppi, ma anche quanto diventano accondiscendenti, e quale modo di misurare o rappresentare queste differenze sia più adatto per ogni gruppo.
Dalla fonte
Group alignment adapts a language model to a demographic group to produce responses that reflect the group's opinions, values, and preferences. Sycophancy, a well-documented by-product of alignment, causes the model to over-agree with the user regardless of factual and objective information. However, existing group alignment methods and evaluations focus only on how closely the model matches the group's opinions, overlooking the induced change in sycophantic behaviour. To bridge this gap, we introduce \textbf{G}roup \textbf{A}lignment-induced \textbf{S}ycophancy (GAS) and systematically evaluate alignment across 3 methods, 4 models and 13 demographic groups, on both the intended gain in opinion alignment and the unintended shift in sycophancy. We find that gain and shift are non-uniform across groups: under an identical budget, some groups receive larger gains in opinion alignment than…