Learning to Persuade Exposes How Easily LLMs Abandon Correct Beliefs
Di cosa parla
Ricercatori hanno addestrato agenti persuasivi tramite tentativi ed errori per convincere, in una singola interazione, modelli di linguaggio a cambiare risposta: basta un argomento mirato perché un modello abbandoni una credenza corretta, anche se l'argomento è falso. Formalizzano questo rischio come persuasione avversaria e mostrano che le strategie imparate si trasferiscono ad altri modelli; molti persuadenti usano tattiche di credibilità come citazioni inventate e presunte prove autorevoli. Il problema affrontato è la vulnerabilità dei modelli alla persuasione e la necessità di resistenza a influenze dannose nei sistemi che decidono o collaborano con persone.
Cosa permette di osservare
Questo lavoro invita a chiedersi quanto siano fragili le convinzioni corrette dei modelli, quali tattiche persuasive risultano più efficaci e quali contromisure potrebbero rendere agenti e decisioni condivise meno soggetti a manipolazione linguistica.
Dalla fonte
Persuasion is a core dynamic of natural language communication, shaping how large language models (LLMs) update beliefs, resolve disagreements, and reach decisions. As LLMs increasingly debate, advise, and think collaboratively with humans and each other, resistance to harmful persuasion becomes a core requirement for reliable behavior. Yet we show that this requirement is far from met: a single targeted persuasive argument is enough to collapse model accuracy to near zero, even when the argument is factually false. We formalize this threat as adversarial persuasion and introduce an adversarial reinforcement learning framework that trains persuader agents to change a target model's answer in a single interaction. First, we show that optimizing persuasion strategies through trial and error exposes vulnerabilities that static prompting misses: RL-trained persuaders raise persuasion succes…