Who Would You Vote For? Auditing Political Alignment in LLMs: An Italian Case-Study
Di cosa parla
Si indaga se e come i grandi modelli linguistici — programmi che generano risposte in linguaggio naturale — esprimono preferenze su partiti e leader italiani, chiedendo loro valutazioni su diversi aspetti. Viene usato un metodo sistematico e riproducibile per osservare la coerenza delle risposte, le differenze tra modelli, la frequenza dei rifiuti a rispondere e come le risposte cambiano se la domanda è formulata diversamente o se al modello viene assegnata una persona.
Cosa permette di osservare
Permette di esplorare quanto le risposte dei modelli dipendano dalla formulazione delle domande, dall'identità finta assegnata loro e dalle differenze fra modelli, offrendo uno strumento per valutare la neutralità delle loro valutazioni politiche.
Dalla fonte
As users increasingly turn to Large Language Models (LLMs) for information and advice on political matters, particularly during election periods, the political preferences expressed by these systems have become a matter of public interest. Prior research has shown that interactions with LLMs can influence users' political attitudes and choices, raising questions about how these models themselves evaluate political actors. In this paper, we investigate whether and how LLMs express preferences toward political parties and political leaders. We introduce a systematic and reproducible auditing framework in which multiple LLMs are prompted to evaluate parties and leaders across nine criteria. Rather than attempting to infer the models' "true" political beliefs, we focus on their observable behavior, examining consistency across evaluations, differences between models, refusal rates, and sens…