Templated or fully synthetic? Prompt construction as a confound in measuring LLM political stance beyond writing assistance
Di cosa parla
Si indaga come il modo in cui si costruiscono le richieste rivolte ai grandi modelli linguistici influenzi la valutazione della loro posizione politica. Confrontando richieste tratte da chat reali, richieste costruite su schemi fissi e richieste interamente generate da un modello, gli autori mostrano che quelle generate dall'IA risultano tanto realistiche quanto le reali e più credibili di quelle schematiche, mentre le richieste schematiche possono inclinare le stime della posizione politica, soprattutto in formulazioni neutrali.
Cosa permette di osservare
Permette di esplorare se usare richieste generate dall'IA dia valutazioni più fedeli della posizione politica rispetto a schemi predefiniti e come il formato delle richieste alteri i risultati, in particolare per compiti aperti come cercare informazioni o condividere opinioni.
Dalla fonte
Political stance detection in LLMs has long been dominated by closed-ended, multiple-choice political survey questions---originally designed for humans, and thus lacks the realism and nuance of human-AI interactions in the wild, while also being susceptible to sandbagging. The recent IssueBench framework substantially mitigates these limitations with templated prompts anchored in real-world chat logs. Given the rise in non-work-related use of GenAI assistants, we extend IssueBench beyond writing assistance to include two additional tasks, information seeking and opinion sharing. We argue that templated prompts still lack the nuance of real ones, especially for open-ended tasks, and remain recognisable as evaluation artefacts. We propose the use of fully synthetic (LLM-generated) prompts, produced under detailed instructions with real prompts as seeds. We assess the ecological validity o…