SteeringSafety: Benchmarking Representation Steering in LLMs Across Safety Perspectives
Di cosa parla
SteeringSafety è uno strumento che confronta modi diversi di «guidare» il comportamento dei grandi modelli linguistici rispetto a più prospettive di sicurezza, come il rifiuto di rispondere a richieste pericolose, i pregiudizi, le allucinazioni (quando il modello inventa fatti), i comportamenti sociali, il ragionamento, l’integrità epistemica (coerenza delle credenze) e il giudizio normativo. I test su diversi modelli mostrano che l’efficacia varia molto a seconda dell’abbinamento tra metodo, modello e prospettiva. Migliorare un aspetto spesso altera significativamente gli altri, con degradazioni o spostamenti comportamentali ampi e talvolta imprevedibili.
Cosa permette di osservare
Permette di esplorare i compromessi tra obiettivi di sicurezza: se correggere un singolo comportamento basti oppure serva valutare contemporaneamente molte prospettive per evitare effetti collaterali imprevedibili tra comportamenti, credenze e giudizi.
Dalla fonte
We introduce SteeringSafety, a benchmark for evaluating representation steering methods across nine safety perspectives spanning 18 datasets. While prior work highlights the general capabilities of representation steering, we focus on safety perspectives including refusal, bias, hallucination, social behaviors, reasoning, epistemic integrity, and normative judgment. SteeringSafety provides modularized building blocks for state-of-the-art steering methods, enabling unified implementation of DIM, ACE, CAA, PCA, and LAT with recent enhancements such as conditional steering. Results on Gemma-2-2B, Llama-3.1-8B, and Qwen-2.5-7B show that strong steering performance depends on the pairing of method, model, and specific perspective. For instance, DIM is consistently effective, yet all methods exhibit substantial entanglement, where improving effectiveness on one safety perspective often signif…