Localizing Safety Alignment: MLP Layers and Mid-Network Blocks Encode Refusal Behavior in Large Language Models
Di cosa parla
Hanno trasferito parti di modelli "allineati" — cioè che rifiutano risposte dannose — dentro modelli non allineati per capire dove è memorizzato il rifiuto. Il risultato indica che il rifiuto è soprattutto concentrato in certi moduli interni chiamati MLP (i componenti che trasformano le informazioni), in particolare in blocchi centrali della rete. Inoltre, aggiungere più blocchi allineati non sempre aiuta: a volte peggiora, e combinazioni selettive possono funzionare meglio.
Cosa permette di osservare
Permette di esplorare se la sicurezza dei modelli sia localizzata in parti specifiche e se intervenire su singoli blocchi possa cambiare il comportamento; mostra anche che la scelta dei test usati influenza quali componenti risultano rilevanti.
Dalla fonte
Safety alignment in large language models is often treated as a distributed property of the entire network, yet its practical brittleness suggests that refusal behavior may be concentrated in a smaller set of parameters. This work addresses where safety-aligned refusal is encoded by transplanting weights from aligned models into matched unaligned base models at multiple levels of granularity. Using two open-weight model pairs and four safety benchmarks, we conducted experiments to compare the effects of replacing attention weights, MLP weights, contiguous layer regions, and MLP blocks. Across both model families, refusal transfer is dominated by MLP weights: replacing MLP parameters recovers substantially more malicious-prompt refusal than replacing attention parameters, with gains of at least 2.7 times more across benchmarks. Within the MLP stack, refusal-relevant parameters exhibit a…