Orientation, not magnitude: the causal structure of task-vector interference in merged language models
Di cosa parla
Combinano due modelli di linguaggio per ottenere un modello che svolga più compiti e seguono l’interazione che si genera fra quei compiti mentre attraversa i vari strati. Trova che non è la forza dell’interazione a spiegare l’interferenza, ma la sua direzione: cancellarla funziona solo in punti specifici perché la rete tende a ricostruirla durante l’elaborazione, e alcune istruzioni iniziali la nascondono invece di ridurla. Gli autori preregistrano le loro previsioni e riportano anche i risultati che le contraddicono.
Cosa permette di osservare
Invita a chiedersi se, nel combinare modelli per più compiti, sia più utile guardare alla direzione delle interazioni tra compiti che alla loro intensità, e come il formato dell’istruzione o il punto di intervento possano cambiare l’effetto osservato.
Dalla fonte
Model merging by task arithmetic works until it doesn't, and the field diagnoses why with magnitudes: layerwise representation bias, deviations from cross-task linearity, parameter overlap. Tracking the exact layerwise cross-term of merged LLMs through a factorial ledger and intervening on it directly, we find magnitude insufficient - and inconsistent across model families - as a diagnostic axis. An exact decomposition of the layerwise flux shows it is dominated by amplifying transport of the existing cross-term (~65-70% in both families, gain >1 per late block), and erasing the term is undone by propagation - rebuilt to 99% of its norm at cosine 0.99 - unless applied near the output; a basin test with six starting displacements establishes the carried direction as an attractor of the forward pass. That direction is causally load-bearing: erasure along it removes expressed interference…