ATMA: Long-Context Language Modeling via Polar Attention and Gated-Delta Compression Memory
Di cosa parla
ATMA è una ricetta ibrida per modelli di linguaggio che abbina Polar Attention — che separa una componente di "direzione" da una che misura quanto ogni elemento contribuisce — a una memoria ricorrente con meccanismi di gating. La ricerca confronta questa soluzione con altre varianti su contesti molto lunghi per studiare il compromesso tra recupero di informazioni da documenti estesi, qualità su contesti brevi e costi. Trovano che l'aggiunta di memoria migliora il recupero per la variante Polar; il recupero esatto funziona su dati sintetici ma non sui documenti reali, e controlli sui checkpoint mostrano che curve molto simili a breve termine possono nascondere grandi differenze a lunghezze estreme, attribuite a variazioni dell'infrastruttura.
Cosa permette di osservare
Invita a esplorare se nuove strutture di attenzione e memoria migliorano davvero il recupero su documenti reali, come bilanciare prestazioni su contesti corti e lunghi, e quanto le misurazioni a breve termine possano nascondere problemi che emergono solo su contesti molto estesi.
Dalla fonte
Length extrapolation in language models involves competing objectives: retrieval fidelity, long-document likelihood, short-context quality, and inference cost. We present ATMA, a 378M-parameter hybrid recipe that combines Polar Attention with gated-delta recurrent memory, and study these objectives as a Pareto problem rather than claiming general architectural dominance. Polar Attention separates a normalized direction channel from a bounded participation-ratio magnitude channel. We select the recipe with a complete 120-cell, 1B-token factorial sweep, then train matched NoPE, RoPE, and Polar variants for 9.816B tokens at length 2K and evaluate them through 256K. Across the factorial, memory improves Polar's 64K retrieval score in all 20 matched cells (mean +47.8 points), whereas its effect on NoPE is small and inconsistent. At 256K, Polar retains 34.4% teacher-forced target-token accura…