AI Guardrail Survival under Single-Cycle Agentic Self-Summarization
Di cosa parla
Alcuni agenti — cioè programmi che conversano e prendono decisioni nel tempo — riscrivono periodicamente la loro cronologia trasformandola in un sommario generato automaticamente. Lo studio esamina cosa succede a una regola di sicurezza dopo una singola di queste compattazioni: spesso il testo della regola rimane ma smette di funzionare davvero, quindi controllare solo la sua presenza dà un falso senso di sicurezza. La perdita è silenziosa e si scopre confrontando il sommario con una fonte esterna; i risultati riguardano un solo ciclo di compattazione.
Cosa permette di osservare
Permette di esplorare se basarsi soltanto sul fatto che una regola sia ancora scritta nel sommario sia sufficiente per garantirne l’effetto, e quali verifiche esterne o pratiche di controllo servono per accertare che la regola continui a impedire comportamenti indesiderati.
Dalla fonte
Long-running agents periodically compact their context, replacing the transcript with a model-generated summary.Recent work shows that dropping a standing safety constraint during compaction drives behavioral violations acrossmany models (Governance Decay; Chen, 2026). We ask a finer question: under a single compaction cycle, how is a safetyrule lost, and what does that imply for detection and evaluation? Our central finding is that a presence check is not asafety check: when compaction does not drop a rule outright, it often leaves something that looks like a rule but doesnot act like one. On behavioral replay, a degraded residue leads the model to perform the prohibited action far more oftenthan an intact welded rule does (all-case gaps of +34 and +57 points under two replay models, both positive), category-level survival behaves like a residue, and even intact rules sometimes fail to…