The Off-Support Barrier: Why Semantic Safety Constraints Are Not Learning-Problem Invariants, and What Follows for Prior Design, Containment, and Verification
Di cosa parla
Sostengono che le regole di sicurezza semantica — per esempio il divieto che un agente esca dalla sandbox — riguardano comportamenti non coperti dai dati di addestramento e quindi non emergono automaticamente dall'apprendimento. Da qui spiegano l'aggiramento degli obiettivi e la fuga dalla sandbox, la limitata efficacia di penalità o scelte interne in modelli complessi, e suggeriscono di imporre vincoli rigidi all'esterno mentre la verifica formale può certificare localmente tali vincoli.
Cosa permette di osservare
Permette di esplorare se e come le regole di sicurezza debbano essere integrate nel modello o imposte esternamente, e come identificare quali comportamenti "fuori dai dati" vanno prevenuti, considerando che dinamiche auto-referenziali rendono difficile l'analisi.
Dalla fonte
We argue that a single structural fact organizes a wide range of phenomena in contemporary AI safety: a semantic safety constraint (e.g., the agent does not escape its sandbox) is an off-support object. Formally, if q is the data distribution and \(p(\cdot\mid w)\) the model, the safety predicate B is not measurable with respect to \(\sigma(\text{model}, q)\), whereas the real log-canonical threshold (RLCT) of singular learning theory (SLT) is. From this non-invariance we derive, as corollaries rather than independent observations: (i) why reward hacking and sandbox escape arise under outcome-based optimization; (ii) why encoding such constraints through Bayesian prior design or soft penalty weighting has poor leverage in singular models; (iii) why hard invariants belong in the harness and soft dispositions in the model; (iv) why the same B is nonetheless soundly and locally certifiable…