Teaching LLMs to Update Beliefs for Efficient Long-Horizon Interaction
Di cosa parla
Per permettere ai modelli linguistici di lavorare su compiti molto lunghi senza tenere tutta la cronologia, il lavoro introduce l’idea di usare “stati di credenza”: riassunti in linguaggio naturale che il modello aggiorna man mano. Il metodo separa il compito di fare i riassunti e insegna al modello a valutare e migliorare il contenuto di questi riassunti controllando se conservano le informazioni utili, con l’obiettivo di usare meno memoria mantenendo buone prestazioni in attività come la programmazione collaborativa.
Cosa permette di osservare
Il contenuto invita a esplorare se e come supervisionare esplicitamente ciò che un assistente «ricorda» possa rendere le interazioni lunghe più efficaci e interpretabili, e quale compromesso scegliere tra riassunti leggibili e memorie più compatte per sistemi che imparano nel tempo.
Dalla fonte
Overview of ABBEL compared to traditional recursive summarization. Beliefs replace the full interaction history as the agent’s working context, and belief grading improves performance by supervising the contents of each belief state.. As task horizons grow, LLM contexts can’t scale forever. Self-summarization enables concise, interpretable contexts, but at a significant performance cost, especially for human assistance domains where high quality data is scarce, e.g., collaborative code generation. We address this with ABBEL : a framework that isolates and supervises the information content of summaries in the form of natural-language belief states. Motivation: the cost of recursive summarization For language models to effectively assist with increasingly complex tasks such as software development, they must be able to interact with us over hundreds or even thousands of steps. For such l…