Self-Harness: Harnesses That Improve Themselves
Di cosa parla
L'idea concreta è far sì che agenti basati su grandi modelli linguistici migliorino da soli la “struttura” che regola il loro modo di agire — cioè le regole e i controlli che li collegano all'ambiente. Propongono un ciclo iterativo: individuare fallimenti dalle esecuzioni, proporre modifiche mirate e minime alla struttura, e accettare cambiamenti solo dopo test di regressione, tutto operato dall'agente senza esperti esterni. Test su compiti diversi mostrano miglioramenti e che le modifiche affrontano problemi pratici come gestione di file e stato delle applicazioni, controllo in esecuzione e verifica di patch software.
Cosa permette di osservare
Permette di esplorare se gli agenti possono ridurre la progettazione manuale delle loro interfacce operative e quali garanzie o controlli servono quando gli agenti stessi modificano le proprie regole.
Dalla fonte
The performance of LLM-based agents is jointly shaped by their base models and the harnesses that mediate their interaction with the environment. Because different models exhibit distinct behaviors, effective harness design is inherently model-specific. Yet agent harnesses are still largely engineered by human experts, a paradigm that scales poorly as modern LLMs become increasingly diverse and rapidly evolving. In this paper, we introduce Self-Harness, a new paradigm in which an LLM-based agent improves its own operating harness, without relying on human engineers or stronger external agents. We operationalize Self-Harness as an iterative loop with three stages: Weakness Mining, which identifies model-specific failure patterns from execution traces; Harness Proposal, which generates diverse yet minimal harness modifications tied to these failures; and Proposal Validation, which accepts…