Better, Faster, Stronger: Programmatic Skill Learning Best Reduces Agent Cost
Di cosa parla
Si esplora come rendere più economico adattare agenti che usano modelli di linguaggio a nuovi compiti, insegnando loro abilità concepite come piccoli programmi: istruzioni eseguibili passo passo. Eseguendo azioni in modo deterministico, questi programmi permettono di raggiungere obiettivi senza tentativi casuali e comportamenti degradanti, e l'agente può scoprirli e migliorarli analizzando le proprie sequenze di azioni passate. Gli autori mostrano un agente chiamato SpeedRunner che riorganizza queste abilità e ottiene risparmi nei costi e miglioramenti nell'apprendimento in diversi ambienti di prova, mantenendo prestazioni anche quando le condizioni cambiano.
Cosa permette di osservare
Permette di esplorare se trattare le abilità come programmi è la strategia che più riduce i costi pratici degli agenti e se l'analisi delle azioni già compiute, senza ulteriori procedure di controllo, basta per imparare abilità utili quando l'ambiente varia.
Dalla fonte
Recently, the practice of augmenting LLM agent capability with skills has gained prevalence. We explore the cost effective adaptation of agents to novel domains by means of learning skills. Existing works focus on performance gain over cost effectiveness. As a result, little is known about what skill learning strategies save cost. We argue that among all the different skill learning methods, those that view skills as programs can achieve the best cost reduction. By executing sequences of actions deterministically, a program-augmented agent can reliably and cheaply achieve goals that would otherwise require trial and error and risk degenerate behavior over long horizons. An agent can learn at inference time by incrementally discovering these programs and equipping them for future tasks. We hypothesize that past trajectories contain enough signal to guide skill learning, even without repl…