A Framework for Designing Reward Functions: From Objectives to Features to Human-Aligned Reward Functions
Di cosa parla
Propone un processo concreto per aiutare anche non esperti a costruire funzioni di ricompensa allineate agli umani: regole che danno un punteggio ai risultati in modo coerente con preferenze espresse. Partendo da una descrizione in linguaggio naturale del compito, il metodo individua gli obiettivi fondamentali e misure osservabili, sceglie quali misure includere considerando le relazioni di causa-effetto e poi determina i pesi di queste misure chiedendo iterativamente preferenze umane.
Cosa permette di osservare
Consente di esplorare come tradurre obiettivi generali in misure concrete e come usare le preferenze delle persone per calibrare i compromessi tra obiettivi. Fa sorgere domande su chi può progettare queste regole e su come mantenerle coerenti con le preferenze umane.
Dalla fonte
We present a formal process to enable non-experts to instantiate and iterate on human-aligned reward functions, i.e. reward functions that adhere to a given preference ordering over trajectories. Given a task described in natural language, our process produces a linear reward function in three steps: distill the task's objectives into a set of fundamental objectives and derive measurable outcome variables that capture those fundamental objectives, select a causally representative subset of outcome variables as the reward terms, and fit weights to those reward terms via preference elicitation. Our contributions describe the first step and formalize the latter two steps. The first is a guided workflow for deriving outcome variables. The second is a reduction of reward term selection to minimum-cost partial cover on a causal DAG, solved in polynomial time via max-flow. The third is a geome…