TMRL: Diffusion Timestep-Modulated Pretraining Enables Exploration for Efficient Policy Finetuning
Di cosa parla
Si presenta un metodo per addestrare robot che parte dall’imitazione di esempi e poi introduce rumore controllato nelle osservazioni: così il comportamento può andare da una copia precisa a scelte più varie. Nel passo successivo il robot impara a regolare quanto rumore usare, controllando l’esplorazione durante l’affinamento del comportamento; il metodo funziona con diversi tipi di sensori, dalle immagini alle nuvole di punti 3D, e permette di addestrare robot reali in tempi molto rapidi.
Cosa permette di osservare
Consente di esplorare se inserire rumore controllato nel pre‑addestramento e poi lasciare che il robot regoli quel rumore durante il perfezionamento accelera l’adattamento a nuovi compiti e a input sensoriali diversi.
Dalla fonte
Fine-tuning pre-trained robot policies with reinforcement learning (RL) often inherits the bottlenecks introduced by pre-training with behavioral cloning (BC), which produces narrow action distributions that lack the coverage necessary for downstream exploration. We present a unified framework that enables the exploration necessary to enable efficient robot policy finetuning by bridging BC pre-training and RL fine-tuning. Our pre-training method, Context-Smoothed Pre-training (CSP), injects forward-diffusion noise into policy inputs, creating a continuum between precise imitation and broad action coverage. We then fine-tune pre-trained policies via Timestep-Modulated Reinforcement Learning (TMRL), which trains the agent to dynamically adjust this conditioning during fine-tuning by modulating the diffusion timestep, granting explicit control over exploration. Integrating seamlessly with…