Synchronizing Beliefs with Second-Order Theory-of-Mind in Human-Autonomy Teams (Extended Version)
Di cosa parla
Riprogettano l'insegnamento ai robot chiedendo alle persone quale comportamento preferiscono, ma trattandole come insegnanti attive che conoscono l'obiettivo e possono creare esempi più utili. Accoppiano due modelli: l'insegnante stima quel che il robot sa e il robot stima il modello dell'insegnante (una teoria della mente di secondo ordine), e usano brevi dichiarazioni di comprensione per tenersi sincronizzati; nei test questa strategia migliora l'apprendimento e ripara errori dovuti al cambiare degli insegnanti.
Cosa permette di osservare
Permette di esplorare se conviene lasciare che sia il robot a scegliere cosa mostrare o far progettare le lezioni dalle persone esperte, come modellare reciprocamente le conoscenze nell'interazione e se brevi dichiarazioni di comprensione migliorano la cooperazione.
Dalla fonte
Comparative feedback, asking people which of two behaviors they prefer, has become a standard way to align robot and agent behavior with human intent when the reward itself cannot be specified directly. Preference-based reward learning typically casts the human teacher as a passive oracle answering learner-generated queries. We argue this forfeits the teacher's defining advantage: knowledge of the objective. A teacher who knows the target can construct training examples more efficiently than any learner-driven acquisition strategy, an advantage that widens as the reward's feature dimension grows. However, exploiting this advantage requires an accurate model of what the learner currently knows. We therefore recast preference learning as a human-autonomy team problem coupling two behavioral models: the teacher maintains a model of the learner to design an informative curriculum, and the l…