Teaching agentic AI to learn expert reasoning for rare disease diagnosis
Di cosa parla
Hanno preso un modello linguistico generico e lo hanno guidato a ragionare come un medico esperto per supportare la diagnosi di malattie rare. Lo fanno con un processo governato in cui gli errori del modello e le correzioni degli specialisti vengono trasformate in regole esplicite che i clinici possono ispezionare, modificare e riutilizzare su altri modelli.
Cosa permette di osservare
Si può esplorare se il ragionamento specialistico diventa davvero replicabile e controllabile quando è codificato in regole guidate da esperti, e come questa strategia si confronta su casi nuovi e con diversi sistemi.
Dalla fonte
Rare disease diagnosis depends on expert reasoning that is scarce and difficult to transfer; off-the-shelf large language models (LLMs) rank the correct disease first in only 35.4% of benchmark cases. Here we show that this expert reasoning can be converted into a scalable AI capability through a governed learning process rather than model training alone. We developed liteOdyssey through Policy Iteration with Human Feedback (PIHF), an in-context policy-learning method adapted from generalized policy iteration in reinforcement learning, in which model failures and expert corrections consolidate into an explicit, clinician-gated policy that turns an off-the-shelf LLM into an agentic diagnostic system. We demonstrated that such a policy improved diagnostic accuracy to match the best published systems at a fraction of their deployment footprint, generalized to unseen diseases, transferred a…