LODESTAR: Trustworthy Entropy Is Navigated, Not Merely Measured -- Reinforced Polarizer Keeps a Frozen LLM from Being Confidently Misled by the Wrong Evidence
Di cosa parla
Si esplora come impedire a un modello linguistico fissato di convincersi con troppa sicurezza a partire da testi fuorvianti quando deve scegliere una risposta tra più candidati. Propongono LODESTAR: si valuta e inserisce, davanti alla domanda, una breve frase naturale chiamata polarizzatore, addestrata una volta su esempi con risposte note, che rende il modello più incerto quando il passaggio letto è ingannevole e lo induce a preferire risposte migliori.
Cosa permette di osservare
Permette di capire se modificare il testo di contesto mostrato a un modello — con una breve frase fissa — può ridurne la fiducia ingiustificata e aiutare a distinguere risposte vere da quelle guidate da prove fuorvianti.
Dalla fonte
Predictive-distribution entropy makes a strong selection rule in retrieval-augmented question answering: across five QA benchmarks, keeping the candidate answer that a frozen respondent LLM produces with the lowest answer-token entropy lifts mean answer $F_1$ from 0.4769 to 0.5148 over the retriever's top-ranked passage, with no gold answers. Yet this lowest-entropy rule, which prior entropy-based selectors adopt, fails in a specific and consequential way: a misleading passage makes the respondent confidently wrong, driving its entropy down precisely where the signal looks most trustworthy. We show that the failure comes from the passage the respondent reads -- and the context that passage is read in is an input we can intervene on. We introduce LODESTAR, to our knowledge the first method to score a text intervention by the uncertainty it induces in a third-party frozen respondent, comp…