TRACES: A Benchmark for Epistemic Reliability in Scientific Reasoning by LLMs
Di cosa parla
Hanno messo alla prova grandi modelli di linguaggio per verificare se, usati come assistenti in ambito scientifico, sanno distinguere letteratura affidabile da articoli ritirati, fraudolenti o pseudoscientifici. Per ogni articolo dubbio hanno presentato un passo quasi identico e una richiesta di studio plausibile per vedere se il modello respinge subito la premessa o invece ci lavora sopra e riproduce dettagli problematici. I risultati mostrano che molti modelli tendono a impegnarsi con ipotesi inaffidabili e che i rifiuti sono spesso legati a pochi argomenti molto noti, suggerendo la necessità di protezioni specifiche prima dell'uso scientifico.
Cosa permette di osservare
Consente di esplorare se possiamo contare sui modelli come collaboratori scientifici: rifiutano automaticamente affermazioni sbagliate o lo fanno solo quando riconoscono argomenti famosi, e quali tipi di controlli servono per evitarne l'uso su letteratura inaffidabile.
Dalla fonte
Large language models are being proposed as agents in scientific workflows, in domains where no downstream verifier exists. Such deployment assumes the model can distinguish reliable scientific literature from unreliable literature, a capability that has not yet been directly measured. Existing benchmarks evaluate factuality on questions with known answers; the failure mode we target here is different. We introduce a probe corpus of 42 retracted, fraudulent, and pseudoscientific papers, paired with a methodology for eliciting and scoring single-shot model engagement with each paper's framing. Each probe pairs a preamble extracted near-verbatim from the target paper with a scientifically plausible study-design request. The probes span five claim types: fabricated observation, pseudophysical mechanism, magical premise, legitimization bridge, and cargo-cult experiment. Two complementary sc…