Epiplexity Guided Data Selection and Generation for Out-of-Distribution Generalization
Di cosa parla
Si usa l'epiplexity — la quantità di struttura che un apprendente con risorse limitate può ricavare dai dati — come segnale per scegliere dati reali e per guidare la creazione di dati sintetici durante l'addestramento. Gli autori monitorano quanto valore strutturale ciascun dominio apporta, aumentano l'uso dei domini più utili e premiano gli esempi sintetici che incrementano questa misura; nei test, dati più ricchi di struttura migliorano la capacità dei modelli di affrontare compiti non previsti e di migliorare con ulteriore addestramento.
Cosa permette di osservare
Permette di esplorare se conviene privilegiare dati con più 'struttura' rispetto a grandi quantità generiche e come bilanciare dati naturali e sintetici per ottenere modelli che si trasferiscono meglio su compiti imprevisti.
Dalla fonte
Modern systems are increasingly expected to transfer across tasks not specified during training. What data facilitates generalization in these new, unanticipated settings? One hypothesis is that data with more structural information could contain shared circuits and subprograms that could be recycled in a wider array of downstream settings. Epiplexity, a recently proposed measure of the structural information a compute-bounded learner can extract from data, provides a mechanism to reason about this relationship. In this paper, we show how to operationalize epiplexity as an online training signal for data selection and synthetic data generation. For selection, we fit scaling laws to the training loss curves of natural data domains to predict the expected epiplexity gain as a function of training tokens, and use this signal to adaptively determine the sampling weights over domains during…