Spend Less, Fit Better: Budget-Efficient Scaling Law Fitting via Active Experiment Selection
Di cosa parla
Si studia come spendere meno per costruire la serie di esperimenti pilota che serve a capire come cambia la qualità dei modelli al crescere della loro scala: eseguire tutti gli esperimenti può essere molto costoso, quindi bisogna scegliere quelli più informativi. Propongono un metodo che, valutando l’incertezza, seleziona passo dopo passo quali esperimenti eseguire per migliorare le previsioni sui modelli molto costosi; nelle prove il metodo supera approcci classici e ottiene risultati simili usando solo una parte del budget.
Cosa permette di osservare
Serve per esplorare come bilanciare spesa e informazione nella pianificazione di esperimenti costosi: quali prove valgono la pena fare per poter prevedere le prestazioni dei modelli più grandi e quando conviene fermarsi.
Dalla fonte
Scaling laws are used to plan multi-million-dollar training runs, but fitting those laws can itself cost millions. In modern large-scale workflows, assembling a sufficiently informative set of pilot experiments is already a major budget-allocation problem rather than a routine preprocessing step. We formulate scaling-law fitting as budget-aware sequential experimental design: given a finite pool of runnable experiments with heterogeneous costs, choose which runs to execute so as to maximize extrapolation accuracy in a high-cost target region. We propose $\mathrm{SL}^2$ (Scaling Laws, Spend Less), an uncertainty-aware method for sequentially allocating experimental budget toward the runs most useful for target-region extrapolation. Across a diverse benchmark of scaling-law tasks, $\mathrm{SL}^2$ outperforms classical design-based baselines, and often approaches the performance of fitting…