Optimize Cheap, Deploy Strong: Cost-Aware Cross-Tier Transfer for Evolutionary Optimization
Di cosa parla
Si cerca di ridurre il costo di procedure che provano molte varianti di prompt e programmi agentici scegliendo le migliori. L'idea è di far svolgere al modello più economico il compito ripetitivo di rispondere a molte domande, usare un modello più potente solo nei rari momenti di riflessione e modifica, e infine trasferire il prompt evoluto al modello forte per l'uso reale. Viene anche spiegato quando questa strategia economica funziona e quando invece fallisce.
Cosa permette di osservare
Permette di esplorare se conviene dividere i compiti tra modelli meno costosi e modelli più potenti per risparmiare durante la fase di ricerca, e quali compromessi emergono in termini di qualità e affidabilità del risultato finale.
Dalla fonte
Evolutionary optimization of LLM prompts and agentic programs (e.g., GEPA) is dominated by fitness evaluation: scoring each candidate runs an answering LLM over a validation set, so the evaluator's price tier dictates total search cost. We restructure that search by decoupling the three roles an LLM plays, running the high-volume answering role on the cheapest tier, reserving a strong model for the rare reflection/variation operator, then exploiting upward cross-tier transfer to deploy the cheaply evolved prompt on a stronger target. We contribute a cost-controlled characterization of when cheap-tier search substitutes for target-tier search, and where it fails. Across four tasks (HotpotQA, IFBench, LiveBench-Math, HoVer) and eleven models in four model families, the resulting prompt matches or exceeds same-tier optimization while placing over 96% of search tokens on the cheapest tier,…