Behavior and Representation in Open-Weight Large Language Models for Combinatorial Optimization: From Feature Extraction to Algorithm Selection
Di cosa parla
Si verifica se grandi modelli linguistici aperti, usati senza modificarli, contengano informazioni utili per descrivere istanze di ottimizzazione combinatoria (cercare la migliore combinazione tra molte opzioni) e per scegliere quale algoritmo usare. Gli esperimenti confrontano risposte esplicite del modello con l'analisi di ciò che è presente negli stati interni. I risultati mostrano che molte caratteristiche non emergono dalle risposte esplicite ma sono in parte codificate internamente; il divario tra informazione implicita ed esplicita si riduce con modelli più grandi e varia a seconda del tipo di richiesta.
Cosa permette di osservare
Permette di esplorare se le informazioni nascoste nei modelli possono sostituire o integrare i metodi tradizionali per descrivere istanze e guidare la scelta di algoritmo, e come la dimensione del modello e il modo di interrogarlo influenzino questa possibilità.
Dalla fonte
Recent advances in Large Language Models (LLMs) open new perspectives for automation in optimization, yet little is known about whether their internal representations capture problem structure or algorithmic behavior. We investigate whether representations learned by frozen, open-weight LLMs for combinatorial optimization instances can support downstream decision tasks. The goal is not to replace exact feature extractors or to propose a new algorithm, but to assess whether such representations are reusable for feature recovery and algorithm selection. Our methodology combines direct querying, which tests explicit feature extraction, with probing analyses of whether this information is implicitly encoded in the hidden layers. The probing framework is further extended to a per-instance algorithm selection task. Experiments span four benchmark problems, three instance representations, and…