When the API Speaks the Wrong Language: Revisiting Post-Training for Multilingual Tool Use
Di cosa parla
Quando modelli di linguaggio devono chiamare funzioni esterne in diverse lingue, spesso scelgono lo strumento giusto ma scrivono i valori degli argomenti in una lingua diversa, rendendo le chiamate invalide. Riadattando i modelli dopo l'addestramento, mostrare esempi corretti migliora molto la coerenza linguistica e la correttezza delle chiamate. L'addestramento basato su ricompense offre benefici aggiuntivi, ma limitati.
Cosa permette di osservare
Puoi esplorare se per integrare strumenti multilingue sia sufficiente il riaddestramento con esempi corretti o quando vale la pena investire in metodi che premiano comportamenti desiderati per migliorare generalizzazione e bilanciare più obiettivi.
Dalla fonte
The reliability of Large Language Models (LLMs) for API calling degrades in multilingual settings. A common failure occurs when a model selects the correct tool but generates argument values in an inconsistent language, which we term Argument Language Mismatch (ALM). Although semantically correct, such outputs are operationally invalid and not captured by standard API-calling metrics. We revisit post-training strategies for mitigating ALM and find that, in our benchmark, supervised fine-tuning (SFT) provides a strong baseline, substantially improving argument language consistency and end-to-end function call accuracy. Under consistent model selection, SFT achieves performance comparable to, and sometimes exceeding more complex reinforcement learning (RL) approaches. We further examine whether RL with structured, argument-aware rewards offers additional benefits. While methods such as Gr…