TrimMoE A communication aware and adaptive depth framework for distributed edge inference
Di cosa parla
Servire modelli linguistici che impiegano più “esperti” su server distribuiti è rallentato dallo scambio continuo di informazioni tra macchine. TrimMoE cerca di ridurre questi scambi: decide di saltare alcune fasi del modello, permette di uscire prima quando la risposta è sufficientemente sicura, o sostituisce un esperto remoto con uno locale, il tutto entro un limite di qualità prestabilito. Il sistema viene calibrato prima e, in tempo reale, anticipa dove intervenire per ridurre le trasmissioni più costose.
Cosa permette di osservare
Permette di esplorare se conviene interrompere prima l’elaborazione o usare sostituti locali per risparmiare comunicazione e ritardo, accettando una piccola perdita di qualità, e come bilanciare questo compromesso nei sistemi distribuiti.
Dalla fonte
Serving Mixture-of-Experts (MoE) large language models across distributed edge servers is bottlenecked by the cross-server expert transmission. The existing approaches mainly focus on how to reach a remote expert faster. However, in this paper, we instead consider whether a given layer, and the layers after it, need to be executed at all. To this end, a communication-aware adaptive-depth framework is proposed in this paper, termed TrimMoE, which couples layer skipping and confidence-based early exit with substitute execution and server-expert selection under a unified quality budget. Specifically, in the offline stage, TrimMoE freezes the backbone, trains the lightweight per-layer exit heads, calibrates the per-layer importance thresholds, and allocates the expert replicas by a skip/exit-aware redundancy benefit. In the online stage, a transition-aware look-ahead anticipates the token m…