Making Gaussian Kolmogorov-Arnold Networks Reliable and Accurate
Di cosa parla
Si studiano reti che al posto delle normali funzioni di attivazione usano semplici funzioni univariate basate su gaussiane, cioè curve che reagiscono in base alla distanza da alcuni punti di riferimento. Gli autori mostrano che la precisione e la stabilità dipendono molto da un parametro che regola la “larghezza” di queste gaussiane e propongono un intervallo pratico come regola di progetto. Esperimenti su diversi problemi confermano che questa scelta rende le reti più affidabili e offrono strategie concrete per sceglierla o ottimizzarla durante l’addestramento.
Cosa permette di osservare
Permette di esplorare come la scelta della scala delle gaussiane influisce sulla capacità della rete di distinguere gli input e mantenere risultati stabili, e quali metodi pratici usare per selezionare o cercare quel parametro in fase di addestramento.
Dalla fonte
Kolmogorov-Arnold Networks (KANs) replace fixed activations with learnable univariate edge functions whose behavior depends strongly on the chosen basis. Gaussian radial basis functions provide a simple and efficient alternative to splines, but their accuracy and stability are highly sensitive to the scale parameter \(\epsilon\), which has not been studied systematically. We analyze this dependence through the geometry and conditioning of the first-layer feature matrix. Because the first layer is defined directly on the input domain, any loss of feature distinguishability introduced there propagates through the entire network. Based on this analysis, we identify the practical operating interval \[ \epsilon \in \left[\frac{1}{G-1},\frac{2}{G-1}\right], \] where \(G\) is the number of Gaussian centers. This interval is proposed as a stable design rule rather than a universal optimum. Exte…