TESLA: Taylor Expansion of Sinusoidal Learnable Activations
Di cosa parla
Un'attivazione costruita come combinazione di seno e coseno, con coefficienti che si imparano, permette di controllare quanto l'uscita dipenda da componenti di ordine elevato (cioè variazioni complesse) e di amplificarle selettivamente. Limitare questi coefficienti dà garanzie teoriche sulla stabilità e orienta l'allenamento a catturare meglio le variazioni rapide nei dati. Sulla sfida di decidere se un vettore binario contiene un numero pari o dispari di uno (problema di parità) questa scelta generalizza bene con pochi esempi e resiste a forti errori nelle etichette; confronti con altre tecniche basate su periodicità e frequenza mostrano vantaggi, e la stessa idea ha performance simili su un sottoinsieme di immagini standard.
Cosa permette di osservare
Consente di esplorare se modificare la forma dell'attivazione — e imporre vincoli sui suoi parametri — aiuta le reti a catturare interazioni globali difficili e se questa strategia si trasferisce da compiti artificiali a compiti visivi reali.
Dalla fonte
The parity problem--deciding whether the number of ones in a binary vector is odd or even--remains challenging for standard neural networks due to linear inseparability and the need for global interactions. We propose TESLA, an activation defined as a learnable combination of sine and cosine terms, enabling explicit control over polynomial degree and selective amplification of high-order components. Theoretically, we show that constraining TESLA's coefficients yields Lipschitz/Rademacher complexity bounds and shapes the training dynamics to emphasize higher-frequency structure. Empirically, on parity with input length n = 32, TESLA attains strong generalization with 100K training samples (approximately 0.002% of the 2^32 input space) and remains robust under heavy corruption, retaining high accuracy with up to 30% label noise. We also compare against periodic and frequency-based baselin…