Gauge-Fixing the Forward-Forward Objective: A Whitened Goodness Derived from a Likelihood-Ratio Account
Di cosa parla
Si parla di un modo di addestrare reti neurali in cui, in ogni livello, si misura una “bontà” ottenuta sommando quanto i neuroni si attivano: l’idea è che questa bontà sia alta sugli esempi veri e bassa su esempi contrastivi. Gli autori mostrano che il criterio originale può essere aggirato perché un livello ottiene punteggi migliori semplicemente ingrandendo la scala dei pesi; propongono quindi di usare una bontà che elimina l’effetto della scala e che viene calcolata e aggiornata all’interno di ogni livello. In esperimenti questa correzione migliora le rappresentazioni rispetto alla versione standard e fa sparire il comportamento di “runaway” che alcuni altri metodi lasciano inalterato.
Cosa permette di osservare
Questo lavoro permette di esplorare come progettare obiettivi di allenamento che non possano essere “imbrogliati” dalle semplici variazioni di scala e se, con criteri locali per livello, si può avvicinare la qualità delle rappresentazioni ottenute dall’allenamento che aggiorna tutta la rete insieme.
Dalla fonte
The Forward-Forward algorithm trains each layer locally, so that a scalar goodness - the sum of squared activations - is high on real inputs and low on contrastive ones. Under an explicit generative model this goodness is the sufficient statistic of a likelihood-ratio test, and the pairwise form of the objective admits a gauge: a layer can lower its loss by inflating the scale of its weights rather than by separating the two populations. The analysis prescribes the repair - a whitened, scale-invariant goodness trained online within each layer - which we evaluate as a training procedure. Across three corpora, three depths and a fourfold range of layer width (13 seeds per cell), it raises linear-probe accuracy over the standard pairwise objective in every measured cell - by 4 to 7 points on eight of nine corpus-depth combinations - and closes 16-61% of the gap to end-to-end backpropagatio…