Weak Correlations as the Underlying Principle for Linearization of Gradient-Based Learning Systems
Di cosa parla
Il lavoro spiega perché, nei modelli di deep learning molto ampi, l’andamento dei parametri durante l’allenamento sembra quasi lineare. Mostrano che questa linearità nasce perché le prime variazioni del modello e le variazioni più complesse sono debolmente correlate attorno ai valori iniziali. Danno poi un vincolo sulle deviazioni da questa linearità durante l’allenamento e un metodo per descrivere tensori casuali (array multidimensionali di numeri).
Cosa permette di osservare
Permette di esplorare se la linearità osservata in modelli molto ampi è davvero dovuta a queste deboli correlazioni e quanto l’effetto rimane valido lungo l’allenamento reale, confrontando modelli e metodi di aggiornamento.
Dalla fonte
Deep learning models, such as wide neural networks, can be conceptualized as nonlinear dynamical physical systems characterized by a multitude of interacting degrees of freedom. Such systems in the infinite limit, tend to exhibit simplified dynamics. This paper delves into gradient descent-based learning algorithms, that display a linear structure in their parameter dynamics, reminiscent of the neural tangent kernel. We establish this apparent linearity arises due to weak correlations between the first and higher-order derivatives of the hypothesis function, concerning the parameters, taken around their initial values. This insight suggests that these weak correlations could be the underlying reason for the observed linearization in such systems. As a case in point, we showcase this weak correlations structure within neural networks in the large width limit. Exploiting the relationship…