What exactly does word2vec learn?
Di cosa parla
word2vec trasforma parole in vettori e qui si spiega in modo chiaro come questi vettori si formano durante l'addestramento. Con poche approssimazioni, gli autori mostrano che il modello impara una direzione-concetto alla volta: ogni nuova direzione raccoglie parole con lo stesso tema, e il risultato finale è equivalente a isolare gli assi principali delle statistiche di co‑occorrenza del testo (cioè a fare PCA).
Cosa permette di osservare
Permette di esplorare come e perché certi concetti emergono in sequenza durante l'apprendimento, e di prevedere quali direzioni semantiche verranno costruite a partire dalle statistiche del testo e dalle scelte dell'algoritmo.
Dalla fonte
What exactly does word2vec learn, and how? Answering this question amounts to understanding representation learning in a minimal yet interesting language modeling task. Despite the fact that word2vec is a well-known precursor to modern language models, for many years, researchers lacked a quantitative and predictive theory describing its learning process. In our new paper , we finally provide such a theory. We prove that there are realistic, practical regimes in which the learning problem reduces to unweighted least-squares matrix factorization . We solve the gradient flow dynamics in closed form; the final learned representations are simply given by PCA. Learning dynamics of word2vec . When trained from small initialization, word2vec learns in discrete, sequential steps. Left: rank-incrementing learning steps in the weight matrix, each decreasing the loss. Right: three time slices of t…