WavePhaseNet: A DFT-Based Method for Constructing Semantic Conceptual Hierarchy Structures (SCHS)
Di cosa parla
Usano una versione discreta della trasformata di Fourier per scomporre le rappresentazioni interne dei modelli di linguaggio in componenti a bassa frequenza (significato e intento globale) e ad alta frequenza (sintassi ed espressione locale). Con questa separazione costruiscono una gerarchia concettuale, comprimono le rappresentazioni a una dimensione molto più piccola e applicano una regolarizzazione matematica per ridurre le incoerenze che causano le "allucinazioni" (quando il modello inventa fatti).
Cosa permette di osservare
Consente di esplorare se scomporre il segnale linguistico in livelli di frequenza e rendere le rappresentazioni più compatte può aiutare a ottenere risposte più coerenti, e come misurare o correggere discrepanze tra conclusioni locali per ricostruire una visione globale consistente.
Dalla fonte
This paper reformulates Transformer/Attention mechanisms in Large Language Models (LLMs) through measure theory and frequency analysis, theoretically demonstrating that hallucination is an inevitable structural limitation. The embedding space functions as a conditional expectation over a {\sigma}-algebra, and its failure to be isomorphic to the semantic truth set fundamentally causes logical consistency breakdown. WavePhaseNet Method The authors propose WavePhaseNet, which explicitly constructs a Semantic Conceptual Hierarchy Structure (SCHS) using Discrete Fourier Transform (DFT). By applying DFT along the sequence dimension, semantic information is decomposed into frequency bands: low-frequency components capture global meaning and intent, while high-frequency components represent local syntax and expression. This staged separation enables precise semantic manipulation in diagonalized…