Patch-based Memory Gate Model in Time Series Foundation Model
Di cosa parla
Aggiungono a modelli che analizzano sequenze temporali una memoria che conserva frammenti tipici dei comportamenti 'normali', per evitare che il modello ricostruisca bene anche gli eventi anomali e quindi li perda. Il nuovo modello, chiamato MOMEMTO, inizializza questa memoria usando informazioni di un modello già addestrato, la organizza a livello di 'pezzi' della sequenza e la aggiorna confrontando i nuovi segnali; è pensato per essere usato su più domini insieme. Negli esperimenti su molti set di dati, una singola versione del modello tende a rilevare le anomalie meglio dei metodi di riferimento e aiuta soprattutto quando ci sono pochi esempi per l'addestramento.
Cosa permette di osservare
Permette di esplorare se mettere nella 'testa' del modello una collezione di pattern normali riduce la tendenza a considerare anomale come normali, e come questa strategia funziona quando si addestra lo stesso modello su domini diversi o con pochi esempi.
Dalla fonte
Recently reconstruction-based deep models have been widely used for time series anomaly detection, but as their capacity and generalization capability increase, these models tend to over-generalize, often reconstructing unseen anomalies accurately. Prior works have attempted to mitigate this by incorporating a memory architecture that stores prototypes of normal patterns. Nevertheless, these approaches suffer from high training costs and have yet to be effectively integrated with time series foundation models (TSFMs). To address these challenges, we propose MOMEMTO, an improved TSFM variant for anomaly detection, enhanced with a patch-based memory module to mitigate over-generalization. The memory module is designed to capture representative normal patterns from multiple domains and enables a single model to be jointly fine-tuned across these domains through a multi-domain training stra…