WBMM: Windowed Batch Matrix Multiplication for Efficient Large Receptive Field Convolution
Di cosa parla
Propone un modo diverso per applicare filtri molto ampi alle immagini: l'input viene diviso in finestre contigue, si ricavano pesi locali da una piccola tabella di posizioni e si eseguono molti calcoli matriciali uniformi insieme, evitando accessi disordinati alla memoria. Il lavoro affronta il problema per cui i filtri a largo raggio rallentano molto con l'aumentare della dimensione; i test mostrano che il nuovo approccio accelera i calcoli mantenendo o migliorando l'accuratezza su compiti di visione, e il codice è reso pubblico.
Cosa permette di osservare
Permette di esplorare se una diversa organizzazione dei calcoli rende praticabile l'uso di filtri molto larghi nelle reti per immagini e se tale strategia resta efficace su diversi dispositivi e compiti senza bisogno di ottimizzazioni hardware dedicate.
Dalla fonte
Large kernel depthwise convolutions achieve strong performance but suffer from significant degradation as kernel size grows due to irregular memory access from gather-based computation; while Large Kernel Acceleration (LKA) helps on small feature maps, it becomes counterproductive on large feature maps, even slower than non-accelerated implementations. We propose Windowed Batch Matrix Multiplication (WBMM), which partitions input into contiguous windows and indexes a compact relative position bias table to construct weight matrices, enabling regular memory access via batched matrix multiplication. This yields a unique property: WBMM's throughput improves with larger windows, opposite to depthwise convolutions that degrade with larger kernels. Operator-level benchmarks show WBMM with 14x14 windows outperforms 5x5 depthwise convolution baselines in speed while providing a 7.8x larger per-…