From CUDA to MLX: How K-Search Brings Decades of Kernel Expertise to Apple Silicon
Di cosa parla
Hanno preso l’esperienza nella scrittura dei kernel — i programmi a basso livello che girano sulle unità di calcolo dei chip — nell’ecosistema CUDA (la piattaforma di NVIDIA) e l’hanno tradotta per MLX, il framework di Apple per Apple Silicon. Integrando questa traduzione in K-Search, un sistema che usa modelli di linguaggio per generare e testare codice, hanno permesso di riutilizzare ottimizzazioni consolidate e ottenere prestazioni vicine a implementazioni esperte.
Cosa permette di osservare
Permette di esplorare fino a che punto l’ottimizzazione accumulata per un tipo di chip può essere trasferita automaticamente ad altri ecosistemi, e quali adattamenti di contesto e vincoli servono ai modelli per produrre codice realmente efficiente.
Dalla fonte
Figure 1: CUDA-to-MLX optimization translation map. CUDA optimization knowledge can be translated into architecture-native MLX strategies rather than copied instruction-for-instruction. We face a new epoch in computing. Hardware is changing rapidly — not just faster GPUs, but a growing range of chips from different vendors, each with its own architecture and often tailored to specific AI workloads. Software is changing just as fast, and AI coding tools now generate in minutes what took months of effort a few years ago. With so much of computing now centered on AI, GPU kernels are a crucial component of its success. These are the low-level programs that run inside the GPU, and writing efficient ones is far from obvious — it takes years of expertise to get right. Transferring a kernel from one vendor’s hardware to another is harder still, and often means rediscovering the same optimizatio…