Weaves, Wires, and Morphisms: Formalizing and Implementing the Algebra of Deep Learning
Di cosa parla
Il lavoro propone un quadro matematico per descrivere con precisione come si costruiscono e combinano i modelli di deep learning, formalizzando il "broadcasting" — il modo in cui matrici di dimensioni diverse vengono adattate per operare insieme — e introducendo strutture nuove chiamate axis‑stride e array‑broadcasted. Le definizioni sono trasformate in diagrammi umani e in strutture dati per macchine, con implementazioni in Python e TypeScript.
Cosa permette di osservare
Consente di esplorare come una descrizione matematica precisa può aiutare a progettare, rappresentare e trasformare architetture di deep learning, e quale rapporto esiste fra le rappresentazioni umane (diagrammi) e quelle eseguibili dalle macchine.
Dalla fonte
Despite deep learning models running well-defined mathematical functions, we lack a formal mathematical framework for describing model architectures. Ad-hoc notation, diagrams, and pseudocode poorly handle nonlinear broadcasting and the relationship between individual components and composed models. This paper introduces a categorical framework for deep learning models that formalizes broadcasting through the novel axis-stride and array-broadcasted categories. This allows the mathematical function underlying architectures to be precisely expressed and manipulated in a compositional manner. These mathematical definitions are translated into human manageable diagrams and machine manageable data structures. We provide a mirrored implementation in Python (pyncd) and TypeScript (tsncd) to show the universal aspect of our framework, along with features including algebraic construction, graph…