Stochastic Dimension Zeroth-Order Estimator: Stable and Memory-Efficient Training of PINNs
Di cosa parla
Propone un modo per addestrare reti neurali che integrano equazioni fisiche (PINN) quando ci sono molte variabili e derivate complesse, riducendo molto i costi di calcolo e di memoria. Invece di calcolare i gradienti in modo tradizionale, usa un approccio che aggiorna i parametri provando piccole perturbazioni e introduce due accorgimenti: sincronizzare i numeri casuali per evitare un forte aumento del rumore che porta a instabilità, e limitare implicitamente l'esplorazione dei parametri a un sottospazio più piccolo per risparmiare memoria.
Cosa permette di osservare
Permette di esplorare se si possono combinare stime casuali delle derivate con ottimizzazione senza gradienti in modo stabile e poco costoso, e quali tecniche servono per controllare la variabilità e la memoria durante l'addestramento.
Dalla fonte
Physics-Informed Neural Networks (PINNs) for high-dimensional and high-order partial differential equations (PDEs) are primarily constrained by the $\mathcal{O}(d^k)$ spatial derivative complexity and the $\mathcal{O}(P)$ memory overhead of backpropagation (BP). While randomized spatial estimators successfully reduce the spatial complexity to $\mathcal{O}(1)$, their reliance on first-order optimization still leads to prohibitive memory consumption at scale. Zeroth-order (ZO) optimization offers a BP-free alternative; however, naively combining randomized spatial operators with ZO perturbations triggers a variance explosion of $\mathcal{O}(1/\varepsilon^2)$, leading to numerical divergence. To address these challenges, we propose the \textbf{S}tochastic \textbf{D}imension-free \textbf{Z}eroth-order \textbf{E}stimator (\textbf{SDZE}), a unified framework that achieves dimension-independen…