Adaptive Bregman Proximal Stochastic Gradient with a Stabilized Barzilai--Borwein Step Size
Di cosa parla
Si cerca di migliorare metodi per ottimizzare funzioni la cui forma non è ben catturata dalle misure standard: questi metodi sono però molto sensibili alla scelta del passo. Propongono Ada-BPSG, che evita di provare ripetutamente diversi passi combinando stime incrementali della curvatura con una salvaguardia che mantiene il passo entro limiti sicuri, e mostrano prove teoriche e test su problemi pratici con minore sensibilità al passo iniziale.
Cosa permette di osservare
Permette di esplorare come ottenere stime del passo più stabili senza procedere per tentativi ripetuti e se ciò rende l’ottimizzazione più robusta quando la “geometria” della funzione è irregolare.
Dalla fonte
Bregman proximal stochastic gradient (BPSG) methods bring variance-reduced composite optimization to objectives whose geometry is poorly captured by Euclidean smoothness. Their performance, however, remains sensitive to the step size: raw stochastic curvature estimates can fluctuate sharply, whereas line searches add repeated proximal evaluations. We introduce Ada-BPSG, a line-search-free BPSG method that couples the SAGA gradient table with a stabilized Barzilai--Borwein (BB) candidate. A mediant aggregates incremental secant information so that nearly singular local ratios receive little weight, and an explicit safeguard translates the resulting curvature estimate into the bounded step-size sequence required for convergence. This design yields a direct analytical chain from relative smoothness and component-wise variance control to convergence in finite-dimensional normed spaces. We p…