Divergence of the ADAM algorithm with fixed-stepsize: a (very) simple example

Résultats de recherche: Papier de travailArticle de recherche

23 Téléchargements (Pure)

Résumé

A very simple unidimensional function with Lipschitz continuous gradient is constructed such that the ADAM algorithm with constant stepsize, started from the origin, diverges when applied to minimize this function in the absence of noise on the gradient. Divergence occurs irrespective of the choice of the method parameters.
langue originaleAnglais
ÉditeurArxiv
Nombre de pages3
Volume2308.00720
Etat de la publicationPublié - août 2023

Empreinte digitale

Examiner les sujets de recherche de « Divergence of the ADAM algorithm with fixed-stepsize: a (very) simple example ». Ensemble, ils forment une empreinte digitale unique.

Contient cette citation