Evaluation complexity of algorithms for nonconvex optimization

2024

Refining asymptotic complexity bounds for nonconvex optimization methods, including why steepest descent is o(eps^{-2}) rather than O(eps^{-2})

Gratton, S., Sim, C. & Toint, P., 20 août 2024, Arxiv.

Résultats de recherche: Papier de travail

File

69 Téléchargements (Pure)

2023

An adaptive regularization method in Banach spaces

Gratton, S., Jerad, S. & Toint, P. L., 24 nov. 2023, Dans: Optimization Methods and Software. 38, 6, p. 1163-1179 17 p.

Résultats de recherche: Contribution à un journal/une revue › Article › Revue par des pairs

File

36 Téléchargements (Pure)

Convergence properties of an Objective-Function-Free Optimization regularization algorithm, including an 0(epsilon^{-3/2}) complexity bound

Gratton, S., Jerad, S. & TOINT, P., févr. 2023, Dans: SIAM Journal on Optimization. 33, 3, p. 1621-1646

Résultats de recherche: Contribution à un journal/une revue › Article › Revue par des pairs

File

20 Téléchargements (Pure)

Multilevel Objective-Function-Free Optimization with an Application to Neural Networks Training

Gratton, S., Kopanicakova, A. & TOINT, P., 15 févr. 2023, Dans: SIAM Journal on Optimization. 33, 4, p. 2772-2800 29 p.

Résultats de recherche: Contribution à un journal/une revue › Article › Revue par des pairs

File

42 Téléchargements (Pure)

OFFO minimization algorithms for second-order optimality and their complexity

Gratton, S. & TOINT, P., 15 févr. 2023, Dans: Computational Optimization and Applications. 84, 2, p. 573-607 35 p.

Résultats de recherche: Contribution à un journal/une revue › Article › Revue par des pairs

File

26 Téléchargements (Pure)

The Impact of Noise on Evaluation Complexity: The Deterministic Trust-Region Case

Bellavia, S., Gurioli, G., Morini, B. & TOINT, P., févr. 2023, Dans: Journal of Optimization Theory and Applications. 196, 2, p. 700-729 30 p.

Résultats de recherche: Contribution à un journal/une revue › Article › Revue par des pairs

Yet another fast variant of Newton's method for nonconvex optimization

Gratton, S., Jerad, S. & TOINT, P., 21 févr. 2023, Arxiv, 26 p.

Résultats de recherche: Papier de travail

File

54 Téléchargements (Pure)

2022

First-Order Objective-Function-Free Optimization Algorithms and Their Complexity

Gratton, S., Jerad, S. & TOINT, P., 7 mars 2022, Arxiv.

Résultats de recherche: Papier de travail

File

78 Téléchargements (Pure)

2021

High-Order Evaluation Complexity for Convexly-Constrained Optimization with Non-Lipschitzian Group Sparsity Terms

Chen, X. & Toint, P., mai 2021, Dans: Mathematical Programming. 187, 1-2, p. 47-78 32 p.

Résultats de recherche: Contribution à un journal/une revue › Article › Revue par des pairs

Accès ouvert

File

49 Téléchargements (Pure)

2020

A concise second-order complexity analysis for unconstrained optimization using high-order regularized models

Cartis, C., Gould, N. I. M. & Toint, P. L., 3 mars 2020, Dans: Optimization Methods and Software. 35, 2, p. 243-256 14 p.

Résultats de recherche: Contribution à un journal/une revue › Article › Revue par des pairs

Adaptive regularization algorithms with inexact evaluations for nonconvex optimization

Bellavia, S., Gurioli, G., Morini, B. & Toint, P., 2 janv. 2020, Dans: SIAM Journal on Optimization. 29, 4, p. 2881-2915 35 p.

Résultats de recherche: Contribution à un journal/une revue › Article › Revue par des pairs

Accès ouvert

File

49 Téléchargements (Pure)

An algorithm for the minimization of nonsmooth nonconvex functions using inexact evaluations and its worst-case complexity

Gratton, S., Simon, E. & Toint, P., 21 janv. 2020, Dans: Mathematical Programming. 187, 1-2, p. 1-24 19 p.

Résultats de recherche: Contribution à un journal/une revue › Article › Revue par des pairs

Accès ouvert

File

70 Téléchargements (Pure)

A stochastic cubic regularisation method with inexact function evaluations and random derivatives for finite sum minimisation

Bellavia, S., Gurioli, G., Morini, B. & Toint, P. L., 2020, (Accepté/sous presse).

Résultats de recherche: Contribution à un événement scientifique (non publié) › Papier › Revue par des pairs

Accès ouvert

File

78 Téléchargements (Pure)

Sharp worst-case evaluation complexity bounds for arbitrary-order nonconvex optimization with inexpensive constraints

Toint, P., Cartis, C. & Gould, N. I. M., janv. 2020, Dans: SIAM Journal on Optimization. 30, 1, p. 513-541 29 p.

Résultats de recherche: Contribution à un journal/une revue › Article › Revue par des pairs

Accès ouvert

File

65 Téléchargements (Pure)

Strong Evaluation Complexity Bounds for Arbitrary-Order Optimization of Nonconvex Nonsmooth Composite Functions

Cartis, C., Gould, N. & Toint, P., 30 janv. 2020, Arxiv.

Résultats de recherche: Papier de travail

File

43 Téléchargements (Pure)

2019

Complexity of partially separable convexly constrained optimization with non-Lipschitzian singularities

Chen, X., Toint, P. & Wang, H., 15 avr. 2019, Dans: SIAM Journal on Optimization. 29, 1, p. 874-903 30 p.

Résultats de recherche: Contribution à un journal/une revue › Article › Revue par des pairs

Accès ouvert

File

53 Téléchargements (Pure)

Evaluation complexity bounds for smooth constrained nonlinear optimization using scaled KKT conditions and high-order models

Cartis, C., Gould, N. I. M. & Toint, P., juin 2019, Springer Optimization and Its Applications: Algorithms, Complexity and Applications. Demetriou, I. & Pardalos, P. (eds.). Springer Heidelberg, p. 5-26 22 p. (Springer Optimization and Its Applications; Vol 145).

Résultats de recherche: Contribution dans un livre/un catalogue/un rapport/dans les actes d'une conférence › Chapitre

Optimality of orders one to three and beyond: Characterization and evaluation complexity in constrained nonconvex optimization

Cartis, C., Gould, N. I. M. & Toint, P., 10 août 2019, Dans: Journal of Complexity. 53, p. 68-94 32 p.

Résultats de recherche: Contribution à un journal/une revue › Article › Revue par des pairs

Accès ouvert

File

48 Téléchargements (Pure)

Universal regularization methods: varying the power, the smoothness and the accuracy

Cartis, C., Gould, N. I. & Toint, P. L., 1 janv. 2019, Dans: SIAM Journal on Optimization. 29, 1, p. 595-615 21 p.

Résultats de recherche: Contribution à un journal/une revue › Article › Revue par des pairs

Accès ouvert

File

25 Téléchargements (Pure)

2018

Second-order optimality and beyond: Characterization and Evaluation Complexity in Convexly Constrained Nonlinear Optimization

Cartis, C., Gould, N. I. M. & Toint, P., 1 oct. 2018, Dans: Foundations of Computational Mathematics. 18, 5, p. 1073-1107 35 p.

Résultats de recherche: Contribution à un journal/une revue › Article › Revue par des pairs

Worst-case evaluation complexity and optimality of second-order methods for nonconvex smooth optimization

Cartis, C., Gould, N. I. M. & Toint, P., 1 janv. 2018, Invited Lectures. Sirakov, B., de Souza, P. N. & Viana, M. (eds.). World Scientific Publishing Co Pte Ltd, p. 3729-3768 40 p. (Proceedings of the International Congress of Mathematicians, ICM 2018; Vol 4).

Résultats de recherche: Contribution dans un livre/un catalogue/un rapport/dans les actes d'une conférence › Article dans les actes d'une conférence/un colloque

2017

On the complexity of finding first-order critical points in constrained nonlinear optimization: Corrigendum

Cartis, C., Gould, N. I. M. & Toint, P. L., 1 janv. 2017, Dans: Mathematical Programming. 161, 1-2, p. 611-626 16 p.

Résultats de recherche: Contribution à un journal/une revue › Article › Revue par des pairs

Worst-case evaluation complexity for unconstrained nonlinear optimization using high-order regularized models

Birgin, E. G., Gardenghi, J. L., Martínez, J. M., Santos, S. A. & Toint, P. L., 15 avr. 2017, Dans: Mathematical Programming. 163, 1-2, p. 359-368 10 p.

Résultats de recherche: Contribution à un journal/une revue › Article › Revue par des pairs

Worst-case evaluation complexity of regularization methods for smooth unconstrained optimization using Hölder continuous gradients

Toint, P., 2 nov. 2017, Dans: Optimization Methods and Software. 32, 6, p. 1273-1298 26 p.

Résultats de recherche: Contribution à un journal/une revue › Article › Revue par des pairs

Accès ouvert

File

25 Téléchargements (Pure)

2016

Evaluation complexity for nonlinear constrained optimization using unscaled KKT conditions and high-order models

Birgin, E., Gardenghi, J., Martinez, J.-M., Santos, S. & Toint, P., 2016, Dans: SIAM Journal on Optimization. 26, 2, 20 p.

Résultats de recherche: Contribution à un journal/une revue › Article › Revue par des pairs

File

45 Téléchargements (Pure)

2015

Improved worst-case evaluation complexity for potentially rank-deficient nonlinear least-Euclidean-norm problems using higher-order regularized models

Cartis, C., Gould, N. I. M. & Toint, P., 18 nov. 2015, 18 p. (naXys technical report).

Résultats de recherche: Papier de travail

File

68 Téléchargements (Pure)

On the evaluation complexity of constrained nonlinear least-squares and general constrained nonlinear optimization using second-order methods

Cartis, C., Gould, N. I. M. & Toint, P. L., 2015, Dans: SIAM Journal on Numerical Analysis. 53, 2, p. 836-851 16 p.

Résultats de recherche: Contribution à un journal/une revue › Article › Revue par des pairs

Accès ouvert

File

174 Téléchargements (Pure)

Worst-case evaluation complexity for unconstrained nonlinear optimization using high-order regularized models

Birgin, E., Gardenghi, J., Martinez, J.-M., Santos, S. A. & Toint, P., juin 2015, 2015: Namur center for complex systems, 8 p. (naXys Technical Reports; Vol 05-2015).

Résultats de recherche: Papier de travail

File

77 Téléchargements (Pure)

Worst-case evaluation complexity of non-monotone gradient-related algorithms for unconstrained optimization

Cartis, C., Rodrigues Sampaio, P. & Toint, P. L., 4 mai 2015, Dans: Optimization. 64, 5, p. 1349-1361 13 p.

Résultats de recherche: Contribution à un journal/une revue › Article › Revue par des pairs

File

128 Téléchargements (Pure)

2014

On the complexity of finding first-order critical points in constrained nonlinear optimization

Cartis, C., Gould, N. I. M. & Toint, P. L., 2014, Dans: Mathematical Programming. 144, 1-2, p. 93-106 14 p.

Résultats de recherche: Contribution à un journal/une revue › Article › Revue par des pairs

File

66 Téléchargements (Pure)

2013

An example of slow convergence for Newton's method on a function with globally Lipschitz continuous Hessian

Cartis, C., Gould, N. I. M. & Toint, P., 5 mai 2013, Namur center for complex systems, 9 p.

Résultats de recherche: Papier de travail

File

115 Téléchargements (Pure)

A note about the complexity of minimizing Nesterov's smooth Chebyshev-Rosenbrock function

Cartis, C., Gould, N. I. M. & Toint, P. L., 1 juin 2013, Dans: Optimization Methods and Software. 28, 3, p. 451-457 7 p.

Résultats de recherche: Contribution à un journal/une revue › Article › Revue par des pairs

File

43 Téléchargements (Pure)

On the evaluation complexity of cubic regularization methods for potentially rank-deficient nonlinear least-squares problems and its relevance to constrained nonlinear optimization

Cartis, C., Gould, N. & Toint, P., 29 oct. 2013, Dans: SIAM Journal on Optimization. 23, 3, p. 1553-1574 22 p.

Résultats de recherche: Contribution à un journal/une revue › Article › Revue par des pairs

Accès ouvert

File

171 Téléchargements (Pure)

2012

An adaptive cubic regularization algorithm for nonconvex optimization with convex constraints and its function-evaluation complexity

Cartis, C., Gould, N. & Toint, P., 1 oct. 2012, Dans: IMA Journal of Numerical Analysis. 32, 4, p. 1662-1695 34 p.

Résultats de recherche: Contribution à un journal/une revue › Article › Revue par des pairs

File

131 Téléchargements (Pure)

Evaluation complexity of adaptive cubic regularization methods for convex unconstrained optimization

Toint, P., Cartis, C. & Gould, N., 1 avr. 2012, Dans: Optimization Methods and Software. 27, 2, p. 197-219 23 p.

Résultats de recherche: Contribution à un journal/une revue › Article › Revue par des pairs

File

176 Téléchargements (Pure)

How much patience do you have? A worst-case perspective on smooth nonconvex optimization

Cartis, C., Gould, N. & Toint, P., 1 janv. 2012, Dans: Optima. 88, 1-10

Résultats de recherche: Contribution à un journal/une revue › Article › Revue par des pairs

Accès ouvert

File

201 Téléchargements (Pure)

On the complexity of the steepest-descent with exact linesearches

Cartis, C., Gould, N. I. M. & Toint, P., 2012, FUNDP. Namur center for complex systems. (NAXYS Technical Report; Vol 16-2012)

Résultats de recherche: Livre/Rapport/Revue › Autre rapport

Accès ouvert

File

81 Téléchargements (Pure)

On the oracle complexity of first-order and derivative-free algorithms for smooth nonconvex minimization

Cartis, C., Gould, N. I. M. & Toint, P., 1 janv. 2012, Dans: SIAM Journal on Optimization. 22, 1, p. 66-86 21 p.

Résultats de recherche: Contribution à un journal/une revue › Article › Revue par des pairs

File

62 Téléchargements (Pure)

Updating the regularization parameter in the adaptive cubic regularization algorithm

Gould, N., Porcelli, M. & Toint, P., 1 sept. 2012, Dans: Computational Optimization and Applications. 53, 1, p. 1-22 22 p.

Résultats de recherche: Contribution à un journal/une revue › Article › Revue par des pairs

File

158 Téléchargements (Pure)

2011

Adaptive cubic regularisation methods for unconstrained optimization. Part I: Motivation, convergence and numerical results

Cartis, C., Gould, N. I. M. & Toint, P. L., 1 avr. 2011, Dans: Mathematical Programming. 127, 2, p. 245-295 51 p.

Résultats de recherche: Contribution à un journal/une revue › Article › Revue par des pairs

File

213 Téléchargements (Pure)

Adaptive cubic regularisation methods for unconstrained optimization. Part II: Worst-case function- and derivative-evaluation complexity

Cartis, C., Gould, N. & Toint, P., 1 déc. 2011, Dans: Mathematical Programming. 130, 2, p. 295-319 25 p.

Résultats de recherche: Contribution à un journal/une revue › Article › Revue par des pairs

File

186 Téléchargements (Pure)

On the evaluation complexity of composite function minimization with applications to nonconvex nonlinear programming

Cartis, C., Gould, N. & Toint, P., 1 janv. 2011, Dans: SIAM Journal on Optimization. 21, 4, p. 1721-1739 19 p.

Résultats de recherche: Contribution à un journal/une revue › Article › Revue par des pairs

File

114 Téléchargements (Pure)

Optimal Newton-type methods for nonconvex smooth optimization problems

Cartis, C., Gould, N. & Toint, P., 2011, Namur: Namur center for complex systems.

Résultats de recherche: Livre/Rapport/Revue › Autre rapport

Evaluation complexity of algorithms for nonconvex optimization

Résultat de recherche

Résultats de recherche