|
ИСТИНА |
Войти в систему Регистрация |
ИСТИНА ИНХС РАН |
||
A Superlinearly-Convergent Proximal Newton-type Method for the Optimization of Finite Sumsстатья
Статья опубликована в высокорейтинговом журнале
Статья опубликована в журнале из списка Web of Science и/или ScopusДата последнего поиска статьи во внешних источниках: 28 октября 2016 г.
- Авторы: Anton Rodomanov, Dmitry Kropotov
- Журнал: Journal of Machine Learning Research
- Том: 48
- Год издания: 2016
- Издательство: MIT Press
- Местоположение издательства: United States
- Первая страница: 2597
- Последняя страница: 2605
- Аннотация: We consider the problem of optimizing the strongly convex sum of a finite number of convex functions. Standard algorithms for solving this problem in the class of incremental/stochastic methods have at most a linear convergence rate. We propose a new incremental method whose convergence rate is superlinear – the Newtontype incremental method (NIM). The idea of the method is to introduce a model of the objective with the same sum-of-functions structure and further update a single component of the model per iteration. We prove that NIM has a superlinear local convergence rate and linear global convergence rate. Experiments show that the method is very effective for problems with a large number of functions and a small number of variables.
- Добавил в систему: Кропотов Дмитрий Александрович