이 논문은 (L0, L1)-평활 함수에 대한 최적화 문제를 다룬다. 저자들은 다음과 같은 결과를 제시한다:
(L0, L1)-경사하강법(GD)의 개선된 수렴 보장: (L0, L1)-GD의 최악 경우 복잡도가 max{L0R0^2/ε, L1^2R0^2}로, 기존 결과보다 L에 의존하지 않는다.
폴리아크 스텝사이즈를 사용한 경사하강법(GD-PS)의 개선된 수렴 보장: GD-PS의 최악 경우 복잡도가 max{L0R0^2/ε, L1^2R0^2}로, 기존 결과보다 L에 의존하지 않는다.
(L0, L1)-유사삼각형 방법((L0, L1)-STM)의 제안: 가속된 (L0, L1)-평활 최적화 알고리즘으로, O(√(L0(1+L1R0exp(L1R0))R0^2/ε)) 복잡도를 달성한다.
적응적 경사하강법(AdGD)에 대한 새로운 수렴 보장: AdGD의 수렴 속도를 개선하여 max{L0exp(L1D)D^2/ε, m^2L1^2exp(L1D)D^2}의 복잡도를 달성한다.
(L0, L1)-평활 함수에 대한 유용한 부차적 결과들을 제시한다.
이러한 결과들은 (L0, L1)-평활 최적화 문제에서 기존 방법들의 성능을 개선한다.
翻译成其他语言
从原文生成
arxiv.org
更深入的查询