本文主要介绍一阶优化方法的框架,主要参考教材 Amir Beck 的 First-Order Methods in Optimization 以及 Dimitri P. Bertsekas的 Convex Analysis and Optimization 一阶优化方法主要分为以下两部分: 理论部分 一、回顾 引入一些分析、代数上的基本概念,如范数、内积、欧式空间以及对偶空间等,着重回顾微积分和线性代数中常用的概念:开集、闭集,连续性(上半连续、下半连续),上、下极限, \(Frechet\) 微分,凸集和凸函数, 对偶空间以及伴随变换等。
二、 广义实值函数 这节第一部分通过闭集引出闭函数的概念,介绍闭函数的相关性质以及保闭运算,将闭函数和连续性联系起来,第二部分通过凸集刻画凸函数,同样介绍凸函数的相关性质以及保凸运算。最后介绍支撑函数的概念。 注: 理论部分概念比较多,而且比较琐碎,但对后面概念的刻画至关重要。
三、 次梯度(重点部分) 重点介绍次梯度的定义以及几何刻画,引出次微分,给出大量例子计算次梯度。
四、 共轭函数 介绍共轭函数的定义和几何解释,并将共轭函数和次微分联系起来。
五、L-光滑函数和强凸函数 刻画L-光滑函数的性质以及介绍强凸函数的定义以及其拥有的比较强的性质。
六、近端(\(Proximal\))算子(重点部分) 主要介绍近端算子的定义以及相应的重要定理,在此基础上引入 \(Moreau\) 包,介绍相应的概念。
算法部分 介绍常用的一些算法,并给出算法框架,进行收敛性分析,算法主要如下: 1) 原对偶投影次梯度法 2)镜像下降法 (\(Mirror Descent\)) 3) 近端梯度法以及分块近端梯度法 4)基于对偶的近端梯度法 5)\(ADMM\) 算法