机器学习中的一阶与随机优化方法 下载 pdf 百度网盘 epub 免费 2025 电子书 mobi 在线

本书对优化算法的理论和研究进展进行了系统的梳理，旨在帮助读者快速了解该领域的发展脉络，掌握必要的基础知识，进而推进前沿研究工作。本书首先介绍流行的机器学习模式，对重要的优化理论进行回顾，接着重点讨论已广泛应用于优化的算法，以及有潜力应用于大规模机器学习和数据分析的算法，包括一阶方法、随机优化方法、随机和分布式方法、非凸随机优化方法、无投影方法、算子滑动和分散方法等。

本书适合对机器学习、人工智能和数学编程感兴趣的读者阅读参考。

译者序

前言第1章　机器学习模型 1　1.1　线性回归1

1.2　逻辑回归3

1.3　广义线性模型5

1.3.1　指数分布族5

1.3.2　模型构建5

1.4　支持向量机8

1.5　正则化、Lasso回归和

岭回归11

1.6　群体风险最小化11

1.7　神经网络12

1.8　练习和注释14第2章　凸优化理论15　2.1　凸集15

2.1.1　定义和例子15

2.1.2　凸集上的投影16

2.1.3　分离定理17

2.2　凸函数20

2.2.1　定义和例子20

2.2.2　可微凸函数21

2.2.3　不可微凸函数21

2.2.4　凸函数的Lipschitz

连续性23

2.2.5　凸优化的最优性条件24

2.2.6　表示定理与核25

2.3　拉格朗日对偶26

2.3.1　拉格朗日函数与

对偶性26

2.3.2　强对偶性的证明27

2.3.3　鞍点29

2.3.4　KarushKuhnTucker

条件29

2.3.5　对偶支持向量机31

2.4　LegendreFenchel共轭对偶32

2.4.1　凸函数的闭包32

2.4.2　共轭函数33

2.5　练习和注释35第3章　确定性凸优化37　3.1　次梯度下降法37

3.1.1　一般非光滑凸问题38

3.1.2　非光滑强凸问题39

3.1.3　光滑凸问题41

3.1.4　光滑强凸问题42

3.2　镜面下降法43

3.3　加速梯度下降法46

3.4　加速梯度下降法的博弈论

解释50

3.5　非光滑问题的光滑方案52

3.6　鞍点优化的原始-对偶方法54

3.6.1　一般双线性鞍点问题57

3.6.2　光滑双线性鞍点问题57

3.6.3　光滑强凸双线性鞍点

问题58

3.6.4　线性约束问题59

3.7　乘子交替方向法61

3.8　变分不等式的镜面-邻近

方法63

3.8.1　单调变分不等式64

3.8.2　广义单调变分不等式66

3.9　加速水平法68

3.9.1　非光滑、光滑和弱光滑

问题68

3.9.2　鞍点问题76

3.10　练习和注释81第4章　随机凸优化83　4.1　随机镜面下降法83

4.1.1　一般非光滑凸函数84

4.1.2　光滑凸问题87

4.1.3　准确性证书90

4.2　随机加速梯度下降法95

4.2.1　无强凸性问题100

4.2.2　非光滑强凸问题103

4.2.3　光滑强凸问题104

4.2.4　准确性证书109

4.3　随机凹凸鞍点问题111

4.3.1　通用算法框架112

4.3.2　极小极大随机问题115

4.3.3　双线性矩阵博弈117

4.4　随机加速原始-对偶方法119

4.4.1　加速原始-对偶方法121

4.4.2　随机双线性鞍点问题129

4.5　随机加速镜面-邻近方法140

4.5.1　算法框架141

4.5.2　收敛性分析142

4.6　随机块镜面下降方法154

4.6.1　非光滑凸优化155

4.6.2　凸复合优化164

4.7　练习和注释171第5章　凸有限和及分布式

优化173　5.1　随机原始-对偶梯度法173

5.1.1　多人共轭空间博弈的

重新表述176

5.1.2　梯度计算的随机化177

5.1.3　强凸问题的收敛性179

5.1.4　随机化方法的复杂度

下界189

5.1.5　对非强凸性问题的

推广193

5.2　随机梯度外插法197

5.2.1　梯度外插方法198

5.2.2　确定性有限和问题204

5.2.3　随机有限和问题213

5.2.4　分布式实现218

5.3　降低方差的镜面下降法220

5.3.1　无强凸性的光滑问题223

5.3.2　光滑和强凸问题225

5.4　降低方差加速梯度下降法226

5.4.1　无强凸性的光滑问题229

5.4.2　光滑和强凸问题233

5.4.3　满足错误界条件的

问题238

5.5　练习和注释240第6章　非凸优化241　6.1　无约束非凸随机优化法241

6.1.1　随机一阶方法243

6.1.2　随机零阶方法251

6.2　非凸随机复合优化法260

6.2.1　邻近映射的一些性质261

6.2.2　非凸镜面下降法263

6.2.3　非凸随机镜面下降法264

6.2.4　复合问题的随机零阶

方法275

6.3　非凸随机块镜面下降法279

6.4　非凸随机加速梯度下降法286

6.4.1　非凸加速梯度下降法287

6.4.2　随机加速梯度下降法298

6.5　非凸降低方差镜面下降法310

6.5.1　确定性问题的基本

求解方案310

6.5.2　随机优化问题的推广313

6.6　随机化加速邻近点方法316

6.6.1　非凸有限和问题317

6.6.2　非凸多块问题327

6.7　练习和注释337第7章　无投影方法 338　7.1　条件梯度法338

7.1.1　经典条件梯度

蓝光辉（Guanghui Lan） 佐治亚理工学院工业与系统工程学院教授，之前曾任教于佛罗里达大学工业与系统工程系。研究方向为随机优化和非线性规划的理论、算法与应用。曾获NSF CAREER奖、INFORMS青年教师论文奖一等奖、INFORMS Computing Society（ICS）奖等。目前担任Computational Optimization and Applications、Mathematical Programming和SIAM Journal on Optimization等期刊的副主编。博士毕业于佐治亚理工学院。

暂无出版社相关信息，正在全力查找中！

暂无相关书籍摘录，正在全力查找中！

在线阅读地址：机器学习中的一阶与随机优化方法在线阅读

在线听书地址：机器学习中的一阶与随机优化方法在线收听

在线购买地址：机器学习中的一阶与随机优化方法在线购买

暂无原文赏析，正在全力查找中！

书籍介绍

本书对优化算法的理论和研究进展进行了系统的梳理，旨在帮助读者快速了解该领域的发展脉络，掌握必要的基础知识，进而推进前沿研究工作。本书首先介绍流行的机器学习模式，对重要的优化理论进行回顾，接着重点讨论已广泛应用于优化的算法，以及有潜力应用于大规模机器学习和数据分析的算法，包括一阶方法、随机优化方法、随机和分布式方法、非凸随机优化方法、无投影方法、算子滑动和分散方法等。

本书适合对机器学习、人工智能和数学编程感兴趣的读者阅读参考。