推荐序一

优化算法一直是推动近年来机器学习发展的引擎．机器学习的需求与使用优化工具箱的其他学科的需求不同，最显著的差别是，参数空间是高维的，需要优化的函数通常是数百万项之和．在这种情况下，基于梯度的方法比高阶优化方法更可取，并且考虑到计算完全的梯度有可能不可行，因此随机梯度法是机器学习领域优化算法的代名词．这些限制与解决非凸优化问题、控制随机采样引起的方差以及开发在分布式平台上运行的算法的需求结合在一起，对优化提出了一系列新的挑战．令人惊讶的是，过去十年中许多挑战已经被研究人员解决．

林宙辰、李欢和方聪所著的这本书是该新兴领域的第一本完整的专著．该书详细介绍了基于梯度的算法，重点关注加速的概念．加速是现代优化中的关键概念，它提供了新的算法和对可达到的收敛速度的深入探索．该书还介绍了随机方法（包括方差控制），并包括有关异步分布式实现的资料．

任何希望在机器学习领域工作的研究人员都应该对统计和优化领域有基本的了解，这本书正是了解基本的优化算法并开始机器学习研究的绝佳出发点．

Michael I. Jordan
于伯克利·加州大学伯克利分校
2019年10月