优化 | 非线性优化方法的总结——approximation

更新时间：2025-01-10 13:59:10

本文由邓康康博士撰写，福州大学应用数学系在读，专注于运筹优化算法设计与应用、流形优化。本文从"approximation"的视角探讨非线性优化方法，强调迭代方法的核心思想——将复杂问题简化为一系列易解问题。

邓博士强调，迭代算法的本质是不断逼近，通过拆解难题为一系列简单问题。他将优化方法划分为多个类别，包括确定性方法、随机方法、一阶与二阶方法，以及光滑与非光滑的区别。例如，方差削减类随机方法试图在随机性和方差控制间找到平衡，如SGD、批量梯度和SVRG等。

他还提到了临近类方法和算子分裂，如梯度方法的forward iteration与临近点的backward iteration相结合的临近梯度法。此外，他还提到了泰勒展开在优化中的核心作用，它为理解众多方法提供了工具。

总的来说，非线性优化方法的多样性和灵活性源于对问题的不断逼近和近似，每种方法都是在寻求更高效、更精确的解决方案。邓博士鼓励读者进行讨论和交流，同时欢迎指出可能存在的疏漏和错误。