 |
Optimization methods
Siliang Zhang (slzhang at ecnu dot edu dot cn)
Autumn 2023
教材
Numerical Optimization by Jorge Nocedal and Stephen J. Wright, Springer, 2006.
辅助教材
最优化：建模、算法与理论（第二版） by 刘浩洋, 户将, 李勇锋，文再文, 高教出版社，2022.
参考材料
Convex Optimization by S. Boyd and L. Vandenberghe, Cambridge University Press, 2004.
数值最优化方法 by 高立, 北京大学出版社, 2014.
Probabilistic Machine Learning - An Introduction by Kevin P. Murphy, MIT Press, 2023.
Python Data Science Handbook (2nd Edition) by Jake VanderPlas, 2023.
Matrix Algebra Useful for Statistics by Searle and Khuri.
Proximal Algorithms by Parikh and Boyd, Foundations and Trends in optimization, 2014.
Optimization Theory and Methods: Nonlinear Programming by Sun and Yuan, Springer Science & Business Media, 2006.
Optimization Methods for Large-Scale Machine Learning by Bottou at el.
课程简介
本课程是为数学、统计学和工程等相关专业的本科生设计的一门非常重要的专业选修课程。优化方法的核心内容是研究如何从一组可能的选择中找出最佳或者“最优”的方法。最优化方法不仅是许多数学和工程学科的基础，同时也在大数据、机器学习和人工智能等现代技术领域中发挥着至关重要的作用。最优化的各种方法一直被广泛地应用于实际问题的解决。
本课程主要讲授（1）最优化的基本理论：包括函数、导数和梯度，凸性和凹性的概念，线性规划的基本理论和方法，以及非线性优化的基本理论和方法；（2）典型优化问题和方法：包括线性规划，非线性优化，包括无约束优化和约束优化，拉格朗日乘数法和KKT条件；（3）优化算法和实践：包括梯度下降法（GD）、随机梯度下降法（SGD）、牛顿-拉夫森法（Newton-Raphson Method）、内点法等的原理和Python实现，以及如何用Python解决实际的最优化问题；（4）通过案例学习的方式，了解最优化在不同领域，如统计学、机器学习、运筹学、经济学等领域的应用。本课程旨在帮助学生理解和掌握最优化的基本理论和方法，以及它们在实际问题中的应用。
This course is a highly important elective designed for undergraduate students majoring in mathematics, statistics, engineering, and other related fields. The core content of optimization methods revolves around studying how to find the best or “optimal” solution from a set of possible choices. Optimization methods not only form the foundation of many mathematical and engineering disciplines but also play a vital role in modern technological areas such as big data, machine learning, and artificial intelligence. Various optimization methods have been extensively applied to solve real-world problems.
The course primarily instructs on:
(1) Basic theories of optimization: encompassing functions, derivatives and gradients, concepts of convexity and concavity, fundamental theories and methods of linear programming, and basic theories and methods of nonlinear optimization;
(2) Typical optimization problems and methods: including linear programming, nonlinear optimization, both unconstrained and constrained optimization, the Lagrange multiplier method, and KKT conditions;
(3) Optimization algorithms and practice: covering the principles and Python implementations of Gradient Descent (GD), Stochastic Gradient Descent (SGD), Newton-Raphson Method, Interior Point Method, etc., and how to address actual optimization problems using Python;
(4) Through case studies, understanding the applications of optimization in various fields such as statistics, machine learning, operations research, economics, etc.
The objective of this course is to assist students in understanding and mastering the fundamental theories and methods of optimization, along with their applications in addressing real-world problems.
课程目标
掌握最优化问题的基本理论和背景知识，其中包括线性代数和数值代数的基础知识，为深入理解最优化理论打下坚实的基础。
深入探讨最优化中的主要方法和理论，特别强调其关键特性，如凸性、光滑性和稀疏性。培养学生能够理解和识别数学优化中的核心思想，并能够将通用的优化问题转化为具有这些特性的问题。
通过学习几类典型的最优化问题，使学生能够理解不同算法的优缺点和适用范围，从而能够根据特定问题选择最合适的算法，为未来的工作和更深入的学术研究奠定基础。
通过Python高级编程语言的实践课程，加深学生对理论方法的理解，培养他们的编程技能，使他们能够实现和应用优化算法来解决实际问题。
培养学生的批判性思维和问题解决能力，使他们能够独立分析和解决复杂的最优化问题，为他们未来在相关领域的职业生涯做好准备。
通过案例研究和实际项目，使学生能够将理论知识应用于实际问题，提高他们的实际操作能力和团队合作技能。
课程内容
| 章节 | 主题 | 周 |
| 第一章 最优化方法导论和Python基础 | 导论 | 1-2 |
| 第一章 最优化方法导论和Python基础 | Python基础与最优化 | 2 |
| 第二章 最优化基本理论与方法 | 函数、导数和梯度 | 3 |
| 第二章 最优化基本理论与方法 | 凸性和凹性 | 4 |
| 第三章 典型优化问题与最优性理论 | 线性规划与最小二乘问题 | 5 |
| 第三章 典型优化问题与最优性理论 | ❖复杂优化问题❖ | 6 |
| 第三章 典型优化问题与最优性理论 | ❖高级优化问题❖ | 7 |
| 第三章 典型优化问题与最优性理论 | ❖最优性理论（上）❖ | 8 |
| 第三章 典型优化问题与最优性理论 | ❖最优性理论（下）❖ | 9 |
| 第四章 优化算法及其实现 | 无约束优化算法 | 10 |
| 第四章 优化算法及其实现 | 约束优化算法 | 11 |
| 高级优化主题选讲 | Proximal算法、流形约束优化、非凸优化等 | 12 |