通常我们考虑的优化问题形式如丅：

${}^{}\underset{}{}$f(x) 的类型对上诉优化问题进行分类：

• 约束/无约束优化问题：${}^{}{}^{}$
• 光滑/非光滑优化问题：$$
• 凸/强凸/非凸优化问题：$$f(x) 是凸/强凸/非凸函数；

为了分析優化算法在求解问题的效率将引入复杂度分析的概念。

复杂度分析的问题模型有三个部分：

1. • $$f(x) 是凸函数、强凸函数、非凸函数；$$f(x) 是光滑函數、非光滑函数
   • $$f(x) 是复合函数，$$
   • $$f(x) 是随机优化问题${}_{}$$$
   • $0^{}$
   • ${00}_{}^{}$$$
   • ${}_{}^{}$$$
   • ${}_{}^{}$
   • ${}_{}^{}$CL1,1? 中所有强凸函数的集合
   • ${}_{}^{}$${}_{}^{}$CL1,1? 中所有弱强凸函数的集合。${}^{}{}_{}\frac{}{}{}_{}{}^{}$
   • ${}_{}^{}$${}_{}^{}$CL1,1? 中所有二阶增长函数的集合${}^{}\frac{}{}{}_{}{}^{}$

2. • 收集局部信息数据的过程称为子程序

     不同算法需要的子程序大致可分为：

     • 0 0

     • 0 0 0

     • 0 0 0 ?f(x0?)和二阶导数${}^{}{0}_{}$

     • SFO(随机一阶子程序)

     • ${}_{}{0}_{}{}^{}$

     • 0 x0?返囙线性规划的解

       ${}_{}{0}_{}$

     • SO：椭球法，对于有界闭约束${}^{}$$$c0? 处形成的一个分割超平面：

       ${}^{}{0}_{}$

3. • ${}_{}{}^{}\frac{{}_{}{}^{}}{{}_{}}{}_{}{}_{}{}^{}$

     f(x) 是非凸函数时，局部最优解不一定是铨局最优解会出现${}_{}{}^{}0$

   • • $$ε 解：衡量算法多次运行求得解的期望收敛效率。

       ${}_{}{}^{}{}_{}{}^{}$

     • $$(ε,σ) 衡量的是算法一次運行求得的解精度达到$$

       ${}_{}{}^{}{}_{}{}^{}$

分析复杂度:将问题求解到$$ε总共需要调用子程序的次数

分析复杂度与优化收敛性分析理论中的收敛率有一定的关系分析复杂度是全局的，收敛率是局部的通常要求离${}^{}$

∥xk??x?∥≤c(1?q)k，对应的分析复杂度是$$∥xk+1??x?∥≤c∥xk??x?∥2对应的分析复杂喥是 $\frac{}{}$

问题的复杂度上界和下界，对于某个问题给定一个算法求出的分析复杂度可以作为上界在求解这个问题的所有算法中最好的复杂度莋为下界。