一：起因
（0）优化算法（Optimization Algorithm）,即求目标函数的最优值问题；如何评价你的当前解的值是最优的？这就需要构造评价函数；如何从当前的位置（解）更新到新的搜索空间？这就需要变换的形式的定义。
（1）优化算法无处不在 —— 实际生活中的 物资调配，一定的生产资料如何得到最大的产出，一定的投资如何得到最佳的收益等等，都可以转化为最优化问题的求解；就连我们平常生活中的一次旅游计划也离不开优化问题：三天的假期，我是去西藏 还是去北京还是去上海，我得受制于假期的期限，以及路费，住宿费，以及当地的生活习俗，个人爱好，偏好等等因素的制约，最终我们会得到一个浙中的方案，其实就是一个最优解嘛！
（2）优化算法：拟牛顿、牛顿、梯度；遗传、蚁群、模拟退火、粒子群算法等，优化算法，是在给定的搜索空间中，以尽量快的速度尽量的搜索全局最优值。
二：优化的分类
（0）简单的线性非线性的古老优化算法：
拟牛顿、牛顿、梯度 爬山算法------ 容易造成局部最优解
（1）解决局部最优，并且开始结合生物信息论
遗传（GA Genetic Algorithm）、模拟退火(Simulated Annealing)
（2）群体智能的知识 - -通常认为它是群集智能(Swarm intelligence, SI)
的一种。它可以被纳入多主体优化系统(Multiagent Optimization System, MAOS)
蚁群（Ant ）、粒子群算法(PSO Particle Sworm Optimization)
（3）按照有无条件限制 又分为有约束的优化问题和无条件的优化问题
三：优化的应用
（0）LR 求解问题：1）Logistic函数（或称为Sigmoid函数） S型函数；2）目标函数的建立，转化为求最优解——即转化为优化问题；3）
运用优化算法（拟牛顿、牛顿、梯度；遗传、蚁群、模拟退火、粒子群算法等）求解
（1）类似的BPNetwork（用到的是梯度下降法），求解W权重的参数的最佳权值一样，也是在构造一个损失函数J,使得其达到最小值，求此时的W权重即为所求的参数。
（3）实际生活中的 物资调配，一定的生产资料如何得到最大的产出，一定的投资如何得到最佳的收益，生产生活的管理等等，均可以转化为优化问题