最优化的概念最早可追溯到变分法和Euler及Lagrange的工作。 20世纪40年代的线性规划的发展拓宽了这个领域，并激发了持续60多年的现代最优化理论和方法的研究。
按照数学观点， 最优化有时又称数据规划，其中规划的英文词汇是“programming".非常有趣的是这个词汇在20世纪40年代突然发生奇遇， 首先被研究优化的数学家看中， 用来表述各种优化问题，比较确切的中文翻译是”规划“。与之相关的词组有线性规划，非线性规划，动态规划，组合规划等。 接着它又被计算机专家看中， 用来表述编写计算机程序。这样一来可难坏了图书馆分类专家，他们吃不准含有”programming"的书是属于数学还是属于计算机。
非线性最优化的一个重要理论是1951年Kuhn-Tucker最优条件（简称KT条件）的建立。此后在20世纪50年代主要是对梯度法和牛顿法的研究， 这两个方法的基本理论和性质已被广泛应用。以Davidon， Fletcher和Powell提出的DFP方法为起点， 60年代是研究拟牛顿方法活跃时期，同时对共轭梯度法也有较好的研究。在1979年由Broyden ,Goldefarb和Shanno从不同的角度共同提出的BFGS方法是目前为止最有效的拟牛顿方法。70年代是最优化飞速发展时期，序列二次规划法和Lagrange乘子法是这一时期最要研究成果。计算机的飞速发展使非线性规划的研究如虎添翼。20世纪80年代开始研究信赖域法，稀疏拟牛顿法，大规模问题的方法和并行计算，90年代研究解决非线性规划问题的内点法，直接搜索法和有限存储法。21世纪后各种新的优化算法不断涌现，为优化领域增添了绚丽的色彩。
原文地址：https://www.cnblogs.com/Lebesgue/p/10090512.html