机器学习实战精读--------logistic回归

Logistic回归的主要目的：寻找一个非线性函数sigmod最佳的拟合参数

拟合、插值和逼近是数值分析的三大工具

回归：对一直公式的位置参数进行估计

拟合：把平面上的一些系列点，用一条光滑曲线连接起来

logistic主要思想：根据现有数据对分类边界线建立回归公式、以此进行分类

sigmoid函数：在神经网络中它是所谓的激励函数。当输入大于0时，输出趋向于1，输入小于0时，输出趋向0，输入为0时，输出为0.5

梯度上升：要找到某个函数的最大值，最好的方法是沿着该函数的梯度方向探寻

收敛：随着迭代的运行算法的结果和真实结果的误差越来越小，且趋向于一个固定值。

爬山算法：是完完全全的贪心算法，每次鼠目寸光的选择一个当前最优解，英雌只能搜寻到局部最优值

模拟退火算法：也是一种贪心算法但它的sou索过程引入了随机因素，模拟退火算法以一定的概念来接受一个比当前解要差的解，因此有可能会跳出这个局部最优解，达到全局最优解。

处理数据中的缺失值：

使用可用特征的均值来填补缺失值

使用特殊值来填补缺失值，如-1

忽略有缺失值的样本

使用相似样本的均值添补缺失值

使用其它机器学习算法预测缺失值

标签与特征不同，很难确定采用某个合适的值来替换。