介绍
经典线性模型自变量的线性预測就是因变量的预计值。
广义线性模型：自变量的线性预測的函数是因变量的预计值。常见的广义线性模型有：probit模型、poisson模型、对数线性模型等等。对数线性模型里有：logistic regression、Maxinum entropy。
1.线性回归原理
当中，
为偏置參数。M为特征数目。
为基函数（径向基函数(rbf)、sigmoid基函数等），
特别地，当 = 
,即为简单的多元线性回归。当然，依据须要我们也能够在后面正则项。
2.參数学习
使用一般的平方和误差作为Loss function，主要有以下两种方法学习參数
（1）依据梯度下降不断迭代，此处会涉及到learing rate（学习速率）
（2）直接利用公式计算。得到一维精确解
平方和误差定义 ： 
令这个梯度等于零。
终于我们能够得到 
(加黑表示为向量)
当然。我们也能够依据实际的情况定义其它的Loss function。
3.思考
存在的意义
我们能够利用平方和误差对进行求导，
终于解得 
当中，
, 
因此，偏置补偿了目标值的平均值（在训练集）与基函数的值的加权求和之间的差。
4.从最根本的广义线性模型角度，导出经典线性模型
1）指数家族
当固定T时，这个分布属于指数家族中的哪种分布就由a和b两个函数决定。以下这样的是伯努利分布，相应于逻辑回归问题
注：从上面可知
，从而
，在后面用GLM导logistic regression的时候会用到这个sigmoid函数。
以下这样的是高斯分布，相应于经典线性回归问题
2）GLM（广义线性模型）
指数家族的问题能够通过广义线性模型来解决。怎样构建GLM呢？在给定x和參数后，y的条件概率p(y|x,θ) 须要满足以下三个如果：
assum1) y | x; θ ～ ExponentialFamily(η).
assum2) h(x) = E[y|x]. 即给定x，目标是预測T(y)的期望，通常问题中T(y)=y
assum3) η = θTx。即η和x之间是线性的
3）经典线性回归
经典线性回归：预測值y是连续的，如果给定x和參数，y的概率分布服从高斯分布（相应构建GLM的第一条如果）。
由上面高斯分布和指数家族分布的相应关系可知，η=μ。依据构建GLM的第2、3条如果可将model表示成：
5.加快模型收敛速度
能够将训练集中的数据处理到某个特征的范围内（当然这样对终于的结果有一定的影响，这个须要依据集体的目标、数据分布等来分析），从而加快模型收敛，此法不仅限于线性回归。主要有以下几种方法
（1）
（2）[X-mean(X)]/std(X);
（3）sigmod
（4）tan
（5）log
6.长处
（1）训练速度快
（2）对趋势比較明显的数据预測效果比較好
7.缺点
（1）easy欠拟合
（2）针对线性不可分的情况效果往往不佳
8.注意事项
（1）特征之间应相互独立（防止多元共线性，对于多元共线性问题，我们也能够通过逐步回归、岭回归的方法解决。从某种意义上来说相似于加入正则项）
（2）特征不宜过多
（3）做下One-hot处理效果还不错
（4）特征与预測变量之间应有一定相关性（能够使用皮尔逊方法检測）
（5）残差e 服从正态分布N(0,σ2) 。
其方差σ2 = var (ei) 反映了回归模型的精度。 σ 越小，用所得到回归模型预測y的准确度愈高
（6） e 的大小不随全部变量取值水平的改变而改变，即方差齐性
參考文献
1.Pattern Recognition And Machine Learning
2.http://blog.csdn.net/lilyth_lilyth/article/details/10032993