回归和

http://www.cnblogs.com/jerrylead/archive/2011/03/05/1971867

首先说线性回归

我们用X1，X2..Xn 去描述feature里面的分量，比如x1=房间的面积，x2=房间的朝向，等等，我们可以做出一个估计函数：

为了如果我们令X0 = 1，就可以用向量的方式来表示了：

我们程序也需要一个机制去评估我们θ是否比较好，所以说需要对我们做出的h函数进行评估，一般这个函数称为损失函数（loss function）或者错误函数(error function)，描述h函数不好的程度，在下面，我们称这个函数为J函数

在这儿我们可以认为错误函数如下：

如何调整θ以使得J(θ)取得最小值有很多方法，其中有最小二乘法(min square)，和梯度下降法。

logistic回归

回归不用在分类问题上，因为回归是连续型模型，而且受噪声影响比较大。如果非要应用进入，可以使用logistic回归。

logistic回归本质上是线性回归，只是在特征到结果的映射中加入了一层函数映射

logistic回归的假设函数如下，线性回归假设函数只是。

Softmax回归

最后举了一个利用一般线性模型的例子。

假设预测值y有k种可能，即y∈{1,2,…,k}

可以看出softmax是logistic的一个泛化版。logistic是k=2情况下的softmax回归。