线性回归的概念。在高中的数学书出现了。
给你一些样本点，怎样找出一条直线，使得最逼近这些样本点。
给出一个样例：如果 x 是房子面积，y是房子价格。确定一条直线须要theta0和theta1.
给出x,我们就能够计算出房子的价格 h(x) = theta0+theta1*x
关键是怎样计算出theta0和theta1,也就是怎样找出这么一条直线呢？
在这里，引入一个概念，叫做cost function.m表示样本个数，也就是训练样本数目
这是一个square error。学过统计的应该常常见到
因此，我们的目的i就变成怎样最小化这个J。意味着这条直线最逼近我们的样本点
先简化一下问题，如果theta0 = 0,那么我们的目标就是最小化J(theta1)
如果眼下有3个样本点（1,1）(2,2) (3,3)
J(0) = 1/(2*3)*((1-0)^2+(2-0)^2+(3-0)^2)
当theta1取不同的值时，J(theta1)就形成了一个二次函数。当theta1 = 1是极小值也是最小值。
问题回到2元函数theta0,theta1
easy想像，这肯定是一个平面函数了
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvYWJjZDE5OTI3MTln/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" width="450" height="333" >关键问题就是怎样找到这个最低点
以下再举个样例直观的感受下。不再使用3维图了，而是使用例如以下右图。
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvYWJjZDE5OTI3MTln/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" width="600" height="300" >
左图的直线明显和样本点一点都不逼近，所以在右图中的红叉就离中间比較远
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvYWJjZDE5OTI3MTln/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" width="600" height="300" >
这里比上面略微好点，于是红点离中心更近了
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvYWJjZDE5OTI3MTln/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" width="600" height="300" >
这是最优结果，落在了中间
还是那个问题。怎样寻找我们的theta0和theta1呢？我们能够用梯度下降的方法。如图：
随机初始化theta0和theta1,一直往梯度下降的方向走，J就会越来越小。
公式例如以下：
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvYWJjZDE5OTI3MTln/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" width="450" height="250" >
当中，alpha是我们的learning rate,不能太小。否则算法速度会非常慢，也不能太大，否则非常easy越过最小值导致不能收敛。
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvYWJjZDE5OTI3MTln/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" width="450" height="250" >
我们在前面有：
于是
因此，我们的算法变成
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvYWJjZDE5OTI3MTln/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" width="450" height="233" >
当你发现两次循环之间的theta0和theta1的区别非常小非常小就converge了，你能够设置一个阀值比方10e-6。
配套练习http://download.csdn.net/detail/abcd1992719g/7306053