本讲大纲：
1.局部加权线性回归（locally weighted linear regression）
给定一个数据集，根据x预测y.
最左边的函数为
，并不能很好的拟合数据；
中间的加了一个额外的特性
，函数为
，稍微更好地拟合了数据；
似乎我们增加越多的特性，拟合程度越好；但是增加太多的特性是很危险的，最右边的图是一个五阶的多项式
，虽然很好的拟合了给定的数据集，但是这个并不是一个很好的预测函数。
欠拟合（underfitting）：很明显有一些没有被模型捕获的结构，比如说最左边的图.
过拟合(overfitting)：最右边的就是一个过拟合的例子.
因此说，特性的选择对于学习算法的性能来说是很重要的！！！
在原先的线性回归算法中，对查询点x做预测，我们：
而局部加权线性回归算法是：
其中，
是非负值的权重。
对权重的一个标准选择是：
当
很小时，权重接近于1；当
很大时，权重很小，接近于0. 因此，
的选择是训练集中越接近查询点的样本权重越大.
参数
控制着样本集离查询点距离权重下降的快慢，称为波长参数.
非参数化学习算法（non-parametric learning algorithm）：
为了更好的展现假设，我们需要考虑的东西的数量随着训练集而线性增长（局部权重加权回归算法是我们学习的非参数学习算法的第一个例子）.
参数化学习算法（parametric learning algorithm）:
拟合数据只需要固定的、有限的参数（线性回归算法）.
2.概率解释（probabilistic interpretation）
在回归问题中，为什么选择最小二乘法，是否合理？
假设目标变量和输入的关系如下：
表示误差项，不管是建模过程中没有考虑进来的因素，还是一些随机的因素；
根据高斯分布（Gaussian distribution）或者叫做正态分布(Normal distribution),再假设
是IID(independently and identically distributed), 也就是说，
，
等价于：
注意，
的意思是在参数
的情况下，给定x，y的分布，
并不是随机变量.
似然函数（likelihood function）:
注意到误差项的独立假设，对所有给定的X,有：
根据最大似然估计原则，我们应该最大化
.
为了计算方便，对极大似然函数取对数，
问题转化为最小化
这也就是我们最初的最小二乘法的代价函数.
注意到我们的最终结果与
无关.
3.逻辑回归（logistic regression）
分类（classification）：也类似于回归(regression)问题，只是y的取值是一小部分的离散值.这边我们暂时先考虑二元的分类问题(binary classification，也就是说y只有两个取值,0和1.
为了了解分类问题，先忽略y是一个离散值，使用线性回归算法来预测y. 但是很容易发现的问题是y有可能出现大于1或者小于0的值，因此我们改变假设函数为：
称为逻辑函数(logistic function)或者s型函数（sigmoid function）.
下面是g(z)的图像：
logistic 函数一个有用的求导特性：
假设：
等价于：
假设m个训练样本是单独产生的，于是
取对数得：
类似于在线性回归中的求导，可以使用梯度上升(gradient ascent)(因为是正号，因此是最大化不是最小化).
考虑一个样本，根据梯度上升原则求偏导：
因此
4.感知器算法（the perceptron learning algorithm）
如果需要改变logistic回归方法使得输出是0或1，定义临界函数（threshold function）:
令
，但是用这个函数定义g，因此：
这就是感知器学习算法.