Coursera台大机器学习技法课程笔记12-Neural Network

由perceptron线性组成的一个神经网络：

通过赋予g不同的权值，来实现不同的切分功能：

但有的切分只通过一次特征转换是不够的，需要多次转换，如下：

Neural Network Hypothesis：为了便于优化，将sign（离散）变成tanh，这个函数相当于regression的拉伸与平移：

然后给了一个物理解释：衡量x与权值向量在模式上的的相似程度

那么怎么得到权值w呢：可以在最后的错误上对各个权值求偏微分，得到权值变化的方向：

直接求微分不好求，可先求最后一个：

给了一个算法：

这样的类神经网络容易陷于局部最优，解决方法是使用随机的较小的权值

这个模型的复杂度，要小心overfit

为了防止overfit，可以采用regularization，关于正则化项的选取：

还介绍了另外一种regularization的方法：