由perceptron线性组成的一个神经网络:
通过赋予g不同的权值,来实现不同的切分功能:
但有的切分只通过一次特征转换是不够的,需要多次转换,如下:
Neural Network Hypothesis:为了便于优化,将sign(离散)变成tanh,这个函数相当于regression的拉伸与平移:
然后给了一个物理解释:衡量x与权值向量在模式上的的相似程度
那么怎么得到权值w呢:可以在最后的错误上对各个权值求偏微分,得到权值变化的方向:
直接求微分不好求,可先求最后一个:
给了一个算法:
这样的类神经网络容易陷于局部最优,解决方法是使用随机的较小的权值
这个模型的复杂度,要小心overfit
为了防止overfit,可以采用regularization,关于正则化项的选取:
还介绍了另外一种regularization的方法:
时间: 2024-10-07 16:09:08