声明:
1,本篇为个人对《2012.李航.统计学习方法.pdf》的学习总结。不得用作商用,欢迎转载,但请注明出处(即:本帖地址)。
2,因为本人在学习初始时有非常多数学知识都已忘记。因此为了弄懂当中的内容查阅了非常多资料。所以里面应该会有引用其它帖子的小部分内容,假设原作者看到能够私信我。我会将您的帖子的地址付到以下。
3,假设有内容错误或不准确欢迎大家指正。
4,假设能帮到你,那真是太好了。
概述
随意选取一超平面w0、b0,然后用随机梯度下降算法不断极小化L(w, b)。
Ps: 极小化的过程不是一次使M中的全部误分类点的梯度下降,而是随机选取一个误分类点使其梯度下降。
过程概述
1,对于L(w, b) = -yi(w·xi+ b)。L(w, b)的梯度例如以下:
▽w L(w, b) = - yixi
▽b L(w, b) =- yi
2,随机选取一个误分类点(xi, yi),对w,b更新:
w= w + ηyixi
b= b + ηyi
(η为步长。在统计学习中又称学习率)
这样,通过迭代能够期待L(w,b)不断下降,直到为0。
算法的第一种形式(感知机算法的原始形式)
输入:
训练数据集 T={(x1,y1),(x2,y2),...,(xn,yn)},当中x1∈Rn,yi={+1,-1},i=1, 2, ..., n,学习率η(0 < η<= 1)
输出:
w, b。感知机模型 f(x) = sign(w·x + b)
过程:
1, 选取初值w, b
2, 在训练集中取数据(xi,yi)
3。 若 yi(w·xi+ b) <= 0 即分类不对。则:
w= w + ηyixi
b= b + ηyi
注:由于此时分类不正确,所以yi= -1
4, 转至步骤2,直到训练数据集中无误分类点
总结:
直观上解释上面的过程就是:
若一个实例点被误分类,即:位于超平面的错误一側时,需调整w, b 的值,使分离超平面向该误分类点的一側移动。以降低该误分类点与超平面的距离。直至超平面越过该误分类点使其被正确分类。
例:
输入:
训练数据集 x1= (3, 3)。x2 = (4, 3),为正实例点(被正确分类)。x3 = (1, 1)为负实例点
求:
f(x)= sign(w·x + b)
ps:这里的w = (w(1),w(2)),x = (x(1), x(2))
解:
1。 令η=1,并取初值w0 = 0, b0= 0
2, 对x1= (3, 3)。yi(w·xi + b) = 0,未能被正确分类,因此更新w, b
w = w + ηy1x1 = (3, 3)
b= b + ηy1 = 1
获得线性模型:w·x + b = 3x(1) + 3x(2) + 1
3, 检查该线性模型:
对于x1和x2,∵正确分类,∴不改动w,b
对于x3= (1, 1)。∵y3(w·x3 + b) < 0。∴被误分类,∴须要改动w, b
到此说明下: a。 上面出现的yi不是f(x) = w·x + b的f(x),而是代表某个点xi是否被正确分类的值: 正确分类 :yi = 1 不对分类:yi = -1 所以。y1 = 1, y2 = 1, y3 = -1 所以,在上面的第三步中 对x1 和 x2: yi(w·xi + b) = 1*(3xi(1) + 3xi(2) + 1) > 0,被正确分类 对x3: y3(w·x3 + b) = -1*(3x3(1) + 3x3(2) + 1) = -1*(3*1 + 3*1 + 1) < 0,未被正确分类 b。 既然yi不是f(x),那y坐标用什么表示? 答案是: xi(1) 表示xi点的x坐标 xi(2) 表示xi点的y坐标 c。 w·x1为内积 于是对于w = (0, 0),x1 = (3, 3): w·x1 = 0*3 + 0*3 = 0 |
继续第三步,更新w, b:
w = w + ηy3x3 = (3, 3) + -1 * (1, 1) = (2, 2)
b= b + ηy3 = 1 + -1 = 0
于是,线性模型更新为:
w·x + b = 2x(1)+ 2x(2)
4。 迭代上述过程,直到:
w = (1, 1),b = -3
即,线性模型为:
x(1)+ x(2) – 3
此时对全部的点均有yi(w·xi+ b) > 0。无误分类点,于是损失函数达到最小。
终于求得:
分离超平面:x(1)+ x(2) – 3
感知机模型:f(x) =sign(x(1) + x(2) – 3)
附,迭代过程:
迭代次数 |
误分类点 |
w |
b |
w·x + b |
0 |
0 |
0 |
0 |
|
1 |
x1 |
(3, 3) |
1 |
3x(1) + 3x(2) + 1 |
2 |
x3 |
(2, 2) |
0 |
2x(1) + 2x(2) |
3 |
x3 |
(1, 1) |
-1 |
x(1) + x(2) - 1 |
4 |
x3 |
(0, 0) |
-2 |
-2 |
5 |
x1 |
(3, 3) |
-1 |
3x(1) + 3x(2) - 1 |
6 |
x3 |
(2, 2) |
-2 |
2x(1) + 2x(2) - 2 |
7 |
x3 |
(1, 1) |
-3 |
x(1) + x(2) – 3 |
8 |
无(模型确定) |
(1, 1) |
-3 |
x(1) + x(2) – 3 |
注:
上述过程中误分类点先后取:
x1,x3,x3,x3,x1,x3,x3
得到 w = (1, 1), b = -3
若误分类点先后取:
x1,x3,x3。x3,x2,x3,x3,x3,x1,x3,x3
那w = (2, 1), b = -5
可见:
感知机学习算法假设採用不同的初值或迭代不同的误分类点,那结果也不同。
感知机算法的收敛性
到这里有个问题:
怎么知道对一个数据集,我们可採用感知机学习策略?
答案就是:
在经过有限次搜索后。可找到将训练数据全然正确分类的超平面,也就是说算法具有收敛性。
Ps1:算法收敛意味着训练数据集线性可分
Ps2:线性支持向量机可解决上例有多个解的问题
算法的另外一种形式(感知机算法的对偶形式)
在原始形式中有公式:
w= w + ηyixi
b= b + ηyi
那么如果一共改动了n次,则w,b关于(xi(1),xi(2))的增量分别为:
aiyixi和 aiyi (ai= niη)
即:
若η=1,则ai就是第i个点因为误分类而进行更新的次数。即ai = ni。
ai越大 => 实例点更新次数越多 =>越难正确分类,换句话说:这种实例对学习结果影响更大!
然后,感知机算法的对偶形式的算法例如以下:
输入:
线性可分数据集 T={(x1,y1),(x2,y2),...,(xn,yn)},当中x1∈Rn。yi={+1,-1},i=1, 2, ..., n。学习率η(0 < η<= 1)
输出:
感知机模型 f(x) = sign( aiyixi·x + b)
过程:
1, 令a = 0。b = 0
2。 在训练集中取数据(xi,yi)
3, 若
则:
ai= ai + η
b= b + ηyi
4。 转至2直到无误分类数据
而因为对偶形式的训练实例仅以内积形式出现
所以我们预先将训练集中实例间的内积计算出来并以矩阵形式存储,即:产生Gram矩阵(格拉姆矩阵)
G = [ xi, yi ]n*n
样例
输入:
正样本点x1= (3, 3)。x2 = (4,3)
负样本点x3= (1, 1)
求:
感知机模型
解:
1, 令ai= 0。i = 1, 2, 3。b = 0,η=1
2, 计算Gram矩阵
x1·x1 x1·x2 x1·x3
G = x2·x1 x2·x2 x2·x3
x3·x1 x3·x2 x3·x3
3, 误分条件
yi( aiyixi·x + b) <= 0
时。參数更新
ai = ai +1
b = b + yi
4, 開始迭代
由于这里仅仅有3个点
所以:
= yi((a1y1x1·xi + a2y2x2·xi + a3y3x3·xi) + b)
= yi((a1x1·xi + a2x2·xi - a3x3·xi)+ b)
4.1,遍历全部的点。然而在对点x1(第一次迭代)时
由于1*(0 + 0*0 – 0*0) = 0 误分类
所以。
a1 = a1 +1 = 0 + 1 = 1
b = b + y1 = 0 + 1 =1
如今:
a1 = 1, a2= 0, a3 = 0, b = 1
4.2, 遍历全部的点
对点x1
y1*(1 *x1·x1+ 0 – 0 + 1) = 1*(18 + 1) > 0 被正确分类
x2同理,也被正确分类
对点x3
y3*(1 * x1·x3 + 0 – 0 + 1) = -1 * (6 +1) < 0 误分类
所以。
a3 = a3 +1 = 0 + 1 = 1
b = b + y3 = 1 - 1 =0
如今:
a1 = 1, a2= 0, a3 = 1, b = 0
4.3, 遍历全部的点。这一步中x1和x2被正确分类,而x3
y3*(1 *x1·x3+ 0 – 0 * x3·x3 + 0) = -1 * (6 -2) < 0 误分类
所以,
a3 = a3 +1 = 1 + 1 = 2
b = b + y3 = 0 - 1 =-1
如今:
a1 = 1, a2= 0, a3 = 2, b = -1
4.4, 同理,这一步中x1和x2被正确分类。而x3被误分类
所以,
a3 = a3 +1 = 3
b = b + y3 = -2
如今:
a1 = 1, a2= 0, a3 = 3, b = -2
4.5, 这一步中刚遍历到x1时就发现其被误分类
所以,
a1 = a1 +1 = 1 + 1 = 2
b = b + y1 = -2 + 1 =-1
如今:
a1 = 2, a2= 0, a3 = 3, b = -1
4.6,同理,遍历到x3时发现被误分类
更新a3和b之后,如今:
a1 = 2, a2= 0, a3 = 4, b = -2
4.7,同理,遍历到x3时发现被误分类
更新a3和b之后。如今:
a1 = 2, a2= 0, a3 = 5, b = -3
4.8。全被正确分类
5,得出结果:
w = 2x1 + 0x2-5x3 = 2(3,3) – 5(1,1) = (1,1)
b = -3
所以超平面为:
x(1) + x(2)-3 = 0
所以感知机模型为:
f(x) = sign(x(1) + x(2)-3)
随机梯度下降算法中感知机原始模式的代码演示样例
#-*-coding:utf-8-*- # LANG=en_US.UTF-8 # 梯度下降算法 -- 感知机原始模式 # 文件名称:stochastic_gradient_descent.py _list = [ [1, 1, -1], [3, 3, 1], [4, 3, 1], ] w1 = w2 = 0 b = 0 n = 1 _len = len(_list) while [ 1 ]: num = 0 for i in _list: x1 = i[0] x2 = i[1] y = i[2] judge = y * (w1*x1 + w2*x2 + b) if judge <= 0: w1 = w1 + y*x1 w2 = w2 + y*x2 b = b + y else: num += 1 if num == _len: print("f(x) = sign( (%s,%s)*x + %s )" % (w1, w2, b) ) break