zaish上一节讲了线性回归中L2范数的应用，这里继续logistic回归L2范数的应用。
先说一下问题：有一堆二维数据点，这些点的标记有的是1，有的是0.我们的任务就是制作一个分界面区分出来这些点。如图（标记是1的样本用+表示，0的用红点表示）：
这其实是一个二分类问题，然后我们就想到了logistic回归模型。这是一个概率模型，
即预测在x已知时，标记为1的概率：
那么标记为0的概率为：
。
那么分别根据每个样本的标记y是1还是0分别带入到每个概率模型（每个样本只带入一个模型，而不是两个都带入），然后就得出了对数似然估计，也就是
cost function，这也就是之前我们做的。
现在我要说点不同的东西，先说一下之前理解的线性回归中的
，我之前以为就是样本的所有维度变量的线性叠加。其实这里的线性回归不光是这样，我理解的太狭隘了。这里的x，包括前面的x指的是样本特征的向量！不是很明白么，继续解释一下，一个样本是[x1,x2],那么这个样本的特征可以是x= [x1,x2]，但是这个样本的特征也可以不光是这些，比如这个样本的特征还可以是x=[x1,x1平方，x2，x2平方，x1x2].懂了吧？特征是你自己从观察值中提取出来的，你想是什么就是什么，而不只是观察值本身。再比如，有一幅图像，那么这幅图像的特征不光可以是像素值，还可以用很多方法来得到你想要的图像的特征。而这里说的线性回归应该指的是特征的线性回归模型。所以上一节确实是线性回归模型。所以从观察值中如何找特征，找哪些特征也是一个很重要的问题。
现在我们的样本观察值有两维，即
,并且我们根据观察值，取的特征为：
这是一个29维的特征向量，我们先根据每一个样本的观察值得到每一个样本29维的特征向量。这个程序，程序下载入口这个网站已经给出了：
1: function xFeature= map_feature(u, v)
2: %u,v 向量每个元素分别是每个样本的第一维，第二维的观察值
3: degree= 6;
4: xFeature= ones(size(u(:,1)));
5: for i = 1:degree
6: for j = 0:i
7: xFeature(:, end+1) = (u.^(i-j)).*(v.^j);
8: %xFeature 矩阵的每一行是每一个样本的特征向量
9: end
10: end
加入L2正则项的cost function是：
这里θ是从θ0开始的，一直到θ28.θ0就是θX中常数项的那个参数。所以这个公式表明θ0是不用加上去的。即常数项的那个参数不参与cost function的规则相。
公式中的x（i）就是前面得到的每一个样本的28维特征向量
现在我们要对这个cost function 最小化来得到模型的参数。我们使用牛顿法进行迭代：
我们知道（之前的一节中）没有正则项时候的cost function的一次导为：
二次导数为：
带了L2正则项的cost function 的一次导为：
也就是：
，θ’是θ这个模型参数向量（这里第一个元素师θ0，也就是θX常数项的参数）的第一个元素θ0=0的向量。
二次导为：
matlab代码即：
2: %之后就不用再增加一列了。后面的theta参数也不用n+1了。
3: [m, n] = size(x);
4: % Initialize fitting parameters
5: theta = zeros(n, 1);%参数θ向量是一个列向量。
6: % Define the sigmoid function
7: g = inline(‘1.0 ./ (1.0 + exp(-z))‘);
8: % setup for Newton‘s method
9: MAX_ITR = 15;%牛顿迭代法的次数
10: J = zeros(MAX_ITR, 1);%初始化15次迭代的cost function 值，J是为了之后画图
11: % Lambda 是L2正则项的参数
12: lambda = 1;%lambda=0,1,10，修改这个地方，运行3次可以得到3种结果。
13: % Newton‘s Method
14: for i = 1:MAX_ITR
15: z = x * theta;
16: h = g(z);%z，h都是m*1的列向量，m是样本的个数
17: % Calculate J (for testing convergence)
1: x = map_feature(x(:,1), x(:,2));%得到的x第一列都是1,经过这个函数后已经增加了，
18: J(i) =(1/m)*sum(-y.*log(h) - (1-y).*log(1-h))+ ...
19: (lambda/(2*m))*norm(theta([2:end]))^2;
20: %norm(theta([2:end]))就是欧氏距离，所以还要平方。要知道是2：end，不是1：end
21: %前面说了
22:
23: % Calculate gradient and hessian.
24: G = (lambda/m).*theta; G(1) = 0;
25: % extra term for gradient
26: L = (lambda/m).*eye(n); L(1) = 0;
27: % extra term for Hessian eye(n)是n维单位矩阵。
28: grad = ((1/m).*x‘ * (h-y)) + G;
29: H = ((1/m).*x‘ * diag(h) * diag(1-h) * x) + L;%除了G,L其他的公式matlab
30: %的表达形式都和以前一样。
31:
32: % Here is the actual update
33: theta = theta - H\grad;
34:
35: end
当我们得到logistic回归模型的参数后，我们知道这个模型得到的是概率，我们如果想用这个模型进行分类，我们需要有一个分类假设，这里我们假设如果
h（x（i））>0.5，那么这个样本X（i）就属于label=1那一类，如果<0.5,那么这个样本x（i）就属于label=0那一类。于是我们推算出来：
这个就是分界面。注意这里的x是那个29维的向量。因为我们要在那个输入的观察向量[u,v]那个面上画出分界面，所以我们要把这里的x里面的元素各代表多少的u和v还原回去，那么这个分界面就是一个曲面了（因为有u，v都有高次方）。那么具体怎么画哪，我们在u，v轴上画出一个区域的数据格，把这个区域里面所有的[u,v]通过map_function 得到每一个29维的x向量， 然后通过
，得到这个区域所有对应的z，然后通过在这些z中画出z=0的等高线，就得到了
的这个分界面。具体的matlab程序为：
1: u = linspace(-1, 1.5, 200);
2: v = linspace(-1, 1.5, 200);
3: z = zeros(length(u), length(v));
4:
5: % Evaluate z = theta*x over the grid
6: for i = 1:length(u)
7: for j = 1:length(v)
8: z(i,j) = map_feature(u(i), v(j))*theta;
9: end
10: end
11: z = z‘; % important to transpose z before calling contour
12:
13: % Plot z = 0
14: contour(u, v, z, [0, 0], ‘LineWidth‘, 2）
这里有个疑惑的地方就是第11行为什么要对z转置，这里说一下：假设区域如图所示：
看上面程序的第6-8行，我们知道i=1，v=2的时候，那么z（1,2）就是图中的红点对应的z值，那么循环完之后就是有一个z矩阵，
那么接下来我们用contour这个画等高线，后面的输入是（u，v，z，[0,0]),这里的意思是根据u，v向量给出的坐标，然后和对应的z得到z的
曲面，然后后面的[0,0]意思是画出z=0和z=0之间的等高线，也就是画出z=0的等高线。这里有一个地方要注意的是u，v向量给出的坐标，然后和z
对应的方式是：比如u的第一个元素和v的第二个元素，对应的是z矩阵的第二行第一列z（2,1），也就是u对应的是矩阵z第几列，v对应的是矩阵z的第几行。然而，我们根据之前循环得到的矩阵知道，那里的z（2,1）是当i=2，v=1得到的，也就是u=2（u的第二个元素），v=1（v的第一个元素），所以我们草药把循环得到的z转置才可以使用contour函数。
实验结果：
当L2正则项参数为0时，cost function的 收敛情况如图：
此时分界面对样本分界的情况如图：
可以看出，分界面比较复杂，虽然对样本分界的效果做到很精细，但我们做出的分界面是为了对未标注的样本分类，过于复杂的分界面容易产生过拟合现象。
当L2正则项参数为1时，cost function的 收敛情况如图：
可以看出，λ=1时收敛更快，说明正则项的系数增大会使模型变得简单，从分界面对样本分界的情况更可以看出来，如图：
分界面更圆滑，虽然分界面不是很精细了，也有些误分类，但是模型的简单化可以防止过拟合现象，可能对未训练样本分类更好。
再看下λ=10时的情况：
这时候你可能会想我这时候取的特征中最高是观察值的6次方，我们知道6次方最后得到的分界面肯定是很复杂的，如果我们把特征变的简单一点，比如观察值最高是3次方，这时候最后得到的分界面肯定比之前简单（更极端的是特征就是观察值，也就是说特征是观察值的一次方，前面已经画过了，是一条直线），我们验证一下：
当特征最高是观察值的3次方（λ=0）：
收敛情况和分界面对样本分界的情况分别是：
我们看到模型确实更简单了，收敛更快了（相比上面的六次方λ=0的情况）我个人感觉这个相比六次方那个特征假设模型更好，可以比较这个分界曲面的方向，并且比较圆滑，比较美，也比较符合样本的走向。我认为更具有普适性。对未知样本分类效果更好。