ScalersTalk成长会机器学习小组第7周学习笔记

ScalersTalk成长会机器学习小组第7周学习笔记

本周主要内容

- 优化目标

- 最大间隔

- 最大间隔分类的数学背景

- 核函数I

- 核函数II

- 使用支持向量机

本周主要知识点:

一、优化目标

- 从另一个角度看logistic回归

hθ(x)=1(1+e?θTx)

if y=1 , 我们需要hθ(x)≈1,θTx>>0

if y=0 , 我们需要hθ(x)≈0,θTx<<0

- 从另一个角度看logistic回归

- 损失函数:?(yloghθ(x))+(1?y)log(1?hθ(x))

=?ylog11+e?θTx+(1?y)log(1?11+e?θTx)

- 支持向量机和logistic回归损失函数:

logistic回归:

minθ1m[∑i=1my(i)(?loghθ(x(i)))+(1?y(i))((?log(1?hθ(x(i))))]+λ2m∑i=1nθ2j

支持向量机:

minθC∑i=1m[y(i)cost1(θTx(i))+(1?y(i))cost0(θTx(i))]+12∑i=1nθ2j

二、最大间隔的含义

- 优化求解目标函数:

minθC∑i=1m[y(i)cost1(θTx(i))+(1?y(i))cost0(θTx(i))]+12∑i=1nθ2j

if y=1 , 我们需要θTx≥1,而不是≥0

if y=0 , 我们需要θTx≤?1,而不是≤0

- 支持向量机的决策边界:

当C为一个很大的值:

- 支持向量机:线性可分场合

- 支持向量机:最大间隔在存在异常值场合

四、核函数I

- 非线性决策边界:

- 模型预测:

对样本进行预测,具有下面形式:

if θ0+θ1x1+θ2x2+θ3x1x2+θ4x21+θ5x22+...≥0, then y=1, 预测为正类

hθ(x)={1,0,if θ0+θ1x1+θ2x2+...≥0上记场合以外

→θ0+θ1f1+θ2f2+θ3f3+...

f1=x1,f2=x2,f4=x1x2,f4=x21,f5=x22,...

这里由于是多项式展开形成的特征,一下子计算量变得不可估计,看看如何通过核函数来降维。

- 核函数:

给定x场合,计算一个新的特征,这个特征依赖于其临近的标记点:l(1),l(2),l(3)

给定x场合:

f1=similarity(x,l(1))=exp(?||x?l(1)||22σ2)

f2=similarity(x,l(2))=exp(?||x?l(2)||22σ2)

f3=similarity(x,l(3))=exp(?||x?l(3)||22σ2)

↑核函数(高斯核)K=(x,l(i))

- 核函数和相似度函数:

f1=similarity(x,l(1))=exp(?||x?l(1)||22σ2)

在给定x临近l(1)时:

f1≈exp(?022σ2)≈1

在给定x远离l(1)时:

f1≈exp(?(large number)22σ2)≈0

- 核函数例子:

l(1)=(35),f1=exp(?||x?l(1)||22σ2)

f1≈1,f2≈0,f3≈0

对于靠近l(1)的点计算等式:

θ0+θ1f1+θ2f2+θ3f3=?0.5+1=0.5>0

预测:y=1

对于远离l(1)、l(2)、l(3)的点计算等式:

θ0+θ1f1+θ2f2+θ3f3=?0.5+0=?0.5<0

预测:y=0

五、核函数II

- 如何选择标记点:

  • SVM的核函数:

  • SVM的核函数:

    大家还记得线性不可分时的SVM那张图,特征的维数灾难通过核函数解决了。

    公式最右侧的12∑jmθ2j被替换成立θTMθ,这样是为了适应超大的训练集。

  • SVM的参数选择:

    六、使用SVM

  • 使用软件包来求解参数θ:

  • 核函数的相似度函数如何写:

    记得在使用高斯核函数时不要忘记对特征做归一化。

  • 其他的核函数选择:

    并不是所有的核函数都合法的,必须要满足Mercer定理。

  • 多项式核:

    衡量x与l的相似度:

    (xTl)2

    (xTl)3

    (xTl+1)3

    通用的公式:

    (xTl+Con)D

    如果它们是相似的,那么內积就会很大。

  • String kernel:

    如果输入时文本字符

    用来做分类

    Chi-squared kernel

    Histogram intersection kernel(直方图交叉核)

  • SVM的多分类:

    Many packages have built in multi-class classification packages

    Otherwise use one-vs all method

    Not a big issue

  • SVM和Logistic 回归的比较:

    六、作业

function sim = gaussianKernel(x1, x2, sigma)
%RBFKERNEL returns a radial basis function kernel between x1 and x2
%   sim = gaussianKernel(x1, x2) returns a gaussian kernel between x1 and x2
%   and returns the value in sim

% Ensure that x1 and x2 are column vectors
x1 = x1(:); x2 = x2(:);

% You need to return the following variables correctly.
sim = 0;

% ====================== YOUR CODE HERE ======================
% Instructions: Fill in this function to return the similarity between x1
%               and x2 computed using a Gaussian kernel with bandwidth
%               sigma
%
%
sim = exp(-(x1 - x2)‘ * (x1 - x2) / (2*(sigma^2)));

% =============================================================

end

dataset3Params.m:

function [C, sigma] = dataset3Params(X, y, Xval, yval)
%EX6PARAMS returns your choice of C and sigma for Part 3 of the exercise
%where you select the optimal (C, sigma) learning parameters to use for SVM
%with RBF kernel
%   [C, sigma] = EX6PARAMS(X, y, Xval, yval) returns your choice of C and
%   sigma. You should complete this function to return the optimal C and
%   sigma based on a cross-validation set.
%

% You need to return the following variables correctly.
C = 1;
sigma = 0.3;

% ====================== YOUR CODE HERE ======================
% Instructions: Fill in this function to return the optimal C and sigma
%               learning parameters found using the cross validation set.
%               You can use svmPredict to predict the labels on the cross
%               validation set. For example,
%                   predictions = svmPredict(model, Xval);
%               will return the predictions on the cross validation set.
%
%  Note: You can compute the prediction error using
%        mean(double(predictions ~= yval))
%
smallest_error=1000000;

c_list = [0.01; 0.03; 0.1; 0.3; 1; 3; 10; 30];

s_list = c_list;

  for c = 1:length(c_list)

    for s = 1:length(s_list)

        model  = svmTrain(X, y, c_list(c), @(x1, x2) gaussianKernel(x1,x2,s_list(s)));

        predictions = svmPredict(model, Xval);

        error = mean(double(predictions ~= yval));

        if error < smallest_error

           smallest_error = error;

           C = c_list(c);

           sigma = s_list(s);

        end

        end

    end

% =========================================================================

end

emailFeatures.m:

function x = emailFeatures(word_indices)
%EMAILFEATURES takes in a word_indices vector and produces a feature vector
%from the word indices
%   x = EMAILFEATURES(word_indices) takes in a word_indices vector and
%   produces a feature vector from the word indices. 

% Total number of words in the dictionary
n = 1899;

% You need to return the following variables correctly.
x = zeros(n, 1);

% ====================== YOUR CODE HERE ======================
% Instructions: Fill in this function to return a feature vector for the
%               given email (word_indices). To help make it easier to
%               process the emails, we have have already pre-processed each
%               email and converted each word in the email into an index in
%               a fixed dictionary (of 1899 words). The variable
%               word_indices contains the list of indices of the words
%               which occur in one email.
%
%               Concretely, if an email has the text:
%
%                  The quick brown fox jumped over the lazy dog.
%
%               Then, the word_indices vector for this text might look
%               like:
%
%                   60  100   33   44   10     53  60  58   5
%
%               where, we have mapped each word onto a number, for example:
%
%                   the   -- 60
%                   quick -- 100
%                   ...
%
%              (note: the above numbers are just an example and are not the
%               actual mappings).
%
%              Your task is take one such word_indices vector and construct
%              a binary feature vector that indicates whether a particular
%              word occurs in the email. That is, x(i) = 1 when word i
%              is present in the email. Concretely, if the word ‘the‘ (say,
%              index 60) appears in the email, then x(60) = 1. The feature
%              vector should look like:
%
%              x = [ 0 0 0 0 1 0 0 0 ... 0 0 0 0 1 ... 0 0 0 1 0 ..];
%
%
for i=1:length(word_indices)

    row = word_indices(i);

    x(row) = 1;

end

% =========================================================================

end

processEmail.m:

   % Look up the word in the dictionary and add to word_indices if
    % found
    % ====================== YOUR CODE HERE ======================
    % Instructions: Fill in this function to add the index of str to
    %               word_indices if it is in the vocabulary. At this point
    %               of the code, you have a stemmed word from the email in
    %               the variable str. You should look up str in the
    %               vocabulary list (vocabList). If a match exists, you
    %               should add the index of the word to the word_indices
    %               vector. Concretely, if str = ‘action‘, then you should
    %               look up the vocabulary list to find where in vocabList
    %               ‘action‘ appears. For example, if vocabList{18} =
    %               ‘action‘, then, you should add 18 to the word_indices
    %               vector (e.g., word_indices = [word_indices ; 18]; ).
    %
    % Note: vocabList{idx} returns a the word with index idx in the
    %       vocabulary list.
    %
    % Note: You can use strcmp(str1, str2) to compare two strings (str1 and
    %       str2). It will return 1 only if the two strings are equivalent.
    %
 for i=1:length(vocabList)

        if(strcmp(str , vocabList(i)))

           word_indices = [word_indices; i];

        end
end
时间: 2024-10-05 05:58:37

ScalersTalk成长会机器学习小组第7周学习笔记的相关文章

ScalersTalk成长会机器学习小组-深度学习第3次学习笔记

第九章 前言 什么是卷积 神经网络里卷积的目的 什么是池化 卷积和池化的强先验 前言 卷积网络也叫卷积神经网络(或者CNN),是一种特殊的深层的神经网络模型,它适合于时间序列数据的处理和图像数据处理. 这章内容主要讨论内容: 什么是卷积 使用卷积的动机 什么是池化 用于实践中的神经网络的几个变化卷积函数 卷积如何应用于各种维度不同的数据 讨论一些如何使卷积神经更有效率 补充内容: 卷积神经网络的特殊性体现在两个方面,一方面它的神经元间的连接是非全连接的, 另一方面同一层中某些神经元之间的连接的权

《Linux内核分析》第六周学习笔记

<Linux内核分析>第六周学习笔记 进程的描述和创建 郭垚 原创作品转载请注明出处 <Linux内核分析>MOOC课程http://mooc.study.163.com/course/USTC-1000029000 [学习视频时间:1小时 撰写博客时间:2小时] [学习内容:进程创建的过程.使用gdb跟踪分析内核处理函数sys_clone] 一.进程的描述 1.1 进程描述符task_struct数据结构(一) 1. 进程控制块PCB——task_struct 为了管理进程,内核

机电传动控制课程第一周学习笔记

机电传动课程第一周学习笔记 本周的学习内容主要是第一章绪论和第二章机电传动系统的动力学基础,结合课程学习和预习复习回顾内容如下: 1.绪论:学习了机电传动控制目的与任务.发展历程和我们该如何学习这门课程. 2.机电传动系统的动力学基础: a.运动方程式:对于单一拖动系统或者多拖动系统,在分析时一般都折算到一根轴(电动机轴)上,折算的基本原则是,折算前的多轴系统同折算后的单轴系统在能量关系上或功率关系上保持不变.而对于单 走拖动系统的运动方程式如下. b.判断TM/TL的符号:主要概括为三条:规定

linux入门-第一周学习笔记

Linux新手入门-第一周学习笔记 一.安装系统注意的问题 1.磁盘分区: 以分配给系统200G内存大小为例: (1)给 /boot 200M大小即可,由于/boot 仅存放内核相关启动文件.不需要给太大的分区. (2)给 / 50G大小,根用户下要存放很多的文件. (3)给/testdir 50G大小,这是我们做实验用到的文件. (4)给swap 4G大小,由于swap是交换分区,其大小推荐是内存的1.5倍~2.0倍 注意:CentOS6.8的文件系统为ext4,而CentOS7.2的文件系统

《Linux内核分析》第七周学习笔记

<Linux内核分析>第七周学习笔记 可执行程序的装载 郭垚 原创作品转载请注明出处 <Linux内核分析>MOOC课程http://mooc.study.163.com/course/USTC-1000029000 [学习视频时间:1小时35分钟 实验时间:1小时 撰写博客时间:2小时] [学习内容:共享库和动态链接.exec系统调用的执行过程.可执行程序的装载] 一.预处理.编译.链接和目标文件的格式 1.1 可执行程序如何得来?

Linux第一周学习笔记(2)

Linux第一周学习笔记(2) 1.3认识Linux (1).什么是Linux Linux是一个操作系统,比如说微软的winodws.苹果电脑的masOS.早于Linux发行的unix: 我们平时使用的PPT.浏览网站.玩游戏这些都是需要操作系统的层面上来完成的: 也包括了我们现在手机使用的系统有三个版本一个是Andriod和苹果的Los以及微软的windows,Los其实也就是Unix系统而Andriod是Linux系统: 我们生活当中常用的一些网站.游戏.QQ.微信这些应用都是在Linux操

20165326 java第五周学习笔记

第五周学习笔记 ch7 内部类(&外嵌类) 内部类的类体不可以声明类变量和方法 内部类如同类的变量或方法 内部类和外嵌类在编译时生成两个class文件 匿名类 异常类 断言 原文地址:https://www.cnblogs.com/Czzzz/p/8688184.html

20165326 java第七周学习笔记

第七周学习笔记 MySQL(数据管理系统)学习 知识点总结: 不能通过关闭MySQL数据库服务器所占用的命令行窗口来关闭MySQL数据库. 如果MySQL服务器和MySQL管理工具驻留在同一台计算机上,主机名可以是localhost或127.0.0.1. JDBC是允许用户在不同数据库之间做选择的一个抽象层.JDBC允许开发者用JAVA写数据库应用程序,而不需要关心底层特定数据库的细节. 查询操作: 向数据库发送SQL查询语句,先用statement声明对象,已创建的连接对象调用creatSta

20165326 java第八周学习笔记

第八周学习笔记 知识点总结 1.进程与线程 进程:程序的一次动态执行过程 区别:进程和线程的区别? 进程是资源的分配和调度的一个独立单元,而线程是CPU调度的基本单元 同一个进程中可以包括多个线程,并且线程共享整个进程的资源(寄存器.堆栈.上下文),一个进行至少包括一个线程. Java的多线程机制.Java内置对多线程的支持.我们的计算机在任何给定说的时刻只能执行线程中的一个,Java虚拟机只是从一个线程迅速地切换到另一个线程. 当main方法中有其他线程时,JVM一直要等到Java应用程序中的