数据挖掘分类--判别式模型 ----支持向量机

支持向量机是一种非常流行的监督学习的算法  简称SVM  针对线性和非线性的数据 它是利用一种非线性转换，将原始训练数据映射到高维空间上。

目前已经在手写数字识别 对象识别 说话人识别  以及基准时间序列预测检验等方面得到了广泛的应用

SVM的目标是寻求一个超平面，  关心的是让离超平面最近的点能够具有最大的间距。

通过几何边缘和函数边缘的关系改写分类模式函数，最终进一步改写成一个典型的二次规划问题，，求解之后，可以通过拉格朗日公式将最大边缘超平面改写成决策边界。。。

SVM是一个相对比较新的概念，是一个确定性的算法 ，具有很好的泛化特性，使用二次规划技术进行批量学习，可以使用核函数对复杂的函数进行学习。

---------------------------------

关联分类 是基于关联规则的

分为2步骤：第一步，是频繁项集挖掘 搜索反复出现在数据集中的属性-值对的模式，其中每个属性-值对看作项，多个属性-值对形成频繁项集。

第二部，规则产生，分析频繁项集，以便产生关联规则。

估计错误率    真正  真负 假正  假负  可以用于评估和分类器模型相关的代价和收益

时间： 2024-10-17 09:40:49

数据挖掘分类--判别式模型 ----支持向量机的相关文章

吴裕雄 python 机器学习——支持向量机SVM非线性分类SVC模型

import numpy as np import matplotlib.pyplot as plt from sklearn import datasets, linear_model,svm from sklearn.model_selection import train_test_split def load_data_classfication(): ''' 加载用于分类问题的数据集 ''' # 使用 scikit-learn 自带的 iris 数据集 iris=datasets.lo

机器学习--判别式模型与生成式模型

一.引言 本材料参考Andrew Ng大神的机器学习课程 http://cs229.stanford.edu 在上一篇有监督学习回归模型中,我们利用训练集直接对条件概率p(y|x;θ)建模,例如logistic回归就利用hθ(x) = g(θTx)对p(y|x;θ)建模(其中g(z)是sigmoid函数).假设现在有一个分类问题,要根据一些动物的特征来区分大象(y = 1)和狗(y = 0).给定这样的一种数据集,回归模型比如logistic回归会试图找到一条直线也就是决策边界,来区分大象与狗这

常见生成式模型与判别式模型

生成式模型 P(X,Y)对联合概率进行建模,从统计的角度表示数据的分布情况,刻画数据是如何生成的,收敛速度快. • 1. 判别式分析 • 2. 朴素贝叶斯Native Bayes • 3. 混合高斯型Gaussians • 4. K近邻KNN • 5. 隐马尔科夫模型HMM • 6. 贝叶斯网络 • 7. sigmoid 信念网 • 8. 马尔科夫随机场Markov random fields • 9. 深度信念网络DBN • 10. 隐含狄利克雷分布简称LDA(Latent Dirichlet

机器学习之判别式模型和生成式模型

判别式模型(Discriminative Model)是直接对条件概率p(y|x;θ)建模.常见的判别式模型有 线性回归模型.线性判别分析.支持向量机SVM.神经网络等. 生成式模型(Generative Model)则会对x和y的联合分布p(x,y)建模,然后通过贝叶斯公式来求得p(yi|x),然后选取使得p(yi|x)最大的yi,即: 常见的生成式模型有 隐马尔可夫模型HMM.朴素贝叶斯模型.高斯混合模型GMM.LDA.高斯.混合多项式.专家的混合物.马尔可夫的随机场 更多更详细的内容参见 

判别式模型和产生式模型 (discriminative model and generative m

最经典的莫过于 Andrew Ng在NIPS2001年有一篇专门比较判别模型和产生式模型的文章: On Discrimitive vs. Generative classifiers: A comparision of logistic regression and naive Bayes (http://robotics.stanford.edu/~ang/papers/nips01-discriminativegenerative.pdf) 转: 判别式模型和产生式模型 (discrimin

判别式模型与生成式模型

判别式模型(Discriminative Model)是直接对条件概率p(y|x;θ)建模.常见的判别式模型有 线性回归模型.线性判别分析.支持向量机SVM.神经网络等. 生成式模型(Generative Model)则会对x和y的联合分布p(x,y)建模,然后通过贝叶斯公式来求得p(yi|x),然后选取使得p(yi|x)最大的yi 原文地址:https://www.cnblogs.com/kukudi/p/11423088.html

产生式模型和判别式模型

判别式模型与生成式模型的区别 产生式模型(Generative Model)与判别式模型(Discrimitive Model)是分类器常遇到的概念,它们的区别在于: 对于输入x,类别标签y:产生式模型估计它们的联合概率分布P(x,y)判别式模型估计条件概率分布P(y|x) 产生式模型可以根据贝叶斯公式得到判别式模型,但反过来不行. Andrew Ng在NIPS2001年有一篇专门比较判别模型和产生式模型的文章:On Discrimitive vs. Generative classifiers

判别式模型与生成式模型的区别

产生式模型(Generative Model)与判别式模型(Discrimitive Model)是分类器常遇到的概念,它们的区别在于: 对于输入x,类别标签y:产生式模型估计它们的联合概率分布P(x,y)判别式模型估计条件概率分布P(y|x) 产生式模型可以根据贝叶斯公式得到判别式模型,但反过来不行. 判别式模型常见的主要有: Logistic Regression SVM Traditional Neural Networks Nearest Neighbor CRF Linear Disc

判别式模型和生成式模型的区别（discriminative model and generative model）

原文出处:http://blog.csdn.net/amblue/article/details/17023485 在NLP和机器学习中经常会遇到这两种显著不同的模型,在学习阶段(训练阶段)和评估阶段(测试阶段)都有不同的表现 总结一下它们之间的区别,欢迎补充: 1. 二者最本质的区别是建模对象不同 假设有样本输入值(或者观察值)x,类别标签(或者输出值)y 判别式模型评估对象是最大化条件概率p(y|x)并直接对其建模,生成式模型评估对象是最大化联合概率p(x,y)并对其建模. 其实两者的评估目