分类算法与我们的生活息息相关，也是目前数据挖掘中应用最为广泛的算法，如：已知系列的温度、湿度的序列和历史的是否下雨的统计，我们需要利用历史的数据作为学习集来判断明天是否下雨；又如银行信用卡诈骗判别。
分类问题都有一个学习集，根据学习集构造判别函数，最后根据判别函数计算我们所需要判别的个体属于哪一类的。
常见的分类模型与算法
传统方法
1、线性判别法；2、距离判别法；3、贝叶斯分类器；
现代方法：
1、决策树；2、支持向量机；3、神经网络；
线性判别法：
天气预报数据(x1,x2分别为温度和湿度，G为是否下雨)
G=c(1,1,1,1,1,1,1,1,1,1,2,2,2,2,2,2,2,2,2,2) x1=c(-1.9,-6.9,5.2,5.0,7.3,6.8,0.9,-12.5,1.5,3.8,0.2,-0.1,0.4,2.7,2.1,-4.6,-1.7,-2.6,2.6,-2.8) x2=c(3.2,0.4,2.0,2.5,0.0,12.7,-5.4,-2.5,1.3,6.8,6.2,7.5,14.6,8.3,0.8,4.3,10.9,13.1,12.8,10.0) a=data.frame(G,x1,x2) plot(x1,x2) text(x1,x2,G,adj=-0.5)
观察上图可以1点分布在右下方区域，2点主要分布在上方区域，肉眼可见这两个集合分离的比较明显，线性判别法的原理就是在平面中找出一条直线，使得属于学习集1号的分布在直线一侧，属于学习集2号的分布在直线另一侧。
判别式是允许有出差的，只要在一定的范围内即可。
R语言的表达如下：
library(MASS) ld=lda(G~x1+x2) z=predict(ld) newG=z$class y=cbind(G,z$x,newG)
由上左图可以看出，首先计算先验概率，数据中1，2各占50%，然后计算x1和x2的平均值，最后给出了判别函数的代数表达：
观察上右图可见，newG为预测的判别，可见两类分别只有一个判错，同时可以见判别函数的值为正值时判为第2类，判别函数值为负值时判为第1类。
距离判别法
计算待测点和各类的距离，选择最近的分类进行归类。其中距离的计算非常关键，常见的距离为马氏距离：
R语言没有自动距离判别法的函数，我们需要自己手动写：
myDiscriminiant<- function(TrnX1,TrnX2,TstX =NULL,var.equal=FALSE)
{
if(is.null(TstX)==TRUE) TstX <- rbind(TrnX1,TrnX2)
if(is.vector(TstX)==TRUE) TstX<- t(as.matrix(TstX))
else if(is.matrix(TstX) !=TRUE)
TstX <- as.matrix(TstX)
if(is.matrix(TrnX1)!=TRUE) TrnX1 <- as.matrix(TrnX1)
if(is.matrix(TrnX2)!=TRUE) TrnX2 <- as.matrix(TrnX2)
nx <- nrow(TstX)
blong <- matrix(rep(0,nx),nrow=1,byrow=TRUE,dimnames=list("blong",1:nx))
mu1 <-colMeans(TrnX1);mu2 <- colMeans(TrnX2)
if(var.equal==TRUE || var.equal==T){
S<- var(rbind(TrnX1,TrnX2))
w<- mahalanobis(TstX,mu2,S)-mahalanobis(TstX,mu1,S)
}
else{
S1<-var(TrnX1);S2<-var(TrnX2)
w<-mahalanobis(TstX,mu2,S2)-mahalanobis(TstX,mu1,S1)
}
for(i in 1:nx){
if(w[i]>0)
blong[i] <- 1
else
blong[i] <- 2
}
blong
}
保存到当前空间后，在控制台调用它：
classX1 <- data.frame(
x1=c(6.6,6.6,6.1,6.1,8.4,7.2,8.4,7.5,7.5,8.3,7.8,7.8),
x2=c(39,39,47,47,32,6,113,52,52,113,172,172),
x3=c(1,1,1,1,2,1,3.5,1,3.5,0,1,1.5)
)
classX2 <- data.frame(
x1=c(8.4,8.4,8.4,6.3,7,7,7,8.3,8.3,7.2,7.2,7.2,5.5,8.4,8.4,7.5,7.5,8.3,8.3,8.3,8.3,7.8,7.8),
x2=c(32,32,32,11,8,8,8,161,161,6,6,6,6,113,113,52,52,97,97,89,56,172,283),
x3=c(1,2,2.5,4.5,4.5,6,1.5,1.5,0.5,3.5,1.0,1.0,2.5,3.5,3.5,1,1,0,2.5,0,1.5,1,1)
)
source("myDiscriminiant.R")
myDiscriminiant(classX1,classX2,var.equal=TRUE)
观看blong就可以看出个体属于哪一分类
贝叶斯分类器：
计算个体属于所有分类的概率，根据概率大小选择所属分类，已两个总体总体的判别情况来看，X1，X2分别具有概率密度函数f1(x)和f2(x)，则样本实际来自X1却误判为X2的概率为：
同样来自X2却误判为X1的概率简单转换下即可；
来自X1也被判为X1的概率为：
来自X2也被判为X2的也类似
设p1,p2分别表示X1和X2的先验概率，则
用L(1|2)表示X2被误判为X1的损失，其他类似，为了是分类越准确，则需降低平均误判损失（expected
cost of misclassification:ECM）越小越好:
上式便为Bayes版别式。
按照上述数学推导，我们构建自己的两个总体的Bayes判别程序：
myBayes <- function(TrnX1,TrnX2,rate=1,TstX=NULL,var.equal=FALSE){
if(is.null(TstX)==TRUE) TstX<-rbind(TrnX1,TrnX2)
if(is.vector(TstX)==TRUE) TstX<-t(as.matrix(TstX))
else if(is.matrix(TstX)!=TRUE)
TstX <- as.matrix(TstX)
if(is.matrix(TrnX1)!=TRUE) TrnX1 <- as.matrix(TrnX1)
if(is.matrix(TrnX2)!=TRUE) TrnX2 <- as.matrix(TrnX2)
nx <- nrow(TstX)
blong <- matrix(rep(0,nx),nrow=1,byrow=TRUE,dimnames=list("blong",1:nx))
mu1 <-colMeans(TrnX1);mu2 <- colMeans(TrnX2)
if(var.equal==TRUE || var.equal==T){
S<- var(rbind(TrnX1,TrnX2))
w<- mahalanobis(TstX,mu2,S)-mahalanobis(TstX,mu1,S)
}
else{
S1<-var(TrnX1);S2<-var(TrnX2)
beta <-2*log(rate)+log(det(S1)/det(S2))
w<-mahalanobis(TstX,mu2,S2)-mahalanobis(TstX,mu1,S1)
}
for(i in 1:nx){
if(w[i]>beta)
blong[i] <- 1
else
blong[i] <- 2
}
blong
}
以天气预报为案例，我们看看如何使用Bayse分类器：
我们在控制台录入数据：
TrnX1<- matrix(
c(24.8,24.1,26.6,23.5,25.5,27.4,
-2,-2.4,-3,-1.9,-2.1,-3.1),
ncol=2)
TrnX2<-matrix(
c(22.1,21.6,22,22.8,22.7,21.5,22.1,21.4,
-0.7,-1.4,-0.8,-1.6,-1.5,-1,-1.2,-1.3),
ncol=2)
source("myBayes.R")
myBayes(TrnX1,TrnX2,rate=8/6)
下图可见所有的样本全部判别正确:
