02-18 scikit-learn库之k近邻算法

目录

  • scikit-learn库之k近邻算法
  • 一、KNeighborsClassifier
    • 1.1 使用场景
    • 1.2 代码
    • 1.3 参数详解
    • 1.4 方法
      • 1.4.1 kneighbors([X, n_neighbors, return_distance])
      • 1.4.2 kneighbors_graph([X, n_neighbors, mode])
  • 二、KNeighborsRegressor
  • 三、RadiusNeighborsClassifier
  • 四、RadiusNeighborsRegressor
  • 五、NearestCentroid

更新、更全的《机器学习》的更新网站,更有python、go、数据结构与算法、爬虫、人工智能教学等着你:https://www.cnblogs.com/nickchen121/

scikit-learn库之k近邻算法

由于k近邻可以做回归又可以做分类,所以最普通的k近邻算法在scikit-learn库中有两种实现,即KNeighborsClassifier和KNeighborsRegressor;上次讲到了k近邻的两个扩展限定半径k近邻,因此该方法在scikit-learn中也有两种实现,即RadiusNeighborsClassifier和RadiusNeighborsRegressor;k近邻还有一种扩展,即最近质心分类算法NearestCentroid。

接下来将会讨论这五者的区别,由于是从官方文档翻译而来,翻译会略有偏颇,有兴趣的也可以去scikit-learn官方文档查看https://scikit-learn.org/stable/modules/classes.html#module-sklearn.neighbors

一、KNeighborsClassifier

1.1 使用场景

KNeighborsClassfier模型就是最普通的k近邻算法,可以通过参数控制使用高斯距离、kd树、球树找到实例的\(k\)个近邻。

1.2 代码

from sklearn.neighbors import KNeighborsClassifier
X = [[0], [1], [2], [3]]
y = [0, 0, 1, 1]
neigh = KNeighborsClassifier(n_neighbors=3)
neigh.fit(X, y)
KNeighborsClassifier(algorithm='auto', leaf_size=30, metric='minkowski',
           metric_params=None, n_jobs=None, n_neighbors=3, p=2,
           weights='uniform')
print(neigh.predict([[1.1]]))
[0]
print(neigh.predict_proba([[0.9]]))
[[0.66666667 0.33333333]]

1.3 参数详解

  • n_neighbors:\(k\)值选择,int类型。一般选择一个较小的\(k\)值,然后通过交叉验证选择一个较好的\(k\)值。默认为5。
  • weights:近邻权重,str类型。如果weights=‘uniform‘,则意味着所有近邻的权重都一样;如果weights=‘distance‘,则意味着权重和距离成反比,即距离目标点更近的点有更高的权重;可以自定定义函数自定义权重,输入是距离值,输出是权重值。默认为‘uniform‘。
  • algorithm:算法实现,str类型。如果algorithm=‘brute‘,即最原始的k近邻算法,计算出所有点与点之间的距离;如果algorithm=‘kd_tree‘,即kd树实现;如果algorithm=‘ball_tree‘,即球树实现;如果algorithm=‘auto‘,则模型会选择一个拟合最好的算法。如果样本特征少,使用‘auto‘即可;如果数据量大或者样本特征多,推荐使用kd树之后再尝试球树,如此做可以提高准确度;如果输入的样本特征是稀疏的时候,scikit-learn始终会自行选择‘brute‘实现。默认为‘auto‘。
  • leaf_size:叶子节点阈值,int类型。只有当algorithm={‘kd_tree‘,‘ball_tree‘}时该参数才生效,这个值越小,则生成的kd树或球树层数越大,建树时间越长,泛指层数越小,建树时间短。如果样本数量过大,则必须得增大该值,因为树的层数越大,则树越容易过拟合,推荐使用交叉验证选择一个较优值。默认为30。
  • p:距离度量附属参数,int类型。只有当metric=‘minkowski‘时该参数才生效,p=1时为曼哈顿距离,p=2时为欧氏距离。默认为2。
  • metric:距离度量类型,str类型。metric=‘euclidean‘为欧氏距离;metric=‘manhattan‘为曼哈顿距离;metric=‘chebyshev‘为切比雪夫距离;metric=‘minkowski‘为闵可夫斯基距离;metric=‘wminkowski‘为带权重闵可夫斯基距离;metric=‘seuclidean‘为标准化欧氏距离;metric=‘mahalanobis‘为马氏距离,通常情况下默认的metric=‘minkowski‘+p=2即欧式距离就可以满足大多数业务的需求。默认为‘minkowski‘。
  • metric_params:距离度量附属参数,dict类型。如带权重闵可夫斯基距离的参数,一般不会用到。
  • n_jobs:并行数,int类型。n_jobs=1使用1个cpu运行程序;n_jobs=2,使用2个cpu运行程序;n_jobs=-1,使用所有cpu运行程序。默认为1。

1.4 方法

  • fit(X,y):把数据放入模型中训练模型。
  • get_params([deep]):返回模型的参数,可以用于Pipeline中。
  • predict(X):预测样本X的分类类别。
  • predict_proba(X):返回样本X在各个类别上对应的概率。
  • score(X,y[,sample_weight]):基于报告决定系数\(R^2\)评估模型。
  • set_prams(**params):创建模型参数。

1.4.1 kneighbors([X, n_neighbors, return_distance])

找到某个点的n_neighbors个近邻。

# 为方便测试接下来的方法测试我们将通过最近邻模型演示
samples = [[0., 0., 0.], [0., .5, 0.], [1., 1., .5]]
from sklearn.neighbors import NearestNeighbors
neigh = NearestNeighbors(n_neighbors=1)
neigh.fit(samples) 
NearestNeighbors(algorithm='auto', leaf_size=30, metric='minkowski',
         metric_params=None, n_jobs=None, n_neighbors=1, p=2, radius=1.0)
print(neigh.kneighbors([[1., 1., 1.]])) 
(array([[0.5]]), array([[2]]))
X = [[0., 1., 0.], [1., 0., 1.]]
neigh.kneighbors(X, return_distance=False) 
array([[1],
       [2]])

1.4.2 kneighbors_graph([X, n_neighbors, mode])

计算样本X的n_neighbors个近邻的权重,可以返回距离或者矩阵关系图。

X = [[0], [3], [1]]
from sklearn.neighbors import NearestNeighbors
neigh = NearestNeighbors(n_neighbors=2)
neigh.fit(X)
A = neigh.kneighbors_graph(X)
A.toarray()
array([[1., 0., 1.],
       [0., 1., 1.],
       [1., 0., 1.]])

二、KNeighborsRegressor

KNeighborsRegressor模型类似于KNeighborsClassifier模型,不同的是两个模型找到\(k\)个近邻的时候KNeighborsClassifier模型使用了多数表决发选择类别,而KNeighborsRegressor模型使用了对\(k\)近邻去平均数或者中位数的方法得到预测值。

三、RadiusNeighborsClassifier

RadiusNeighborsClassifier模型类似KNeighborsClassifier模型,不同之处在于RadiusNeighborsClassifier模型少了两个参数n_neighborsn_jobs,多了两个参数:

  • radius半径大小,float类型。即选择半径大小的参数。默认为1。
  • outlier_label,异常点类别,str类型。即假设限定半径后,目标点半径内没有近邻时该选择哪个类别作为输出。默认为None,不建议使用默认值。

四、RadiusNeighborsRegressor

RadiusNeighborsRegressor模型类似于RadiusNeighborsRegressor模型,不同之处在于少了参数outlier_label,并且两者在得到\(k\)个近邻后处理的方式不同。

五、NearestCentroid

NearestCentroid模型是基于最近质心分类算法实现的,由于只有metric距离度量参数和shrink_threshold特征距离阈值两个参数,不多赘述。

原文地址:https://www.cnblogs.com/nickchen121/p/11686789.html

时间: 2024-10-10 10:15:41

02-18 scikit-learn库之k近邻算法的相关文章

sklearn库调用k近邻算法

python实现KNN算法的全体流程代码#1-1KNN算法的原理底层代码import numpy as npimport matplotlib.pyplot as plt #导入相应的数据可视化模块raw_data_X=[[3.393533211,2.331273381], [3.110073483,1.781539638], [1.343808831,3.368360954], [3.582294042,4.679179110], [2.280362439,2.866990263], [7.4

02-16 k近邻算法

[TOC] 更新.更全的<机器学习>的更新网站,更有python.go.数据结构与算法.爬虫.人工智能教学等着你:https://www.cnblogs.com/nickchen121/ k近邻算法 k近邻算法(k-nearest neighbors,KNN)是一种基本的分类和回归方法,本文只探讨分类问题中的k近邻算法,回归问题通常是得出最近的$k$个实例的标记值,然后取这$k$实例标记值的平均数或中位数. k近邻算法经常被人们应用于生活当中,比如傅玄曾说过"近朱者赤近墨者黑&quo

scikitlearn库中调用K近邻算法的操作步骤

1.k近邻算法可以说是唯一一个没有训练过程的机器学习算法,它含有训练基础数据集,但是是一种没有模型的算法,为了将其和其他算法进行统一,我们把它的训练数据集当做它的模型本身.2.在scikitlearn中调用KNN算法的操作步骤如下(利用实际例子举例如下):#1导入相应的数据可视化模块import numpy as npimport matplotlib.pyplot as plt #2输入训练的数据集x_train.y_trainraw_data_X=[[3.393533211,2.331273

从K近邻算法、距离度量谈到KD树、SIFT+BBF算法

从K近邻算法.距离度量谈到KD树.SIFT+BBF算法 从K近邻算法.距离度量谈到KD树.SIFT+BBF算法 前言 前两日,在微博上说:“到今天为止,我至少亏欠了3篇文章待写:1.KD树:2.神经网络:3.编程艺术第28章.你看到,blog内的文章与你于别处所见的任何都不同.于是,等啊等,等一台电脑,只好等待..”.得益于田,借了我一台电脑(借他电脑的时候,我连表示感谢,他说“能找到工作全靠你的博客,这点儿小忙还说,不地道”,有的时候,稍许感受到受人信任也是一种压力,愿我不辜负大家对我的信任)

用Python从零开始实现K近邻算法

K近邻算法 (或简称kNN)是易于理解和实现的算法,而且是你解决问题的强大工具. http://python.jobbole.com/87407/ 在本教程中,你将基于Python(2.7)从零开始实现kNN算法.该实现主要针对分类问题,将会用鸢尾花分类问题来演示. 这篇教程主要针对Python程序员,或者你可以快速上手Python,并且对如何从零实现kNN算法感兴趣. kNN算法图片,来自Wikipedia,保留所有权利 什么是kNN kNN算法的模型就是整个训练数据集.当需要对一个未知数据实

K近邻算法

1.1.什么是K近邻算法 何谓K近邻算法,即K-Nearest Neighbor algorithm,简称KNN算法,单从名字来猜想,可以简单粗暴的认为是:K个最近的邻居,当K=1时,算法便成了最近邻算法,即寻找最近的那个邻居.为何要找邻居?打个比方来说,假设你来到一个陌生的村庄,现在你要找到与你有着相似特征的人群融入他们,所谓入伙. 用官方的话来说,所谓K近邻算法,即是给定一个训练数据集,对新的输入实例,在训练数据集中找到与该实例最邻近的K个实例(也就是上面所说的K个邻居),这K个实例的多数属

机器学习实战笔记--k近邻算法

1 #encoding:utf-8 2 from numpy import * 3 import operator 4 import matplotlib 5 import matplotlib.pyplot as plt 6 7 from os import listdir 8 9 def makePhoto(returnMat,classLabelVector): #创建散点图 10 fig = plt.figure() 11 ax = fig.add_subplot(111) #例如参数为

使用K近邻算法实现手写体识别系统

目录 1. 应用介绍 1.1实验环境介绍 1.2应用背景介绍 2. 数据来源及预处理 2.1数据来源及格式 2.2数据预处理 3. 算法设计与实现 3.1手写体识别系统算法实现过程 3.2 K近邻算法实现 3.3手写体识别系统实现 3.4算法改进与优化 4. 系统运行过程与结果展示 1.应用介绍 1.1实验环境介绍 本次实验主要使用Python语言开发完成,Python的版本为2.7,并且使用numpy函数库做一些数值计算和处理. 1.2应用背景介绍 本次实验实现的是简易的手写体识别系统,即根据

机器学习实战笔记-K近邻算法1(分类动作片与爱情片)

K近邻算法采用测量不同特征值之间的距离方法进行分类 K近邻算法特点: 优点:精度高.对异常值不敏感.无数据输入假定. 缺点:计算复杂度高.空间复杂度高. 适用数据范围:数值型和标称型. K近邻算法原理: 存在一个样本数据集合,也称作训练样本集,并且样本集中每个数据都存在标签,即我们知道样本集中每一数据与所属分类的对应关系.输人没有标签的新数据后,将新数据的每个特征与样本集中数据对应的 特征进行比较,然后算法提取样本集中特征最相似数据(最近 邻)的分类标签.一般来说,我们只选择样本数据集中前k个最