近邻搜索算法

最近邻搜索(Nearest Neighbor Search)

Name of the problem: nearest neighbors, k nearest neighbors (kNN, k-NN), nearset neighbor search, proximity search, similarity search, approximate nearest neighbors (ANN), range queries, maximal intersection queries, post-office problem, partial match, best match file searching, best match retrieval, sequence nearest neighbors (SNN).

Solution concepts: locality-sensitive hashing (LSH), low-distortion embeddings, k-d trees, kd-trees, metric trees, M-trees, R*-trees, vp-trees, vantage point trees, vantage point forest, multi-vantage point tree, bisector trees, Orchard‘s algorithm, random projections, fixed queries tree, Voronoi tree, BBD-tree, min-wise independent permutations, Burkhard-Keller tree, generalized hyperplane tree, geometric near-neighbor access tree (GNAT), approximating eliminating search algorithm (AESA), inverted index, spatial approximation tree (SAT).

Applications: k-nearest neighbor classification algorithm, image similarity identification, audio similarity identification, fingerprint search, audio/video compression (MPEG), optical character recognition, coding theory, function approximation, recommendation systems, near-duplicate detection, targeting on-line ads, distributional similarity computation, spelling correction, nearest neighbor interpolation.

1.K近邻搜索、近似近邻搜索

2.k-d树

3.R树

参考文献:

1. http://www.cnblogs.com/breakinen/archive/2012/03/31/bigdata_nearest_neighbor_search.html?utm_source=tuicool&utm_medium=referral

2. http://www.cnblogs.com/v-July-v/archive/2012/11/20/3125419.html

3. http://blog.sina.com.cn/s/blog_72e1c7550101dsc3.html

https://en.wikipedia.org/wiki/Nearest_neighbor_search#Approximate_nearest_neighbor

时间: 2024-10-01 02:38:06

近邻搜索算法的相关文章

从K近邻算法、距离度量谈到KD树、SIFT+BBF算法

从K近邻算法.距离度量谈到KD树.SIFT+BBF算法 从K近邻算法.距离度量谈到KD树.SIFT+BBF算法 前言 前两日,在微博上说:“到今天为止,我至少亏欠了3篇文章待写:1.KD树:2.神经网络:3.编程艺术第28章.你看到,blog内的文章与你于别处所见的任何都不同.于是,等啊等,等一台电脑,只好等待..”.得益于田,借了我一台电脑(借他电脑的时候,我连表示感谢,他说“能找到工作全靠你的博客,这点儿小忙还说,不地道”,有的时候,稍许感受到受人信任也是一种压力,愿我不辜负大家对我的信任)

Python3《机器学习实战》学习笔记

运行平台: Windows Python版本: Python3.x IDE: Sublime text3 一 简单k-近邻算法 1 k-近邻法简介 2 距离度量 3 Python3代码实现 31 准备数据集 32 k-近邻算法 33 整体代码 二 k-近邻算法实战之约会网站配对效果判定 1 实战背景 2 准备数据数据解析 3 分析数据数据可视化 4 准备数据数据归一化 5 测试算法验证分类器 6 使用算法构建完整可用系统 三 k-近邻算法实战之sklearn手写数字识别 1 实战背景 2 Skl

KD tree

Kd-树 其实是K-dimension tree的缩写,是对数据点在k维空间中划分的一种数据结构.其实,Kd-树是一种平衡二叉树. 举一示例: 假设有六个二维数据点 = {(2,3),(5,4),(9,6),(4,7),(8,1),(7,2)},数据点位于二维空间中.为了能有效的找到最近邻,Kd-树采用分而治之的思想,即将整个空间划分为几个小部分.六个二维数据点生成的Kd-树的图为: 对于拥有n个已知点的kD-Tree,其复杂度如下: 构建:O(log2n) 插入:O(log n) 删除:O(l

KNN(最近邻算法)

KNN是最简单的机器学习算法之一. 在模式识别中,K-近邻算法(或近邻的简称)是一种用于分类和回归的非参数方法.[ 1 ]在这两种情况下,输入包含k个最近的训练样本在特征空间中.输出取决于近邻是用于分类或回归: l 在kNN分类中,输出的是一个分类的关系.一个对象是由其邻居投票进行分类,被分类到最近的K个最近邻对象(k是一个正整数,通常小的).如果k = 1,那么对象只是分配到单个最近邻. l 在KNN回归中, 输出该对象的属性值,这个值是k个邻居的平均值. K-NN是一种基于实例的学习,或懒惰

分布式高维空间近邻搜索项目开发

项目名称 分布式高维空间近邻搜索 项目描写叙述 眼下在互联网上高维空间搜索的算法非常多,但性能都不尽人意.比方KD树算法,强调互联网,是指本人能在互联网上搜索到的相关算法,假设某个公司内部有自己研究的算法也可能有不错的性能表现. 測试KD树的性能,50维度的数据,100万的数据用了600多毫秒,并且搜索结果与线性搜索的结果相差还非常大.鉴于此,我自己研究了一个搜索算法.64维度,100万的数据量,搜索前十个近期邻点,大概在200毫秒左右(PS:通过修正bug,算法在此环境中达到了20ms以内搜索

k-d树的最近邻搜索算法

在k-d tree树中进行数据的k近邻搜索是特征匹配的重要环节,其目的是检索在k-d tree中与待查询点距离最近的k个数据点. 最近邻搜索是k近邻的特例,也就是1近邻.将1近邻改扩展到k近邻非常容易.下面介绍最简单的k-d tree最近邻搜索算法. 基本的思路很简单:首先通过二叉树搜索(比较待查询节点和分裂节点的分裂维的值,小于等于就进入左子树分支,大于就进入右子树分支直到叶子结点),顺着“搜索路径”很快能找到最近邻的近似点,也就是与待查询点处于同一个子空间的叶子结点:然后再回溯搜索路径,并判

模式识别(Pattern Recognition)学习笔记(二十七)-- 基于树搜索算法的快速近邻法

近邻法中计算距离需要遍历,带来很大的计算量和存储量,为了改善这两方面的性能,有人提出采用分枝界定算法(Branch-Bound  Algorithm)来改进近邻法,主要分为两个阶段:1)利用人工划分或K-means聚类算法或其他动态聚类算法将样本集X划分成层级形式,形成一个树结构:2)利用树搜索算法找出与未知样本的最近邻. 1.层级划分 1)将样本集X划分成l个子集,每个子集再分成l个子集,不断这样划分下去,形成一个树状结构,如图: 这样划分完后,每个节点上都会有一部分样本; 2)将节点记作p,

class-k近邻算法kNN

1 k近邻算法2 模型2.1 距离测量2.2 k值选择2.3 分类决策规则3 kNN的实现--kd树3.1 构造kd树3.2 kd树搜索 1 k近邻算法 k nearest neighbor,k-NN,是一种基本分类与回归的方法,输入为实例的特征向量--对应空间的点,输出为实例的类别,可取多类.kNN假定一个训练集,实例类别已确定,分类时,对新的实例根据其k个最近邻训练集实例的类别,通过多数表决的方式进行预测.不具有显式学习过程.利用训练集对特征空间划分,并作为其分类的model.三要素是k值的

K近邻(k-Nearest Neighbor,KNN)算法,一种基于实例的学习方法

1. 基于实例的学习算法 0x1:数据挖掘的一些相关知识脉络 本文是一篇介绍K近邻数据挖掘算法的文章,而所谓数据挖掘,就是讨论如何在数据中寻找模式的一门学科. 其实人类的科学技术发展的历史,就一直伴随着数据挖掘,人们一直在试图中数据中寻找模式, 猎人在动物迁徙的行为中寻找模式 农夫在庄稼的生长中寻找模式 政客在选民的意见上寻找模式 恋人在对方的反应中寻找模式 企业家的工作是要辨别出机会,寻找出那些可以转变为有利可图的生意的行为中的一些模式,也即所谓的成功的模式,并且利用这些机会 科学家的工作是理