数据集搜集整理

1. CIFAR-10 & CIFAR-100

CIFAR-10包含10个类别,50,000个训练图像,彩色图像大小:32x32,10,000个测试图像。

(类别:airplane,automobile, bird, cat, deer, dog, frog, horse, ship, truck)

(作者:Alex Krizhevsky, Vinod Nair, and Geoffrey Hinton)

(数据格式:Python版本、Matlab版本、二进制版本<for C程序>)

CIFAR-100与CIFAR-10类似,包含100个类,每类有600张图片,其中500张用于训练,100张用于测试;这100个类分组成20个超类。每个图像有一个"find" label和一个"coarse"label。

2. 图像分类结果及对应的论文

图像分类结果及应的论文,包含数据集:MNIST、CIFAR-10、CIFAR-100、STL-10、SVHN、ILSVRC2012 task 1

ILSVRC: ImageNet Large Scale Visual Recognition Challenge

3. ImageNet

ImageNet相关信息如下:

1)Total number of non-empty synsets: 21841
    2)Total number of images: 14,197,122
    3)Number of images with bounding box annotations: 1,034,908
    4)Number of synsets with SIFT features: 1000
    5)Number of images with SIFT features: 1.2 million

4. COCO

COCO(Common Objects in Context)是一个新的图像识别、分割、和字幕数据集,它有如下特点:

1)Object segmentation

2)Recognition in Context
    3)Multiple objects per image
    4)More than 300,000 images
    5)More than 2 Million instances
    6)80 object categories
    7)5 captions per image
    8)Keypoints on 100,000 people

COCO 2016 Detection Challenge(2016.6.1-2016.9.9)和COCO 2016 Keypoint Challenge(2016.6.1-2016.9.9)已经由Microsoft发起 由ECCV 2016(ECCV:European Conference On Computer Vision )。

4. 3D数据

1)RGB-D People Dataset

2)NYU Hand Pose Dataset code

3)Human3.6M (3D Human Pose Dataset)

- 《Iterated Second-Order Label Sensitive Pooling for 3D Human Pose Estimation》

5. 人脸Dataset

1)LFW (Labeled Faces in the Wild)

6. Stereo Datasets

2)Middlebury Stereo Datasets

3)KITTI Vision Benchmark Suite

7. 普林斯顿大学人工智能自动驾驶汽车项目

1)Deep Drive

2)Source Code and Data

百度云盘:手写数字 .csv 格式,http://pan.baidu.com/s/1J4bCy

百度云盘:手写数字.jpg 格式,http://pan.baidu.com/s/1mgTsYtM(包含转换的LMDB格式)

百度云盘:毒蘑菇数据集,http://pan.baidu.com/s/1sjTP2ax

百度云盘:xgboost :http://pan.baidu.com/s/1jIhIJSa

百度云盘:4a.mat ,http://pan.baidu.com/s/1hrWrHsg

百度云盘:LFW 人脸数据集,http://pan.baidu.com/s/1jIq9hx8

百度云盘:CASIA-WebFace 人脸数据集

百度云盘: 汤晓欧实验室的CelebA 20万+人脸 ,https://pan.baidu.com/s/1slIVA8X 密码: gvv9

作者:宋天龙
链接:https://www.zhihu.com/question/63383992/answer/222718972
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

1. 综合数据集

UCI数据集

UCI数据集中包括了众多用于监督式和非监督式学习的数据集,数量大概400多个,其中很多数据集在其他众多数据工具中被反复引用,例如Iris、Wine、Adult、Car
Evaluation、Forest Fires等。

每个数据集中都有关于数据实例数、数据产生领域、值域分布、特征数量、数据产生时间、模型方向、是否有缺失值等详细数据介绍,可用于分类、回归、聚类、时间序列、推荐系统等。

推荐度:★★★,推荐应用方向:监督式、非监督式机器学习,数据挖掘

介绍和下载地址:http://archive.ics.uci.edu/ml/

UCI KDD数据集

UCI KDD(知识发现)是数据挖掘和可视化的研究项目,专注于大型数据收集中的实体事件关系。它是涉及几所大学的更广泛的KDD项目的一部分,UCI始于2002年10月。

推荐度:★★,推荐应用方向:监督式、非监督式机器学习

介绍地址:http://kdd.ics.uci.edu/

下载地址:http://kdd.ics.uci.edu/databases/

雅虎Webscope

雅虎Webscope用于为学者和其他科学家在非商业用途中使用。所有数据集已经过审查,以符合雅虎的数据保护标准,包括严格的隐私控制。数据集中包含了多个主题数据集:广告和市场营销、自然语言数据、科学数据、图形和社会化数据、图像数据等7个主题。需要注意的是:数据集只适用于同意数据共享协议的教师和大学研究人员的在学术上使用。

推荐度:★★★,推荐应用方向:监督式、非监督式机器学习、深度学习、自然语言理解等

介绍和下载地址:https://webscope.sandbox.yahoo.com/

AWS 公开数据集

亚马逊提供的数据集涵盖气候、红外图像、卫星遥感、人类微生物、日本人口普查、公共电子邮件档案、歌曲、材料安全、谷歌图书语料库、石油等非常多的主题数据,并且这些数据可直接集成到AWS进行数据挖掘和学习。

推荐度:★★★,推荐应用方向:监督式、非监督式机器学习、深度学习、神经网络、自然语言理解等

介绍和下载地址:https://aws.amazon.com/cn/datasets/

斯坦福网络数据集

斯坦福网络分析平台(SNAP)是一种用于分析和操纵大型网络的通用高性能系统,其本身使用的网络相关数据也对外开放,包括设计、社区、通信、网络图、互联网、道路、维基百度网络、在线社区和评论等不同主题,可用于分析大型社会和信息网络方面的研究成果。

推荐度:★★★,推荐应用方向:神经网络

介绍和下载地址:http://snap.stanford.edu/data/index.html

KONECT网络数据集

KONECT数据集是一个大型网络数据集的项目,在科布伦茨-兰道大学网络科学与技术研究所的网络科学和相关领域进行研究。KONECT包含数百种各种类型的网络数据集,包括有向、无向、二分、加权、未加权、签名和评级的网络。 KONECT的网络覆盖了许多不同领域,如社交网络,超链接网络、作者网络、物理网络、交互网络和通信网络等。

推荐度:★★★,推荐应用方向:神经网络

介绍和下载地址:http://konect.uni-koblenz.de/

2. 图像和视频数据集

MNIST数据集

机器学习领域内用于手写字识别的数据集,数据集中包含6个万训练集、10000个示例测试集。,每个样本图像的宽高为28*28。这些数据集的大小已经归一化,并且形成固定大小,因此预处理工作基本已经完成。在机器学习中,主流的机器学习工具(包括sklearn)很多都使用该数据集作为入门级别的介绍和应用。

推荐度:★★★,推荐应用方向:机器学习入门

介绍和下载地址:http://yann.lecun.com/exdb/mnist/

CIFAR 10 & CIFAR 100数据集

CIFAR-10数据集由10个类别的60000 32x32彩色图像组成,每个类别有6000张图像。 有50000个训练图像和10000个测试图像。数据集的类别涵盖航空、车辆、鸟类、猫类、狗类、狐狸类、马类、船类、卡车等日常生活类别,可用于计算机视觉相关方向。

推荐度:★★★,推荐应用方向:图像处理和图像识别

介绍和下载地址:http://www.cs.toronto.edu/~kriz/cifar.html/

谷歌Open Images Dataset图像数据集

其中包括大约9百万标注图片、横跨6000个类别标签,平均每个图像拥有8个标签。该数据集的标签涵盖比拥有1000个类别标签的ImageNet具体更多的现实实体,可用于计算机视觉方向的训练。

推荐度:★★★,推荐应用方向:图像处理和图像识别

介绍地址:https://research.googleblog.com/2016/09/introducing-open-images-dataset.html

下载地址:https://github.com/openimages/dataset

ImageNet数据集

ImageNet数据集是目前深度学习图像领域应用得非常多的一个领域,该数据集有1000多个图像,涵盖图像分类、定位、检测等应用方向。Imagenet数据集文档详细,有专门的团队维护,在计算机视觉领域研究论文中应用非常广,几乎成为了目前深度学习图像领域算法性能检验的“标准”数据集。很多大型科技公司都会参加ImageNet图像识别大赛,包括百度、谷歌、微软等。

推荐度:★★★,推荐应用方向:图像识别

介绍和下载地址:http://www.image-net.org/

Tiny Images Dataset

该数据集由79302017张图像组成,每张图像为32x32彩色图像。 该数据以二进制文件的形式存储,大约有400Gb图像。

推荐度:★★,推荐应用方向:图像识别

介绍和下载地址:http://horatio.cs.nyu.edu/mit/tiny/data/index.html

CoPhIR

CoPhIR是从Flickr中采集的大概1.06亿个图像数据集,图像中不仅包含了图表本身的数据,例如位置、标题、GPS、标签、评论等,还可提取出颜色模式、颜色布局、边缘直方图、均匀纹理等数据。

推荐度:★★,推荐应用方向:图像识别

介绍和下载地址:http://cophir.isti.cnr.it/whatis.html

LSUN数据集

国外的PASCAL
VOC和ImageNet ILSVRC比赛使用的数据集,数据领域包括卧室、冰箱、教师、厨房、起居室、酒店等多个主题。

推荐度:★★,推荐应用方向:图像识别

介绍和下载地址:http://lsun.cs.princeton.edu

Labeled Faces in the Wild数据集

该数据集是用于研究无约束面部识别问题的面部照片数据库。数据集包含从网络收集的13000多张图像。每张脸都贴上了所画的人的名字,图片中的1680人在数据集中有两个或更多不同的照片。

推荐度:★★,推荐应用方向:人脸识别

介绍和下载地址:http://vis-www.cs.umass.edu/lfw/

SVHN

SVHN数据来源于 Google 街景视图中房屋信息,它是一个真实世界的图像数据集,用于开发机器学习和对象识别算法,对数据预处理和格式化的要求最低。它跟MNIST相似,但是包含更多数量级的标签数据(超过60万个数字图像),并且来源更加多样,用来识别自然场景图像中的数字。

推荐度:★★,推荐应用方向:机器学习、图像识别

介绍和下载地址:http://ufldl.stanford.edu/housenumbers/

COCO

COCO(Common Objects in Context)是一个新的图像识别、分割和图像语义数据集,由微软赞助,图像中不仅有标注类别、位置信息,还有对图像的语义文本描述。COCO数据集的开源使得近两、三年来图像分割语义理解取得了巨大的进展,也几乎成为了图像语义理解算法性能评价的“标准”数据集。

推荐度:★★★,推荐应用方向:图像识别、图像语义理解

介绍和下载地址:http://mscoco.org/

谷歌YouTube-8M

YouTube-8M一个大型的多样性标注的视频数据集,目前拥有700万的YouTube视频链接、45万小时视频时长、3.2亿视频/音频特征、4716个分类、平均每个视频拥有3个标签。

推荐度:★★★,推荐应用方向:视频理解、表示学习(representation learning)、嘈杂数据建模、转移学习(transfer learning)和视频域适配方法(domain
adaptation approaches)

数据集介绍和下载地址:https://research.google.com/youtube8m/

Udacity开源的车辆行使视频数据集

数据集大概有223G,主要是有关车辆驾驶的数据,其中除了车辆拍摄的图像以外,还包括车辆本身的属性和参数信息,例如经纬度、制动器、油门、转向度、转速等。这些数据可用于车辆自动驾驶方向的模型训练和学习。

推荐度:★★★,推荐应用方向:自动驾驶

介绍和下载地址:https://github.com/udacity/self-driving-car

牛津RobotCar视频数据集

RobotCar数据集包含时间范围超过1年,测试超过100次的相同路线的驾驶数据。数据集采集了天气、交通、行人、建筑和道路施工等不同组合的数据。

推荐度:★★★,推荐应用方向:自动驾驶

介绍和下载地址:http://robotcar-dataset.robots.ox.ac.uk/

Udacity开源的自然场景短视频数据集

数据集大概为9T,由3500万个视频剪辑组成,每个视频为短视频(32帧),大约1秒左右的时长。

推荐度:★★★,推荐应用方向:目标跟踪、视频目标识别

介绍和下载地址:http://web.mit.edu/vondrick/tinyvideo/#data

3. 自然语言数据集

MS MARCO

MS MARCO是一种新的大规模阅读理解和问答数据集。 在MS MARCO中,所有问题都是从真正的匿名用户查询中抽取的。使用先进的Bing搜索引擎版本,从实际的Web文档中提取数据集中的答案的上下文段落。

推荐度:★★★,推荐应用方向:自然语言理解、智能问答

介绍和下载地址:http://www.msmarco.org/

Question Pairs

第一个来源于
Quora 的包含重复/语义相似性标签的数据集。数据集由超过40万行的潜在问题的问答组成。每行数据包含问题ID、问题全文以及指示该行是否真正包含重复对的二进制值。

推荐度:★★★,推荐应用方向:自然语言理解、智能问答

介绍和下载地址:https://data.quora.com/First-Quora-Dataset-Release-Question-Pairs

SQuAD

斯坦福问答回答数据集(SQuAD)是一个新的阅读理解数据集,从维基百科中提炼出的问题组成,每个问题的答案都是相应段落的一段文本。在500多篇文章中有超过10万个问答对。

推荐度:★★★,推荐应用方向:文本挖掘、自然语言理解、智能问答

介绍和下载地址:https://rajpurkar.github.io/SQuAD-explorer/

Maluuba NewsQA

Maluuba的NewsQA数据集的目的是帮助研究团队建立能够回答需要人为理解和推理技能的问题的算法。它包含了从DeepMind问答数据集中的CNN文章中抽取了120K个常见问题。

推荐度:★★,推荐应用方向:文本挖掘、自然语言理解、智能问答

介绍地址:https://datasets.maluuba.com/NewsQA

下载地址:https://github.com/Maluuba/newsqa

1 Billion Word Language Model Benchmark

这是一个大型、通用的语言建模数据集,该项目的目的是提供语言建模实验的标准培训和测试,常用于如 word2vec 或 Glove 的分布式词语表征。

推荐度:★★,推荐应用方向:文本挖掘、自然语言理解

介绍和下载地址:http://www.statmt.org/lm-benchmark/

Maluuba Datasets

这是一个用于自然语言理解研究的复杂的人工数据集,主要包括NewsQA和Frames。它主要用于机器阅读理解、面向对象的对话系统、对话界面和加强学习。

推荐度:★★,推荐应用方向:自然语言理解、智能问答

介绍和下载地址:https://datasets.maluuba.com/

Common Crawl

Common Crawl包含了超过7年的网络爬虫数据集,拥有PB级规模,常用于学习词嵌入。

推荐度:★★,推荐应用方向:文本挖掘、自然语言理解

介绍和下载地址:http://commoncrawl.org/the-data/

20 Newsgroups

该数据集包含大约20000个新闻组文档,在20个不同的新闻组中平均分配,是一个文本分类的经典数据集,它是机器学习技术的文本应用中的实验的流行数据集,如文本分类和文本聚类。

推荐度:★★,推荐应用方向:文本挖掘

介绍和下载地址:http://qwone.com/~jason/20Newsgroups/

4. 音频数据集

大型音乐分析数据集FMA

该数据集是免费音乐存档(FMA)的转储,这是一个高质量的合法音频下载的互动库。这些数据集中包含歌曲名称、音乐类型、曲目计数等信息,共计689种歌曲和68种类型。该数据集可用于音乐分析。

推荐度:★★★,推荐应用方向:音乐分析挖掘

介绍和下载地址:https://lts2.epfl.ch/datasets/fma/

音频数据集AudioSet

谷歌发布的大规模一品数据集,AudioSet 包括 632 个音频事件类的扩展类目和从YouTube视频绘制的 2084320 个人类标记的10秒声音剪辑的集合。类目被指定为事件类别的分层图,覆盖广泛的人类和动物声音,乐器和风格以及常见的日常环境声音。

推荐度:★★★,推荐应用方向:音乐、人声、车辆、乐器、室内等自然和人物声音分析挖掘

介绍和下载地址:https://github.com/audioset/ontology

2000 HUB5 English Evaluation Transcripts

该数据集由NIST(国家标准与技术研究院)2000年发起的HUB5评估中使用的40个英语电话对话的成绩单组成,其仅包含英语的语音数据集,百度最近的论文《深度语音:扩展端对端语音识别》使用的是这个数据集。

推荐度:★★★,推荐应用方向:音乐、人声、车辆、乐器、室内等自然和人物声音识别

介绍和下载地址:https://catalog.ldc.upenn.edu/LDC2002T43

LibriSpeech

该数据集为包含文本和语音的有声读物数据集,由Vassil Panayotov编写的大约1000小时的16kHz读取英语演讲的语料库。数据来源于LibriVox项目的阅读有声读物,并经过细致的细分和一致。

推荐度:★★,推荐应用方向:自然语音理解和分析挖掘

介绍和下载地址:http://www.openslr.org/12/

VoxForge

该数据集是带口音的语音清洁数据集,对测试模型在不同重音或语调下的鲁棒性非常有用。

推荐度:★★,推荐应用方向:语音识别

介绍和下载地址:http://www.voxforge.org/

TIMIT

这是一份英文语音识别数据集,包含630个扬声器的宽带录音,八个主要方言的美式英语,每个阅读十个语音丰富的句子。TIMIT语料库包括时间对齐的正字法,语音和单词转录以及每个话语的16位,16kHz语音波形文件。

推荐度:★★,推荐应用方向:语音识别

介绍和下载地址:https://catalog.ldc.upenn.edu/LDC93S1

CHIME

这份语音一份包含环境噪音的用于语音识别挑战赛(CHiME Speech Separation and Recognition Challenge)的数据集。该数据集包含了训练集、开发机、测试集三部分,每份里面包括了多个扬声器在不同噪音环境下的数据。

推荐度:★★★,推荐应用方向:语音识别

介绍和下载地址:http://spandh.dcs.shef.ac.uk/chime_challenge/index.html

TED-LIUM

TED Talk 的音频数据集,包含1495个录音和音频会议、159848条发音词典和部分WMT12公开的语料库。

推荐度:★★★,推荐应用方向:语音识别

介绍和下载地址:http://www-lium.univ-lemans.fr/en/content/ted-lium-corpus

除了上述公开数据集外,不要忘记大多数机器学习和数据挖掘工具本身也附带有datasets资源,甚至像sklearn还提供了生成模拟数据的功能(实际上专业的数据工具都有很多),请见sklearn中的datasets方法。

信息源于:https://blog.csdn.net/Hk_john/article/details/78193573

原文地址:https://www.cnblogs.com/genghenggao/p/9625528.html

时间: 2024-10-10 01:12:55

数据集搜集整理的相关文章

好网站搜集整理(吐血推荐)

http://www.MrPrint.cn/  你今天印书了么?免费将你的博客翻印成书 http://www.logomaker.cn  你可以制作出很有专业水准的动态logo,有很多的样式供你选择 http://www.google.com/gwt/n   可以访问任何网页的Google隐藏入口 http://www.gifup.com   在线制作GIF动画的网站,很有趣可以自己动手制作自己喜欢的gif动画,方法也很简单,哈哈,我们也可以秀一下自己的动画了! http://www.hi-id

C#与C++数据类型对应表(搜集整理一)

C#与C++数据类型对应表(搜集整理一) C#与C++数据类型对应表   C#调用DLL文件时参数对应表 Wtypes.h 中的非托管类型 非托管 C 语言类型 托管类名 说明 HANDLE void* System.IntPtr 32 位 BYTE unsigned char System.Byte 8 位 SHORT short System.Int16 16 位 WORD unsigned short System.UInt16 16 位 INT int System.Int32 32 位

C#调用C++的DLL搜集整理的所有数据类型转换方式

本以为这篇搜集整理的代码会是很不错的文章,花了一天时间,搜索到最后居然出来一篇叫做"C# 与 C++ 数据类型对照表"的文章.几乎囊括掉和大部分的数据了,太打击我了. 本文中有部分的数据没有测试.也有一些不错的是看了上百篇网文对比整理得来的.希望有帮助. //C++中的DLL函数原型为 //extern "C" __declspec(dllexport) bool 方法名一(const char* 变量名1, unsigned char* 变量名2) //exter

C#与C++数据类型比较及结构体转换(搜集整理二)

原文网址:http://www.blogjava.net/heting/archive/2010/03/20/315998.html C++ C# ===================================== WORD ushort DWORD uint UCHAR int/byte 大部分情况都可以使用int代替,而如果需要严格对齐的话则应该用bytebyte UCHAR* string/IntPtr unsigned char* [MarshalAs(UnmanagedType

史上最全的Java&amp;Android面试题搜集整理

最近在忙着准备面试,所以从全网搜集了一下java和android相关的面试题目,应该能够包含80%以上的试题吧~如果大家还有一些比较全面优质的题目资源,欢迎告知,我会继续补充进来,以便于更多同学可以从中获益. android性能优化系列 http://www.trinea.cn/android/performance/ 2016JAVA与Android面试题整理 http://www.nowcoder.com/discuss/3244 百度的android面试总结分析 http://blog.c

关于行类元素与块级元素的一些搜集整理

标准文档流里面,块级元素具有以下特点: ①总是在新行上开始,占据一整行: ②高度,行高以及外边距和内边距都可控制: ③宽带始终是与浏览器宽度一样,与内容无关: ④它可以容纳内联元素和其他块元素. 行内元素的特点: ①和其他元素都在一行上: ②高,行高及外边距和内边距部分可改变: ③宽度只与内容有关: ④行内元素只能容纳文本或者其他行内元素. 不可以设置宽高,其宽度随着内容增加,高度随字体大小而改变,内联元素可以设置外边界,但是外边界不对上下起作用,只能对左右起作用,也可以设置内边界,但是内边界在

搜集整理一些Cron表达式例子

1.cronExpression配置说明(注意:spring的任务调度里cron表达式不支持字段年) 字段 允许值 允许的特殊字符 秒 0-59 , - * / 分 0-59 , - * / 小时 0-23 , - * / 日期 1-31 , - * ? / L W C 月份 1-12 或者 JAN-DEC , - * / 星期 1-7 或者 SUN-SAT , - * ? / L C # 年(可选) 留空, 1970-2099 , - * / 表达式 意义 "0 0 12 * * ?"

搜集整理java中GC的理解

Java的垃圾回收机制是Java虚拟机提供的能力,用于在空闲时间以不定时的方式动态回收无任何引用的对象占据的内存空间. 需要注意的是:垃圾回收回收的是无任何引用的对象占据的内存空间而不是对象本身: System.gc() Runtime.getRuntime().gc() 上面的方法调用时用于显式通知JVM可以进行一次垃圾回收,但真正垃圾回收机制具体在什么时间点开始发生动作这同样是不 可预料的 ===================================================

Qt中的属性设置(搜集整理)

一.Qt中的属性 属性是指窗口或控件的属性,比如opacity属性表示"透明度",geometry指的是"位置和大小",pos属性代表"位置".qt中的控件有自带的属性,我们也可以自己定义属性. QObject这个类有一个函数setProperty,我们可以通过这个函数定义自己的属性,使用方法很简单,setProperty(const char * name, const QVariant & value),第一个参数是属性的名称,第二个