最近发布了非常全面的开源数据集。包含生物特征、自然图像、深度学习图像等数据集,目前机器的心整理如下。(包括链接哦~)Midi,作者:Bharath Raj,机器心脏编译,参与:高贤,王淑贞。
添加最近的数据集
开源生物识别数据:
谷歌音频集:扩展了632个音频分类样本,从YouTube视频中提取了2,084,320个人类标签10秒声音剪辑。地址:
Uber 2B trip data:首次展示了200万公里的旅行数据。地址:
Yelp Open Dataset:Yelp数据集是用于NLP的Yelp业务、评论和用户数据的子集。地址:
核心50:用于连续目标识别的新数据集和基准。地址:
Kaggle数据集:
数据门户:
Open Data Monitor:
Quandl数据门户:
Mut1ny头部/面部分割数据集:
Github优秀的公共数据集:
头部CT扫描数据集:扫描491次的CQ500数据集。地址
自然图像数据集
MNIST:手写数字图像。这是最常用的可用性检查。格式25x25,居中,黑白手写数字。这是一个简单的任务。——仅适用于MNIST,并不意味着有效。地址:
Cifa r10/cifar 100: 32x32彩色图像,10/100类。仍然很有趣,但不再常用的可用性检查。地址:
这是Caltech 101:101物体的照片。地址:
Caltech 256:256物体的照片。地址:
STL-10数据集:用于开发无监督功能学习、深度学习和自学算法的图像识别数据集。就像修改后的CIFAR-10一样。地址:
the street view house numbers(svhn):Google街景的门牌号码。可以认为是再现的室外MNIST。地址:
NORB:玩具摆在各种灯光和姿势下的双目图像。地址:
Pascal VOC:通用图像分割/分类——对创建真实的图像注释没有用处,但对基线有用。地址:
Labelme:带有注释图像的大数据集。地址:
ImageNet:新算法的客观图像数据集(de-facto image dataset)。许多图像API公司在REST接口上有近1000个标签。世界网;ImageNet的层次。地址:http://image-net.org/
LSUN:了解有很多辅助任务的场景(房间布局估计、重要性预测等),有相关比赛。按一下(associated competition)。地址:
MS COCO:理解/描述共同形象,相关竞争。地址:
COIL 20:不同的物体在360度旋转时以角度成像。地址:
>- COIL100:不同物体在 360 度旋转中以每个角度成像。
- 地址:
- Google 开源图像:有 900 万张图像的网址集合,这些图像通过知识共享(Creative Commons)被标注成 6000 多个类别。
- 地址:https://research.googleblog.com/2016/09/introducing-open-images-dataset.html
地理空间数据
- OpenStreetMap:免费提供整个星球的矢量数据。它包含(旧版)美国人口普查局的数据。
- 地址:
- Landsat8:整个地球表面的卫星视角图,每隔几周更新一次。
- 地址:
- NEXRAD:美国大气层的多普勒雷达扫描图。
- 地址:
————————我是深度学习图像的分割线————————
人工数据集
- Arcade Universe:一个人工数据集生成器,图像包含街机游戏 sprite,如 tetris pentomino / tetromino。该生成器基于 O. Breleux 的 bugland 数据集生成器。
- 地址:
- 以 Baby AI School 为灵感的数据集集合。
- 地址:
- Baby AI Shapes Dataset:区分 3 种简单形状。
- 地址:
- Baby AI Image And Question Dataset:一个问题-图像-答案数据集。
- 地址:
- Deep Vs Shallow Comparison ICML2007:为实证评估深层架构而生成的数据集。
- 地址:
- MnistVariations:在 MNIST 中引入受控变化。
- 地址:
- RectanglesData:区分宽矩形和垂直矩形。
- 地址:
- ConvexNonConvex:区分凸形和非凸形状。
- 地址:
- BackgroundCorrelation:嘈杂 MNIST 背景下相关度的控制
- 地址:
人脸数据集
- Labelled Faces in the Wild:13000 个经过裁剪的人脸区域(使用已经用名称标识符标记过的 Viola-Jones)。数据集中每个人员的子集里包含两个图像——人们常用此数据集训练面部匹配系统。
- 地址:
- UMD Faces:有 8501 个主题的 367,920 个面孔的带注释数据集。
- 地址:
- CASIA WebFace:超过 10,575 个人经面部检测的 453,453 张图像的面部数据集。需要一些质量过滤。
- 地址:
- MS-Celeb-1M:100 万张全世界的名人图片。需要一些过滤才能在深层网络上获得最佳结果。
- 地址:
- Olivetti:一些人类的不同图像。
- 地址:
- Multi-Pie:The CMU Multi-PIE Face 数据库。
- 地址:
- Face-in-Action:
- JACFEE:日本和白种人面部情绪表达的图像。
- 地址:
- FERET:面部识别技术数据库。
- 地址:
- mmifacedb:MMI 面部表情数据库。
- 地址:
- IndianFaceDatabase:
- 耶鲁人脸数据库:
- 耶鲁人脸数据库 B:
- Mut1ny 头部/面部分割数据集:像素超过 16K 的面部/头部分割图像
- 地址:
————————我是深度学习视频的分割线————————
视频数据集
- Youtube-8M:用于视频理解研究的大型多样化标记视频数据集。
- 地址:
文本数据集
- 20 newsgroups:分类任务,将出现的单词映射到新闻组 ID。用于文本分类的经典数据集之一,通常可用作纯分类的基准或任何 IR /索引算法的验证。
- 地址:
- 路透社新闻数据集:(较旧)纯粹基于分类的数据集,包含来自新闻专线的文本。常用于教程。
- 地址:
- 宾州树库:用于下一个单词或字符预测。
- 地址:
- UCI‘s Spambase:来自著名的 UCI 机器学习库的(旧版)经典垃圾邮件数据集。根据数据集的组织细节,可以将它作为学习私人垃圾邮件过滤的基线。
- 地址:
- Broadcast News:大型文本数据集,通常用于下一个单词预测。
- 地址:
- 文本分类数据集:来自 Zhang et al., 2015。用于文本分类的八个数据集合集。这些是用于新文本分类基线的基准。样本大小从 120K 至 3.6M 不等,范围从二进制到 14 个分类问题。数据集来自 DBPedia、亚马逊、Yelp、Yahoo!和 AG。
- 地址:
- WikiText:来自维基百科高质量文章的大型语言建模语料库,由 Salesforce MetaMind 策划。
- 地址:
- SQuAD:斯坦福问答数据集——应用广泛的问答和阅读理解数据集,其中每个问题的答案都以文本形式呈现。
- 地址:
- Billion Words 数据集:一种大型通用语言建模数据集。通常用于训练分布式单词表征,如 word2vec。
- 地址:
- Common Crawl:网络的字节级抓取——最常用于学习单词嵌入。可从 Amazon S3 上免费获取。也可以用作网络数据集,因为它可在万维网进行抓取。
- 地址:
- Google Books Ngrams:来自 Google book 的连续字符。当单词首次被广泛使用时,提供一种简单的方法来探索。
- 地址:
- Yelp 开源数据集:Yelp 数据集是用于 NLP 的 Yelp 业务、评论和用户数据的子集。
- 地址:
————————我是深度学习文本的分割线————————
问答数据集
- Maluuba News QA 数据集:CNN 新闻文章中的 12 万个问答对。
- 地址:
- Quora 问答对:Quora 发布的第一个数据集,包含重复/语义相似性标签。
- 地址:
- CMU Q / A 数据集:手动生成的仿真问/答对,维基百科文章对其难度评分很高。
- 地址:
- Maluuba 面向目标的对话:程序性对话数据集,对话旨在完成任务或做出决定。常用于聊天机器人。
- 地址:
- bAbi:来自 Facebook AI Research(FAIR)的综合阅读理解和问答数据集。
- 地址:
- The Children’s Book Test:Project Gutenberg 提供的儿童图书中提取的(问题+背景、答案)对的基线。用于问答(阅读理解)和仿真查找。
- 地址:
情感数据集
- 多领域情绪分析数据集:较旧的学术数据集。
- 地址:
- IMDB:用于二元情感分类的较旧、较小数据集。对文献中的基准测试无法支持更大的数据集。
- 地址:
- Stanford Sentiment Treebank:标准情感数据集,在每个句子解析树的每个节点都有细粒度的情感注释。
- 地址:
推荐和排名系统
- Movielens:来自 Movielens 网站的电影评分数据集,各类大小都有。
- 地址:
- Million Song 数据集:Kaggle 上元数据丰富的大型开源数据集,可以帮助人们使用混合推荐系统。
- 地址:
- La:音乐推荐数据集,可访问深层社交网络和其它可用于混合系统的元数据。
- 地址:
- Book-Crossing 数据集:来自 Book-Crossing 社区。包含 278,858 位用户提供的约 271,379 本书的 1,149,780 个评分。
- 地址:
- Jester:来自 73,421 名用户对 100 个笑话的 410 万个连续评分(分数从-10 至 10)。
- 地址:
- Netflix Prize:Netflix 发布了他们的电影评级数据集的匿名版;包含 480,000 名用户对 17,770 部电影的 1 亿个评分。首个主要的 Kaggle 风格数据挑战。随着隐私问题的出现,只能提供非正式版。
- 地址:
————————我是深度学习图表的分割线————————
网络和图形
- Amazon Co-Purchasing:亚马逊评论从「购买此产品的用户也购买了……」这一部分抓取数据,以及亚马逊相关产品的评论数据。适合在网络中试行推荐系统。
- 地址:
- Friendster 社交网络数据集:在变成游戏网站之前,Friendster 以朋友列表的形式为 103,750,348 名用户发布了匿名数据。
- 地址:
语音数据集
- 2000 HUB5 English:最近在 Deep Speech 论文中使用的英语语音数据,从百度获取。
- 地址:
- LibriSpeech:包含文本和语音的有声读物数据集。由多个朗读者阅读的近 500 小时的各种有声读物演讲内容组成,包含带有文本和语音的章节。
- 地址:
- VoxForge:带口音的清晰英语语音数据集。适用于提升不同口音或语调鲁棒性的案例。
- 地址:
- TIMIT:英语语音识别数据集。
- 地址:
- CHIME:嘈杂的语音识别挑战数据集。数据集包含真实、仿真和干净的录音。真实录音由 4 个扬声器在 4 个嘈杂位置的近 9000 个录音构成,仿真录音由多个语音环境和清晰的无噪声录音结合而成。
- 地址:
- TED-LIUM:TED 演讲的音频转录。1495 个 TED 演讲录音以及这些录音的文字转录。
- 地址:
————————我是深度学习音频的分割线————————
音符音乐数据集
- Piano-midi.de: 古典钢琴曲
- 地址:
- Nottingham : 超过 1000 首民谣
- 地址:
- MuseData: 古典音乐评分的电子图书馆
- 地址:
- JSB Chorales: 四部协奏曲
- 地址:
其它数据集
- CMU 动作抓取数据集:
- Brodatz dataset:纹理建模。
- 地址:
- 来自欧洲核子研究中心的大型强子对撞机(LHC)的 300TB 高质量数据。
- 地址:;p=Run2011A+AND+collection:CMS-Primary-Datasets+OR+collection:CMS-Simulated-Datasets+OR+collection:CMS-Derived-Datasets
- 纽约出租车数据集:由 FOIA 请求而获得的纽约出租车数据,导致隐私问题。
- 地址:
- Uber FOIL 数据集:来自 Uber FOIL 请求的纽约 4.5M 拾取数据。
- 地址:
- Criteo 点击量数据集:来自欧盟重新定位的大型互联网广告数据集。
- 地址:
健康 &生物数据
- 欧盟传染病监测图集:
- 默克分子活动挑战:
- Musk dataset: Musk dataset 描述了以不同构造出现的分子。每个分子都是 musk 或 non-musk,且其中一个构造决定了这一特性。
- 地址:(Version+2)
政府&统计数据
- Data USA: 最全面的可视化美国公共数据。
- 地址:
- 欧盟性别统计数据库:
- 荷兰国家地质研究数据 :;from=1&to=50&any_OR_geokeyword_OR_title_OR_keyword=landinrichting*&relation=within
- 联合国开发计划署项目:
1.《【mtmit属于什么档次】这是一个非常全面的开源数据集。你真的不想吗?》援引自互联网,旨在传递更多网络信息知识,仅代表作者本人观点,与本网站无关,侵删请联系页脚下方联系方式。
2.《【mtmit属于什么档次】这是一个非常全面的开源数据集。你真的不想吗?》仅供读者参考,本网站未对该内容进行证实,对其原创性、真实性、完整性、及时性不作任何保证。
3.文章转载时请保留本站内容来源地址,https://www.lu-xu.com/yule/2553241.html