【数据源】24万数据集:社会发展类公开数据清单

【数据源】24万数据集:社会发展类公开数据清单

2016-01-06 周炜乐 数盟

数盟是一个开放的数据科学交流社区,致力于成为发现与培养“数据科学家”的基地,欢迎关注数盟或推荐数盟给身边的小伙伴~

公开数据能帮助记者找到好故事、验证信息。来自34个国家的24万数据如何一搜可得?有哪些关于社会发展议题的权威门户可以将数据一网打尽?遇到海量数据,想批量转换格式怎么办?深度君再次奉上公开数据门户清单,另外推荐转换文件格式神器,方便各位各取所需。

1.欧盟数据门户(European Data Portal):34个国家的24万数据集尽在掌握

欧盟委员会公布了公开数据门户,以下几个关键词即可一窥其强大功能。

信息量大:囊括了来自34个国家、总计达24万的数据集。

分类清晰:数据分为从农业到交通等13个类别,包括科学、司法、卫生,这能让你按照分类浏览。

多语言接口:为了帮助用户能用不同语言读取数据,委员会特地建立了一个多语言检索界面,还使用了机器翻译技术的重要数据描述符。这样一来,即使用着不同语言的程序员、公司、记者和感兴趣的用户也能轻松找到欧洲各地的数据,而且重新使用也极为方便。例如,在斯洛伐克布拉迪斯拉发的一名程序员就能用挪威首都奥斯陆的数据(挪威语标注的元数据注释)开发app,用户定位也更为准确。

详情请戳数据门户吧! European Data Portal

2.Open Data Inception Project在线目录:全球1600个数据门户尽在掌握

如果觉得欧洲的数据不能满足胃口,整合全球1600个公开数据门户的数据目录正是你的好选择。例如数据平台OpenGeocode(免费公共地理位置数据库),Dataportals(公开数据门户),问答门户Quora和StackExchange等都被统统囊括其中。OpenDataSoft平台可以让用户将不同资源添加到同一个数据集。因此,他们添加了所有收集的数据以及能连接到线上表格的链接,这样就能在表格中手动添加数据,同时让数据和主数据集同步。

整合的所有门户当中,深度君特别推荐整合了全球519个数据门户的超全数据清单DataPortals,其alpha版本已在2011年开放知识基金会伦敦大会上发布。用户可以在搜索框里键入任意关键词,例如键入“China”一词,下方地图即会显示数量和所在地点,点击标注点,可看信息网址和简介。目前列表中有5个中国的数据门户,分别为北京市政务数据资源网、大连市政府信息公开网、中国政府公开信息整合服务平台和上海市政府数据服务网。

同时,你也可以点击页面顶端的“Browse(浏览)”按钮,即可查看所有公开数据的简介。例如选中非洲公开数据,可以看到其为“非洲最大的政府、公民社会、公司和捐助机构数据”,其覆盖区域为非洲、数据发布者为AfricaOpenData,以及链接、目前的数据状态、语言、所属类别、数据证书等。

要是你有新的数据门户,还可以点击“添加新的数据门户(Add a Portal)”,将名称、链接、描述、所属地区、证书信息和API信息等统一添加到表单。

如果有任何对于数据的想法和建议,无论是数据公开的技术、内容还是法律问题,都可以在他们的论坛上留言,交流见解,说不定新方法就这样闪现了。

如果想知道最新数据门户消息,还可订阅newsletter哦。详情请戳OpenDataInception.ioDirectory

3.2016在哪里做生意最便利?世行报告告诉你
在哪里投资做生意最合适?跨国公司很可能青睐的地点有哪些?如果要挑选一份权威报告作参考的话,世界银行在年末出版的《2016营商环境报告:测评监管质量与效率》(DoingBusiness2016:MeasuringRegulatoryQualityandEfficiency)属首选之列。该报告是世界银行系列年度报告之一,用于评估加强或限制商业活动的条例。涵盖了从阿富汗到津巴布韦在内的189个经济体可比较的商业条例和知识产权保护的衡量标准。

衡量的详细指数包括:做生意的难度:开办企业、办理许可、获取电力、注册财产、获得贷款、保护少数族群的投资者、纳税、跨境交易、合同履行和办理破产。此报告也衡量劳工市场法规,但今年的排名不以此为依据。

此份报告亮点多多,例如世界六成以上经济体在过去一年改善了营商规则,主要在“获得信贷”领域,其中近半数的改革发生在撒哈拉以南的非洲。(新浪新闻)。其关注领域中提升最多的经济体是:哥斯达黎加,乌干达,肯雅,塞浦路斯,毛里塔利亚,乌兹别克斯坦,卡萨克斯坦,牙买加,塞内加尔和贝宁。在营商友好型监管环境排名中,新加坡继续蝉联榜首,新西兰和丹麦次之,中国香港位列第5,美国则排名第7。

4.联合国等国际组织社会发展数据清单一览

联合国千年发展目标报告UNMDGReports

联合国开发计划署报告(UNDP Human Development Reports):2015人类发展统计数据表(共7张,均可供下载)、2015人类发展报告(首次网络版本发布),支持分国家、数据地理范围、主题、年份、语言、设定浏览方式或检索,还有讨论发展议题的博客。

世界银行整合了一张千年发展计划进展的统计和信息来源表,按照目标分类。

经济合作与发展组织的统计数据(OECD Statistics)提供相当全面的数据分享,关于农业、教育、就业、健康、贸易、税务、金融、能源、环境以及更多类别等你探索,同时可供国家和主题检索。例如,键入“climate change(气候变化)”,即可查看相关的影响指标、数据库、API接口、出版物,检索方便,信息丰富,还能选择线图、地图或者表格视图查看哦。

联合国统计司(UN Statistics Division):其数据库包含联合国千年发展数据,以及:

国民核算主要总量数据库(National Accounts Main Agregates Database):世界200多个国家和地区1970年以来完整的、连续的国民核算总量统计,以及源于各国家和地区的分析指标和定量数据。

《联合国统计月报》在线:提供世界200多个国家和领土的统计信息,含有人口、价格、就业、工资、能源、制造业、运输、建筑、国际商品贸易和金融等内容广泛的月度和/或年度与季度数据,网络资源涵盖2000年以来的数据。(参考国际组织与外国政府出版物——网络资源整合服务平台)

详情请戳http://unstats.un.org/unsd/default.html

联合国国家统计数据机构:
联合国数据(UN Data):由联合国统计司发起的提供联合国数据的检索门户网站,既然顶着“联合国”的头衔,它的容量也是不言而喻:容纳17个机构提供的34个数据库, 总计达6千万条记录,覆盖农业、犯罪、教育、就业、能源、环境、卫生、艾滋、人类发展、工业、信息和通讯技术、国家审计、人口、难民、旅游、贸易和千年发展计划的数据。不光是数据库,数据表格和词汇表也可供用户查阅哦。

联合国环境统计数据(UN Environmental Statistics Section):包含联合国统计司的环境数据,也涵盖其他八个主题。

联合国教科文组织国际教育统计数据库(UNESCO International Education Statistics Database):目前已覆盖200多个国家和地区的所有级别的教育,阐释例如性别差异、教师和资金等关键政策问题。

妇女观察(Women Watch):提供关于《北京行动纲领》提出的关键议题、将性别观点纳入社会主流、以及气候变化等联合国全球议程重点议题的在线数据。

联合国教科文组织统计数据和资源(UNICEF Statistics and Resources )

联合国人口基金统计数据和出版物(UNFPA Statistics and Publications):可按关键词、出版物类型、主题和出版时间划分

联合国水资源统计数据门户(UN Water Statistics Portal):可点选主题筛选

世界卫生组织-全球卫生观察站(WHO Global Health Observatory):国家数据和统计信息,重点为对照性估计数;世卫组织为监测全球、区域和国家情况与趋势作出的分析。包含:主体信息、数据库、国家数据和分析报告

世界银行监控千年发展目标的项目(World Bank Monitoring the MDGs Program)

世界银行数据(World Bank Data):有中文版,可以按国家、专题、指标来浏览,也可键入关键词搜索。在首页即可选择查看世界发展指标、世界银行财务、项目、开放型政府工具箱。若想查看更多数据,就试试查询所有213项数据目录吧。

以下则是分地区设置的人类发展统计数据/资源门户:

非洲:

联合国非洲经济委员会统计数据UNECA Statistics Division

联合国非洲经济委员会出版物和资源UNECA Publications and Resources

非洲发展银行知识门户African Development Bank Knowledge Portal

南非发展社区统计数据Southern African Development Community Statistics

欧洲:

联合国欧洲经济委员会统计数据UNECE Statistics Division

欧盟统计局(欧盟委员会)EuroStat (European Commission)

拉丁美洲和加勒比地区:

联合国拉丁美洲和加勒比经济委员会统计数据ECLAC Statistics Division

联合国拉丁美洲和加勒比经济委员会ECLAC MDG Resources

加勒比共同体区域统计页面CARICOM Regional Statistics Page

美洲开发银行数据库Inter-American Development Bank Database

亚洲和太平洋地区:

联合国亚洲经济委员会数据UNESCAP Data Division

亚洲发展银行:统计数据和数据库Asian Development Bank (ADB): Statistics and Databases,还有亚洲数据(AsiaData)可供下载哦,随时随地掌握最新亚洲发展银行成员的宏观经济和社会数据指标。

阿拉伯国家和地区:

联合国西亚经济社会委员会信息UNESCWA Information Division

阿拉伯发展资源NGO网络Arab NGO Network for Development Resources

伊斯兰发展银行资源Islamic Development Bank Resources

5.CloudConvert:211种文件格式随你转换

最后,有了这么多数据,要想归纳处理,转换格式怎么办?深度君强力推荐一款名为CloudConvert的网络服务,可以让读者轻松将多种类型的文件(音频、视频、文档、电子书等)从一种格式转换成另一种格式。

它能转换多少种格式呢?答案是:211种!CloudConvert提供两种免费服务层,还有专为大量转换需求的用户提供的免费服务哦。操作非常简单,只需两步:先上传文件到服务器,然后点击转换。用户可以选择完成时提醒和保存在dropbox的服务,简单易行,快去试试吧!

注:转载文章均来自于公开网络,仅供学习使用,不会用于任何商业用途,如果侵犯到原作者的权益,请您与我们联系删除或者授权事宜,联系邮箱:[email protected]。转载数盟网站文章请注明原文章作者,否则产生的任何版权纠纷与数盟无关。

关于我们 ID:DataScientistUnion

数盟网站:www.dataunion.org

数盟微博:@数盟社区

数盟微信:DataScientistUnion

数盟【大数据群】272089418

数盟【数据可视化群】 179287077

数盟【数据分析群】 174306879

(长按可关注)


点击[阅读原文] 查看更多精彩内容

 

阅读原文

时间: 2024-08-23 10:28:55

【数据源】24万数据集:社会发展类公开数据清单的相关文章

中华人民共和国2016年国民经济和社会发展统计公报

中华人民共和国2016年国民经济和社会发展统计公报 年末全国大陆总人口138271万人,比上年末增加809万人,其中城镇常住人口79298万人,占总人口比重(常住人口城镇化率)为57.35%,比上年末提高1.25个百分点.户籍人口城镇化率为41.2%,比上年末提高1.3个百分点.全年出生人口1786万人,出生率为12.95‰:死亡人口977万人,死亡率为7.09‰:自然增长率为5.86‰.全国人户分离的人口[4]2.92亿人,其中流动人口[5]2.45亿人. https://www.ccther

英伦金业「黄金交易早评」: 非农预期回24万

英伦金业:新年进步,实金交投续放缓,但美数据或走软,加上下周非农预期回24万区间,前值32.1万,短线均利好金价.目前若能突破近期区间阻力1184,或先试1191,若消息配合则有机试FR61.8%,1198,由于走势上暂未有明显反弹形态,若失守自12月初升轨底部1182,不排除进一步回软至170-1154区间.技术上,金价日图保持区间盘整格局,下降之势尚未能扭转,在较大的1214,1170区间内牛熊角力,短线若失1182,下行形态会被确认,或试自11月升轨底部1170或黄金回调1162.由于下周

中国游客为韩创造24万就业促韩产值增800亿元

这份报告题为<中国游客的增加对工业起到的影响和政策提议>,基于韩国观光公社(韩国旅游发展局)和文化体育观光部的统计数据分析了外国游客的变化趋势和对经济的波及效果. 报告指出,来韩中国游客从2007年底的106.8万人次增加到2013年的432.6万人次,年均增幅高达26.2%.去年中国游客在全体外国游客 中占比最大,达35.5%.中国游客在韩国的人均消费额则从2008年的1262美元,增加到2013年的2272美元,激增80%. 去年,中国游客的人均消费额是全体外国游客人均消费额(1684美元

PyTorch 数据集类 和 数据加载类 的一些尝试

最近在学习PyTorch,  但是对里面的数据类和数据加载类比较迷糊,可能是封装的太好大部分情况下是不需要有什么自己的操作的,不过偶然遇到一些自己导入的数据时就会遇到一些问题,因此自己对此做了一些小实验,小尝试. 下面给出一个常用的数据类使用方式: def data_tf(x): x = np.array(x, dtype='float32') / 255 # 将数据变到 0 ~ 1 之间 x = (x - 0.5) / 0.5 # 标准化,这个技巧之后会讲到 x = x.reshape((-1

GitHub 万星推荐:黑客成长技术清单

GitHub 万星推荐:黑客成长技术清单 导语:如果你需要一些安全入门引导,"Awesome Hacking"无疑是最佳选择之一. 最近两天,在reddit安全板块和Twitter上有个GitHub项目很火,叫"Awesome Hacking". "Awesome Hacking"在reddit上有超过四百个赞,但管理员后来认为不适合该板块(Awesome类项目没有新的内容),给了"reject". 这个项目由Twitter账

Caffe3——ImageNet数据集创建lmdb类型的数据

Caffe3——ImageNet数据集创建lmdb类型的数据 ImageNet数据集和cifar,mnist数据集最大的不同,就是数据量特别大:单张图片尺寸大,训练样本个数多:面对如此大的数据集,在转换成lmdb文件时:使用了很多新的类型对象. 1,动态扩容的数组“vector”,动态地添加新元素 2,pair类型数据对,用于存储成对的对象,例如存储文件名和对应标签 3,利用opencv中的图像处理函数,来读取和处理大尺寸图像 一:程序开始 由于要向imageNet数据集中设置resize和是否

万亿级日志与行为数据存储查询技术剖析——Hbase系预聚合方案、Dremel系parquet列存储、预聚合系、Lucene系

转自:http://www.infoq.com/cn/articles/trillion-log-and-data-storage-query-techniques?utm_source=infoq&utm_medium=popular_widget&utm_campaign=popular_content_list&utm_content=homepage 目前大数据存储查询方案大概可以分为:Hbase系.Dremel系.预聚合系.Lucene系,笔者就自身的使用经验说说这几个系

重要!!!实体类、数据访问类

创建两个类: users类: using System; using System.Collections.Generic; using System.Linq; using System.Text; namespace 实体类_数据访问类.App_Code { public class Users { private int _Ids; /// <summary> /// ids /// </summary> public int Ids { get { return _Ids;

实体类、数据访问类中的属性拓展

类中: using System; using System.Collections.Generic; using System.Data.SqlClient; using System.Linq; using System.Text; namespace 实体类_数据访问类.App_Code { public class Users { SqlConnection conn = null; SqlCommand cmd = null; public Users() { conn = new S