大快政务大数据分析平台架构与特点介绍

从事大数据行业的朋友应该都知道大数据已经上升到了国家战略高度,2015年8月31日,×××印发了《促进大数据发展行动纲要》。旨在通过建立“用数据说话、用数据决策、用数据管理、用数据创新”的管理机制,实现基于数据的科学决策。

目前,我国每年善生并被存储的数据总量超过800EB,相当于全人类讲过的话160倍。我国的电子政务发展指数为0.6071,排名第63位。经过这几年的发展的,已经偶60余个地×××府出台了城市大数据发展计划。

政务大数据处理平台是一款汇集大数据处理、在线分析、数据挖掘、数据模型、可视化展现于一体的综合性大数据分析平台。它提供了基于hadoop存储、数据立方体与计算的OLPA可视化分析功能,使用户通过托拉拽的简单操作即可在亚秒级的时间内完成多维度、全方位的数据分析,并以多种可视化方式展示分析结果。

国内提供大数据平台架构的组织机构总体上来说不是很多,主要也是由于大数据开发偏底层,技术难度太大限制了它的普及程度。但能够提供政务大数据解决方案的也是有一些的,这里就简单介绍下大快搜索的政务大数据解决方案,以供学习参考。

首先,通过一张图来看一下大快搜索的政务大数据解决的总体架构:

技术架构图:

大快政务大数据解决方案的平台特色:

1、基于人工只能的全文搜索引擎:各种政务文件、数据和各种档案等一并汇总,提供全维度数据可用的,分权限高速全文搜索引擎,引擎基于自然语言处理和人工智能技术,支持模糊检索,语义检索,并提供高安全性的查询权限管理,可根据不同的机构、级别设置不同查询权限。

2、政务数据综合管理平台:数据互联互通,通过双数据集动态同步技术,实现各机构的数据统一汇总,便于第一时间掌握全面动态信息。

3、政务数据资源的管理平台:可以有效的对各种异构数据有效的管理,政府可以逐步整合和管控各种社会数据资源,为大数据产业的发展打好数据资源基础。

4、完善的大数据分析基础运行环境:集成了完整的Hadoop系统,可以为各种大数据应用分析系统,提供统一完善的运行环境,并有效保障信息安全和在基础软件层面保证系统的互联互通。

5、系统安全:内置系统安全组件和与市政务云互联互通的无缝衔接功能。

6、全程管控功能:系统提供对各种数据源、数据交换过程、软件、服务等运行状态监控,以及数据交换的全流程跟踪功能。

7、强大的容灾备份功能:基于大数据的海量数据管理能力,对原有政务系统的数据,可以做到无缝的全自动灾备还原。

原文地址:http://blog.51cto.com/13636660/2115331

时间: 2024-11-10 15:45:59

大快政务大数据分析平台架构与特点介绍的相关文章

大数据下的数据分析平台架构zz

转自http://www.cnblogs.com/end/archive/2012/02/05/2339152.html 随着互联网.移动互联网和物联网的发展,谁也无法否认,我们已经切实地迎来了一个海量数据的时代,数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB,对这些海量数据的分析已经成为一个非常重要且紧迫的需求. 作为一家互联网数据分析公司,我们在海量数据的分析领域那真是被“逼上梁山”.多年来在严苛的业务需求和数据压力下,我们几乎尝试了所有可能的大数据分析方法,最终落地于Had

大数据下的数据分析平台架构

时间:2011-08-15 14:59 作者:谢超 随着互联网.移动互联网和物联网的发展,谁也无法否认,我们已经切实地迎来了一个海量数据的时代,数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB,对这些海量数据的分析已经成为一个非常重要且紧迫的需求. 谢超 Admaster数据挖掘总监,云计算实践者,10年数据仓库和数据挖掘咨询经验,现专注于分布式平台上的海量数据挖掘和机器学习. 作为一家互联网数据分析公司,我们在海量数据的分析领域那真是被“逼上梁山”.多年来在严苛的业务需求和数据压

大快DKhadoop大数据处理平台详解

大数据可以说是从搜索引擎诞生之处就有了,我们熟悉的搜索引擎,如百度搜索引擎.360搜索引擎等可以说是大数据技处理技术的最早的也是比较基础的一种应用.大概在2015年大数据都还不是非常火爆,2015年可以说是大数据的一个分水岭.随着互联网技术的快速发展,大数据也随之迎来它的发展高峰期.整个大数据处理技术的核心基础hadoop.mapreduce.nosql系统,而这三个系统是建立在谷歌提出的大表.分布式文件系统和分布式计算的三大技术构架上,以此来解决海量数据处理的问题.虽然说大数据处理技术最早兴起

大快DKH大数据基础服务平台监控参数说明(附图文)

标题:DKhadoop大数据处理平台监控数据介绍2018年国内大数据公司50强榜单排名已经公布了出来,大快以黑马之姿闯入50强,并摘得多项桂冠.Hanlp自然语言处理技术也荣膺了"2018中国数据星技术"奖.对这份榜单感兴趣的可以找一下看看.本篇承接上一篇<DKM平台监控参数说明>,继续就大快的大数据一体化处理架构中的平台监控参数进行介绍和说明.DKhadoop大数据处理平台架构的安装相关文章已经分享过,详细的内容可以找一下看看.在上一篇中已经就集群平均负载.集群磁盘使用情

达观数据分析平台架构和Hive实践——TODO

转自: http://www.infoq.com/cn/articles/hadoop-ten-years-part03 编者按:Hadoop于2006年1月28日诞生,至今已有10年,它改变了企业对数据的存储.处理和分析的过程,加速了大数据的发展,形成了自己的极其火爆的技术生态圈,并受到非常广泛的应用.在2016年Hadoop十岁生日之际,InfoQ策划了一个Hadoop热点系列文章,为大家梳理Hadoop这十年的变化,技术圈的生态状况,回顾以前,激励以后. 近十年来,随着Hadoop生态系统

大快大数据平台架构设计的构成模块

大数据也不是近几年才出现的新东西,只是最近几年才真正意义上变得热门.火爆!而这要得益于互联网信息技术的快速发展,网络改变世界.改变生活,大数据技术的应用让这样的改变更为深刻.关注大数据或者是互联网方面新闻的人应该知道,大数据已经上升到了国家战略的高度.可以说这是时代发展的必然趋势,从国家战略层面推进大数据技术的普及与应用,一个至关重要且非常核心的问题--数据安全问题就非常突出.解决数据安全问题,必然要回归到大数据开发所使用的框架!国内的大数据开发起步较晚于国外,所有关于大数据大开发的各种标准和规

基于Hadoop离线大数据分析平台项目实战

基于Hadoop离线大数据分析平台项目实战  课程学习入口:http://www.xuetuwuyou.com/course/184 课程出自学途无忧网:http://www.xuetuwuyou.com 课程简介: 某购物电商网站数据分析平台,分为收集数据.数据分析和数据展示三大层面.其中数据分析主要依据大数据Hadoop生态系统常用组件进行处理,此项目真实的展现了大数据在企业中实际应用. 课程内容 (1)文件收集框架 Flume ①Flume 设计架构.原理(三大组件) ②Flume 初步使

大快大数据技术架构的构成模块

大数据也不是近几年才出现的新东西,只是最近几年才真正意义上变得热门.火爆!而这要得益于互联网信息技术的快速发展,网络改变世界.改变生活,大数据技术的应用让这样的改变更为深刻. 关注大数据或者是互联网方面新闻的人应该知道,大数据已经上升到了国家战略的高度.可以说这是时代发展的必然趋势,从国家战略层面推进大数据技术的普及与应用,一个至关重要且非常核心的问题--数据安全问题就非常突出.解决数据安全问题,必然要回归到大数据开发所使用的框架! 国内的大数据开发起步较晚于国外,所有关于大数据大开发的各种标准

收集各大互联网公司大数据平台架构

1. 五种主流的大数据架构 收集各大互联网公司大数据平台架构 1. 酷狗音乐的大数据平台架构: https://www.infoq.cn/article/kugou-big-data-platform-restructure 2. 滴滴大数据离线和实时平台架构和实践: https://myslide.cn/slides/15307 3. 美图大数据平台lamda架构: https://www.infoq.cn/article/QycsTZSz0REAFTgmh_J0 持续更新中...... 原文