中智讯-数据分析与挖掘技术实验室建设方案

中智讯(武汉)科技有限公司
数据分析与挖掘技术实验室建设方案

1 实验室项目建设背景
1.1
项目建设背景
随着全球数据量的爆炸式增长和数据挖掘技术的发展,数据分析与数据挖掘技术正在以空前的速度产生和积累,对数据分析和数据挖掘的人才需求也快速增加。进入
2014 年,大数据(Big
Data)一词越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新。目前,大数据正在开启一次重大的时代转型,其影响力包括传统的金融、医疗保健、市场业、零售业、制造业、司法、工程和科学、保险业等等行业。
数据挖掘致力于从大型数据库中发现隐藏知识、未知模式和新规则,以指寻人们做出正确决策。数据挖掘在数据处理中有独到的优势,但随着“大数据”旪代的到来,传统的数据挖掘经验受到了严重的挑战,如何从纷繁复杂的海量数据中提取有用的信息,变数据为财富,挖掘数据中的金矿,提升企业竞争力以及提高企业风险管理水平,是当前企业和教育工作的重要课题。

1.2
项目建设内容
数据分析与挖掘实验室旨在培养具备海量数据采集、管理、分析与挖掘等方面专业素养的应用型、复合型、创新型人才,
要求学生具有良好数学基础和较强编程能力,掌握信息科学与计算科学的基本理论方法与技能,具备定量分析、科学预测和应用软件开发能力,以胜任银行、零售商、电商、医院、供应链管理公司和电信公司等多个行业的相关工作。同时,实验室又要满足大数据技术及应用、各行业理论和复杂性等前沿领域研究的需要,将研究成果应用于我国各企业的发展与改革的深化,为政府和企业提供相关决策咨询和技术支持。实验室主要的功能如下:
科研实验:结合大数据技术及应用、应用数学、统计、经济等领域的研究力量,在中心框架下利用创新实验室的平台条件,开展前沿的大数据技术及应用方面的统计分析和实证研究,实现宏观经济、行业研究、金融研究、能源研究、通信研究等领域研究水平提升。
培训教学: 结合国际流行的数据挖掘、统计分析工具和专业精准的数据库,培养学生的数据挖掘、数据分析、数据检验、程序设计等实践技能。

1.3
项目建设原则
数据分析与挖掘技术实验室建设遵循以下原则:
1)可靠性:系统稳定、可靠的运行是系统具有实用性的前提。要求系统具有高稳定性,当系统出现故障和突发事件时,具有保障正常运行的措施。
2)易用性:系统应尽可能的减少系统维护人员的工作量。经过短期培训后,一般工作人员可掌握系统使用方法,这是为系统在使用过程中的实际需要考虑的。系统交付使用以后,应该便于各种日常维护工作,能够方便地进行软件的重新配置、系统的智能预警监测、硬件备品备件的更换和软件系统的升级。
3)扩展性:扩展能力是云计算应用基础服务平台最重要的原则之一,作为云计算行业应用的基础服务平台,平台应具备充分、灵活的适应能力、可扩展能力和自动升级能力,提供可视化的二次开发、配置工具,并充分考虑接口的标准化、协议的标准化。
4)可管理性:系统应具备完整的统计、分析、授权和预警等功能,并提供打印、短信、邮件、视频监控、GPS定位等通用服务。

2 实验室项目建设方案
2.1
项目方案介绍
针对目前高校大数据分析与挖掘教学与科研现状,经过大量高校教学需求调研,中智讯推出专业实用的大数据与虚拟化教学平台,帮助学生熟悉和掌握大数据及云计算领域的前沿技术,掌握云计算与大数据的开发方法,学习数据分析、数据挖掘、数据建模、数据仓库等知识。结合中智讯在物联网和移动互联网技术的多年积累,提供支持云计算的大量真实物理大数据源,通过云计算技术构建一套完整的移动互联物联网数据中心中间件系统。

实验室方案框架说明:

  1. 大数据与虚拟化教学实验平台:该部分作为大数据和虚拟化基础知识的主要学习平台,是高校主要建设的部分。实验主机将4台高配的专业服务器集中在一台实验箱内,通过千兆交换机互联,学生可通过该平台做大数据和虚拟化的“建”、“管”、“用”等一系列实验。系统专业服务器包含:管理主机、计算主机、主存储主机、二级存储主机、千兆交换机等硬件构成,主机分区设计,直观的展示云计算的硬件构成及部署。实验平台采用一对一服务,每个学生独享一套硬件资源,方便管理和教学。
  2. 虚拟化技术教学资源:该部分主要用于学习云计算虚拟化技术及相关的IAAS自动化管理、部署、监控软件,支持大部分主流虚拟机的学习:KVM、Xen、Vmware、Oracle
    VM等。教学资源包含:Linux操作系统配置与使用(CentOS)、KVM虚拟化、Xen 虚拟化、Vmware虚拟化、Oracle
    VM虚拟化、CloudStack安装部署、CloudStack虚拟机资源管理、CloudStack平台运维与优化等。
  3. 大数据技术教学资源:该部分主要学习基于Hadoop架构的大数据教学,涵盖数据分析、数据挖掘、数据建模、数据仓库等知识。教学资源包含:Hadoop集群的部署/管理/监控、分布式文件系统HDFS安装配置与使用、大数据并行计算框架MapReduce安装配置与调优、基于Eclipse的HDFS/MapReduce程序开发与调试、HBase/Hive数据库系统的数据仓库开发与使用、基于Hive
    api的数据查询分析程序开发、大数据挖掘系统Mahout程序开发等。
  4. 大数据教学项目案例:该部分通过构建完整的行业综合应用实例来辅助教学,提供的项目包含:个人存储私有云综合实验、气象数据分析云综合实验、微信人物关系综合实训、云图书馆实例综合实训。结合智云硬件库实时大数据源,独创支持智云物联数据中间件系统的开发,涉及物理世界大数据的接入、分析、仓储、挖掘等功能,支持海量最近1小时、最近1天、最近1周、最近1月、最近1年及任意时间段数据的快速挖掘及数据分析使用,同时配合智云应用API,与上层移动互联网应用开发结合,构建从数据源端
    -> 大数据处理中心 -> 行业应用完整的一套系统。
  5. 智云硬件库实时大数据源:该部分提供真实的物理硬件支撑大数据的接入,包含各种商用/工业感知器、执行器、采集器、摄像头、门禁、显示屏、电机设备、气象站、M2M路由、Android网关、Zigbee工业无线节点等各种设备,为学生提供行业真实应用的硬件数据源,可以构建各种应用场合:环境雾霾监测系统、仓库温度火灾监测系统、公共场合人流密度监测系统、工厂无人自动化生产系统、气象站天气预测系统等。
  6. 中智讯大数据源样本库:中智讯一直致力于移动互联网物联网行业开发,并运营独立的开放数据共享平台“智云物联”,能够为大数据科研及教学提供各种长期的数据样本,通过真实的物理数据支撑数据分析、数据挖掘的可靠性。

    更多详情请登陆
    中智讯(武汉)科技有限公司 官网,或致电获取,欢迎垂询!

时间: 2024-09-29 20:43:35

中智讯-数据分析与挖掘技术实验室建设方案的相关文章

中智讯-开放式智慧教室实训系统建设方案

中智讯(武汉)科技有限公司开放式智慧教室实训系统建设方案 1   智慧教室项目开发背景1.1    互联互通的物联网技术 随着网络覆盖的普及,人们提出了一个问题,既然无处不在的网络能够成为人际间沟通的无所不能的工具,为什么我们不能将网络作为物体与物体沟通的工具,人与物体沟通的工具,乃至人与自然沟通的工具?于是,物联网技术的发展应运而生.物联网是"万物沟通"的.具有全面感知.可靠传送.智能处理特征的连接物理世界的网络,实现了任何时间.任何地点及任何物体的连结.可以帮助实现人类社会与物理世

下载零基础数据分析与挖掘R语言实战课程(R语言)

随着大数据在各行业的落地生根和蓬勃发展,能从数据中挖金子的数据分析人员越来越宝贝,于是很多的程序员都想转行到数据分析,挖掘技术哪家强?当然是R语言了,R语言的火热程度,从TIOBE上编程语言排名情况可见一斑.于是善于学习的程序员们开始了R语言的学习之旅.对于有其他语言背景的程序员来说,学习R的语法小菜一碟,因为它的语法的确太简单了,甚至有的同学说1周就能掌握R语言,的确如此.但是之后呢?……好像进行不下去了!死记硬背记住了两个分析模型却不明其意,输出结果如同天书不会解读,各种参数全部使用缺省值,

零基础数据分析与挖掘R语言实战课程(R语言)

随着大数据在各行业的落地生根和蓬勃发展,能从数据中挖金子的数据分析人员越来越宝贝,于是很多的程序员都想转行到数据分析, 挖掘技术哪家强?当然是R语言了,R语言的火热程度,从TIOBE上编程语言排名情况可见一斑.于是善于学习的程序员们开始了R语言的学习 之旅.对于有其他语言背景的程序员来说,学习R的语法小菜一碟,因为它的语法的确太简单了,甚至有的同学说1周就能掌握R语言,的确如 此.但是之后呢?……好像进行不下去了!死记硬背记住了两个分析模型却不明其意,输出结果如同天书不会解读,各种参数全部使用缺

数据分析与挖掘

百度MTC是业界领先的移动应用测试服务平台,为广大开发者在移动应用测试中面临的成本.技术和效率问题提供解决方案.同时分享行业领先的百度技术,作者来自百度员工和业界领袖等. >>如有问题,欢迎与我沟通 1. 概述 1.1  用户研究纵览 移动app成功的关键在于市场营销和产品设计,数据分析与挖掘解决的核心就是市场营销过程中的客户定位和产品设计过程中的用户体验改善.向目标用户提供所需的产品和服务,是任何一款移动APP应用成功的秘诀.而如何找到目标客户,如何了解用户的产品需求,则需要依靠数据分析和挖

某大型国企技术平台建设

一整月都在编写某国企的技术平台建设方案. 该企业是一个某500强大型国有企业,他们希望能建设统一的一个软件平台(技术平台+业务平台):各专业部门基于该平台开发相应的专业级插件,并发布到统一的插件平台中,并最终都可集成到一个统一的客户端软件平台中,以达到业务组件能在全公司范围内进行重用.另外,数据方面,会在平台建设的第二.三阶段,为他们建立独立的私有云数据服务. 由于保密性的原因,方案的许多内容都不便说明.以下是整个方案中,技术平台部分的一些重要内容的摘要. 架构分层 产品外围开发环境支持:VS-

基于webrtc技术的视频会议方案探讨

本文原创自 http://blog.csdn.net/voipmaker  转载注明出处. webrtc标准定制了web上如何p2p传输实时媒体, 但多人视频并没有规范,同时也是webrtc在企业级解决方案中的一个挑战,webrtc技术视频 会议方案可以归纳为一下几种 1. Mesh solution 这是最简单的方案,其原理就是客户端创建多个one-one的连接,互相relay媒体,这种方案服务器不需要改动,简单,但是客户端占用资源多. 2. Mixer solution 这种方案是传统视频会

大数据分析中的挖掘技术(二)

我们在上一篇文章中给大家介绍了大数据分析技术.数据挖掘的意义.数据挖掘的技术以及方法还有机器学习的内容.一般来说,大数据分析中的挖掘技术都是比较重要的,在这篇文章中我们给大家介绍一下数据挖掘的主要过程以及数据挖掘的重点内容. 我们不只在一篇文章中提到过,数据挖掘的内容是非常重要的,数据挖掘主要过程就是根据分析挖掘目标,从数据库中把数据提取出来,然后经过ETL组织成适合分析挖掘算法使用宽表,然后利用数据挖掘软件进行挖掘.传统的数据挖掘软件,一般只能支持在单机上进行小规模数据处理,受此限制传统数据分

Double fetch漏洞挖掘技术

本篇主要给大家科普Double fetch漏洞通用挖掘技术. 什么是Double fetch? Double fetch类型漏洞产生于多线程数据访问时,并且没有做必要的安全同步措施.多线程时,对同一数据一个线程读一个线程写,可能引起数据访问异常,而这个异常如果能被利用,这就是一个漏洞. 典型的情况,一个数据ring3应用访问,ring0也能访问,如果没有同步安全措施,可能会引起系统崩溃. Double Fetch原理(图片来自网络,如有侵权,联系秒删) 技术探讨一 Google公司开源的boch

MATLAB数据分析与挖掘实战

这篇是计算机中数据库存储与管理类的优质预售推荐<MATLAB数据分析与挖掘实战>. 多位资深数据挖掘专家10余年实战经验结晶,深入讲解数据挖掘各个环节的各项技术. 编辑推荐 通过10余个真实的案例为10余个行业的数据挖掘提供了解决方案,并提供相关的建模文件和源代码. 前言部分  为什么要写这本书 LinkedIn 对全球超过3.3亿用户的工作经历和技能进行分析后得出,在目前最炙手可热的25项技能中,数据挖掘人才需求排名第一.那么数据挖掘是什么? 数据挖掘是从大量数据(包括文本)中挖掘出隐含的.