《实战大数据》前言

《实战大数据》

http://item.jd.com/11417436.html

“数据是重要资产”已成为大家的共识,众多公司争相分析、挖掘大数据背后的信息财富。本书在这个背景下,对目前大数据及其相关技术的发展进行总结,理论联系实践,既不缺乏理论深度又具有实用价值。

本书共12章,内容包括大数据概念、特点、发展历史,数据获取与存储,数据抽取和清洗,数据提炼,数据的查询、分析与建模,异构数据采集,文档的存储与检索,异种数据的统一存储与转换,基于微博的股票市场预测系统实例,海量视频检索系统实例,HDFS云文件系统实例。

本书适合大数据技术初学者,大数据从业人员和研究人员,也可以作为高等院校相关专业师生的教学参考手册。

前言

随着云时代的来临,大数据(Big data)也吸引了越来越多的关注。大数据目前已经成为IT领域最为流行的词汇,其实它并不是一个全新的概念。早在1980年,著名未来学家阿尔文·托夫勒便在《第三次浪潮》一书中,明确提出“数据就是财富”这一观点,并将大数据热情地赞颂为“第三次浪潮的华彩乐章”。直到现在,大数据在政府决策部门、行业企业、研究机构等得到了广泛的应用,并实际创造了价值。

大数据分析相比于传统的数据仓库应用,具有数据量大、查询分析复杂等特点。本书对目前大数据技术的发展进行了总结,试图讲清楚数据获取,数据结构,数据集成,数据分析、组织、抽取和建模,数据分析结果的呈现等问题,为读者提供在实践中解决遇到的大数据问题的思路和方法。

本书分为12章,每章内容概要如下:

第1章从大数据的历史与发展、大数据的定义、大数据的研究内容、大数据问题在国内外政府、公司和大学的研究现状等方面进行论述,为这一新兴概念勾勒出一个雏形。

第2章介绍了数据获取与存储技术的概念以及一些流行的工具与实现。

第3章介绍了数据抽取和清洗。数据抽取作为数据处理的第一步,具有至关重要的作用。数据清洗是构建数据仓库和知识发现的必要因素。

第4章介绍了大数据提炼价值的关键步骤——数据集成,包括各大公司对数据集成技术的定义、用处、发展历程、分类、数据集成技术的研究现状、各大公司实现数据集成技术的工具,以及在大数据背景下的数据集成技术的特点等等。

第5章介绍了海量数据的查询、分析与建模技术。包括数据查询、分析和建模的各项技术的概念、发展历史、工具等,使得读者对于海量数据查询、分析与建模有更进一步的了解。

第6章介绍了本章将给出一个舆情监控系统的异构数据采集平台部分为实例,介绍OSGi的基本构建方法,并围绕该异构数据采集平台的设计与实现,对OSGi在构建动态部署的可伸缩的异构数据采集平台中的设计和使用进行介绍。

第7章采用HBase实现海量小型XML文档的存储与检索,结合实际问题背景,对该系统的功能性需求和非功能性需求进行了详细描述,逐步深入分析,给出系统的概要设计及详细设计,并给出系统关键点的实现。

第8章针对现有一些算法无法处理大规模网络的问题,在随机游走算法(RandomMovement Strategy)和仿射传播聚类算法(Affinity Propagation Clustering Algorithm)的基础上,借助MapReduce编程模式,将两种算法迁移到云平台上,分别给出随机游走算法和仿射传播聚类算法的并行化。

第9章介绍了异种数据源数据的统一存储与转换技术。

第10章主要介绍了一种基于微博的股票市场预测系统,并对该系统的应用背景和相关技术做了相应的介绍,分析了系统的需求分析与总体设计思路,最后给出了详细的设计与实现方案。

第11章主要介绍了一个基于内容的海量视频检索系统,该系统运用MapReduce对视频中运动对象提取的方法进行了改进;使用HBase进行系统中相关数据的存储;采用一种新型的方法对检测到的运动对象进行行为识别,并创新性的利用规则组合的方式对复杂行为进行定义与检索。

第12章全面介绍了一个基于HDFS(Hadoop Distributed File System)的云文件系统,为用户进行数据存储提供一个实例,实现了面向高速局域网网络服务的云计算分布式文件系统,并提供了网盘应用的主要功能。

时间: 2024-10-27 12:44:57

《实战大数据》前言的相关文章

《App后台开发运维和架构实践》推荐序

软件开发工具的成长速度远远超过开发人员的成长速度,这是现实. 每个月,甚至每天,我们都可以见到新的类库.框架.工具.语言.它们或者极大地降低了开发的成本,或者极大地提升了开发的效率. 随之而来的问题就是,如何让开发人员妥善地运用好这些工具? 曾经有好几个做开发的同事跟我说:"写软件谁不会?从网上找些开源的类和项目来改改就是了".目前也确实充斥着这种"改改就是"的工作思维.介绍某个类库和项目如何安装和调用的文章俯拾皆是. 但是每种工具究竟有什么优缺点?适合用来解决什么

《App后台开发运维和架构实践》前言

笔者在2012年从开发电子商务网站转向了开发App后台,当时在一家做社交App的创业公司里工作,笔者和搭档都没有任何从事移动互联网开发的经验,不清楚App后台怎么架构,只能摸着石头过河,那时网络上只有一些零散的资料,当遇到问题时只能不断地摸索和思考,来找到解决问题的方法. 在从事开发App后台接近4年的时间中,笔者参与了两款社交App的开发,现在就职于bmob,从事云后台服务的研发工作,慢慢地对App后台的架构有了一些体会. 从2013年年底开始,笔者把工作笔记发表在CSDN博客专栏"App后端

《App 后台开发运维和架构实践》目录

ps:由于书的目录太长了,各大网店(京东,当当,亚马逊)都显示不完整,所以这里列出目录的完整版. 第1章 App后台入门 16 1.1 App后台的功能 16 1.2 App后台架构 17 1.3 App和App后台的通信 19 1.4 App后台和Web后端的区别 22 1.5 选择服务器 23 1.6 选择编程语言 24 1.7 快速入门新技术 25 1.7.1 思维模式 25 1.7.2 4种快速入门新技术的方法 25 1.8 App是怎样炼成的 26 1.8.1 项目启动阶段 26 1.

App 后台架构设计方案 设计思想与最佳实践

转载请注明出处:http://blog.csdn.net/smartbetter/article/details/53933096 做App做的久了,就想研究一下与之相关的App后台,发现也是蛮有趣的.App后台的两个重要作用就是 远程存储数据 和 消息中转.这里面的知识体系也是相当复杂,做好一个App后台也是需要长期锤炼的.本篇文章从 App 后台架构 的角度介绍.好了,下面进入正题: 说起架构,我们先看一下何为架构,百度百科是这样说的:架构,又名软件架构,是有关软件整体结构与组件的抽象描述,

基于 Docker 的微服务架构实践

本文来自作者 未闻 在 GitChat 分享的{基于 Docker 的微服务架构实践} 前言 基于 Docker 的容器技术是在2015年的时候开始接触的,两年多的时间,作为一名 Docker 的 DevOps,也见证了 Docker 的技术体系的快速发展.本文主要是结合在公司搭建的微服务架构的实践过程,做一个简单的总结.希望给在创业初期探索如何布局服务架构体系的 DevOps,或者想初步了解企业级架构的同学们一些参考. Microservice 和 Docker 对于创业公司的技术布局,很多声

Django开发运维后台(二):建立模型与更新数据

上一篇文章我已经新建了一个SaAdmin的APP,现在开始在这APP下面来code 1.修改setting.py的数据库连接: DATABASES = {     'default': {         'ENGINE':'django.db.backends.mysql',         'NAME': 'QjshAdmin',         'USER': 'root',         'PASSWORD': 'lihuipeng',         'HOST': 'localho

空格App亿元A轮融资背后:云上多场景技术架构实践与经验

直播视频: (点击图片观看) 幻灯片下载地址:https://oss.aliyuncs.com/yqfiles/382bc642fc0b621a9368138a74d8fd36.pdf 3月16日云栖社区在线实时分享顺利结束,本次由空格APP技术合伙人刘博分享了空格利用阿里云服务在搜索.推荐和数据挖掘业务场景下的探索实践.本次视频直播的整理文章.视频整理完毕,如下内容. 阿里云在空格 图一 空格服务端整体架构 在空格初始创业阶段,人员十分缺乏,但依靠着阿里云,空格两周便实现APP上线.空格服务端

现货!《PHP7实践指南:o2o网站与App后台开发》京东天猫有售

终于发售了,啥也不想说了,喜欢的或需要的就点击 链接 进去购买吧. 另外此书将作为 2017 PHP全球开发者大会 现场活动用书 天猫购书包邮 PHP7实践指南:O2O网站与App后台开发 数据库设计 PHP开发工程 适合作为企业内部培训.培训机构和大专院校的教学参考书 京东购书PHP7实践指南:O2O网站与App后台开发 陈小龙 PHP7语言编程教程书籍 php7 PHP全球开发者大会 2017 PHP 全球开发者大会 -百格活动 作者简介陈小龙,奇虎360软件工程师,是国内较早研究微信开发和

APP后台架构20191205

1.架构,架构与业务紧密相关,是有业务驱动的. 2.APP后台演进原则. App后台的架构是由业务规模驱动而演进的,App后台是为业务服务的,App后台的价值在于能为业务提供其所需要的功能,不应过度设计. 从项目的角度,当App访问量不大时,应该快速搭建App后台,让App尽快上线给用户提供服务,验证商业模式的正确性,同时快速迭代产品. 当App访问量不断上升,这时要在保证快速迭代的前提下,同时兼顾高性能和高可用. 当App访问量达到一定阶段后,增长曲线就会放缓,但业务变得更加复杂,对高性能和高

构建高并发高可用的电商平台架构实践

从各个角度总结了电商平台中的架构实践,由于时间仓促,定了个初稿,待补充完善,欢迎大家一起交流. 转载请声明出处:http://blog.csdn.net/yangbutao/article/details/12242441 作者:杨步涛 关注分布式架构.大数据.搜索.开源技术 QQ:306591368 技术Blog:http://blog.csdn.net/yangbutao 一. 设计理念 1.      空间换时间 1)      多级缓存,静态化 客户端页面缓存(http header中包