大数据学习,大数据发展趋势和Spark介绍

大数据是随着计算机技术、通信技术、互联网技术的发展而产生的一种现象。
以前我们没有实现人和人之间的连接,产生的数据没有现在这么多;或者说没有把产生的数据记录下来;即使记录下来,我们也没有很好的工具对这些数据进行处理、分析和挖掘。而随着大数据技术的发展,我们开始逐渐地拥有这种能力,来发掘数据中的价值。
大数据技术在2012年之前是以MapReduce为代表的批处理技术;2013年之后,则是以Spark为代表的大数据处理引擎;展望未来,大家越来越关注人工智能和大数据的结合,希望通过人工智能技术从大数据中挖掘更多的价值。近年来人工智能的爆发,也正是得益于大数据技术在存储、算力和算法上的飞速发展,所以人工智能和大数据是密不可分的,离开大数据,人工智能也是无源之水,无木之本。我们可以打个比方,如果把人工智能比喻成火箭,那么大数据技术就是推动这艘火箭的燃料。
以上我们从宏观的角度来看大数据技术的发展趋势,下面让我们以一个技术人员的角度,来看看当前大多数企业中所使用的大数据平台的系统架构。
首先企业会从各个渠道收集数据,这些数据通过消息订阅系统,一部分会经过一些流失的计算和处理,支持在线和实时的分析;另一部分数据则进入到相对静态的数据湖中,中间会涉及到数据的清洗、过滤、再加工等操作,另外还可以对数据进行结构调整来优化业务,如合并大量小文件等等。数据湖中这些数据可以用来支持商业分析报表、数据挖掘、人工智能等应用。事实上Spark是当前使用最普遍的大数据计算引擎。在各个大企业的业务系统中,都把Spark作为数据处理和分析的核心组件。简单来说,原始的数据通常需要利用Spark来进行一系列的处理,才能最终应用于人工智能等应用,可以说Spark已经成为大数据处理领域的一个实施标准。所以在当前大数据+AI的时代,正是因为有了像Spark这样的大数据技术,才使得企业能够更快、更好地搭建业务系统,服务于所需的应用,从而充分的结合大数据和AI的能力,进一步发掘数据中的价值。
接下来让我们一起了解一下Spark。作为大数据技术中的明星,Spark它是一种通用的高性能的集群计算系统。它起源于UC Berkeley AMP Lab一个研究项目,于2010年开源,2013年加入Apache基金会,如今Spark个在全球已经拥有50万的Meetup成员,Spark的开源社区有1300+开发者,Spark也被广泛的使用于企业和高校中。
那么究竟是什么让Spark能得到大家的青睐呢?第一点原因就是它的高性能,比传统MapReduce要快一百倍以上,让Spark这个项目在一开始就非常的引人注目。其次,是它的通用性,Spark让你可以在一个Pipline里面编写SQL、Streaming、ML、Graph等多种应用,而在Spark号之前是没有一个系统能够做到这一点的。第三点,Spark支持Java、Scala、Python、R、SQL等多种API,而且设计得非常简洁易用。不光如此,Spark还在其周围构建丰富的生态,他能够处理多种数据源,如HBase、Kafka、MySQL等等,以及多种数据格式,如Parquet、ORC、CSV、JSON等等。此外还支持多种模式的部署,Yarn、Mesos、Kubernetes(也简称为K8S),另外Spark也提供独立的Standalone部署模式。
通过上面的内容我们大概了解了大数据发展趋势和Spark的特点,是否意犹未尽呢,想要了解更多大数据、Spark的信息,请登录华为云学院(https://edu.huaweicloud.com/
学习相关课程《华为云数据湖探索服务》、《大数据入门与应用》。。。还有更多精彩课程等你来学习!

原文地址:http://blog.51cto.com/13988201/2301061

时间: 2024-11-10 03:59:05

大数据学习,大数据发展趋势和Spark介绍的相关文章

大数据学习:Scala面向对象和Spark一些代码读和问

画外音: Spark对面向对象的支持是非常完美的 主题: 1.简单的类: 2.重写getter.setter方法: 3.利用其它方法来控制外部对值的控制: 4. private[this]: 5.构造器以及构造器相关: 直接代码见真章: ==========最简单的类============ scala> class HiScala{ | private var name = "Spark" | def sayName(){println(name)} | def getName

浅析大数据 学习大数据后能做什么

大数据时代的到来使得大数据开发人才迎来了前所未有的机遇和挑战!一个绝佳的入行机会摆在了众人面前!于是,很多人都在打听,大数据到底有何应用?可以用来做什么?好程序员今天就为大家作出总结.一起揭开大数据的神秘面纱! 应用一:电商领域 通过对消费者订单信息的分类,大数据可根据消费者的县令,购买倾向,购买习惯,所在地域进行整合,推荐商品,并集中展示在消费者的个性化页面.并且,通过对以往数据的对比,来决定固定区域的商品库存量和物流资源. 应用二:交通旅游 通过WIFI+ibeacon或基站定位技术,收集到

大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解

引言 在之前的大数据学习系列中,搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试.其实要说的话,我开始学习大数据的时候,搭建的就是集群,并不是单机模式和伪分布式.至于为什么先写单机的搭建,是因为作为个人学习的话,单机已足以,好吧,说实话是自己的电脑不行,使用虚拟机实在太卡了... 整个的集群搭建是在公司的测试服务搭建的,在搭建的时候遇到各种各样的坑,当然也收获颇多.在成功搭建大数据集群之后,零零散散的做了写笔记,然后重新将这些笔记整理了下来.于是就有了本篇博文. 其实我在搭

大数据学习系列之六 ----- Hadoop+Spark环境搭建

引言 在上一篇中 大数据学习系列之五 ----- Hive整合HBase图文详解 : http://www.panchengming.com/2017/12/18/pancm62/ 中使用Hive整合HBase,并且测试成功了.在之前的大数据学习系列之一 ----- Hadoop环境搭建(单机) : http://www.panchengming.com/2017/11/26/pancm55/ 中成功的搭建了Hadoop的环境,本文主要讲的是Hadoop+Spark 的环境.虽然搭建的是单机版,

大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集

引言 在之前的大数据学习系列中,搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试.其实要说的话,我开始学习大数据的时候,搭建的就是集群,并不是单机模式和伪分布式.至于为什么先写单机的搭建,是因为作为个人学习的话,单机已足以,好吧,说实话是自己的电脑不行,使用虚拟机实在太卡了... 整个的集群搭建是在公司的测试服务搭建的,在搭建的时候遇到各种各样的坑,当然也收获颇多.在成功搭建大数据集群之后,零零散散的做了写笔记,然后重新将这些笔记整理了下来.于是就有了本篇博文. 其实我在搭

大数据学习:Spark是什么,如何用Spark进行数据分析

给大家分享一下Spark是什么?如何用Spark进行数据分析,对大数据感兴趣的小伙伴就随着小编一起来了解一下吧. 大数据在线学习 什么是Apache Spark? Apache Spark是一个为速度和通用目标设计的集群计算平台. 从速度的角度看,Spark从流行的MapReduce模型继承而来,可以更有效地支持多种类型的计算,如交互式查询和流处理.速度在大数据集的处理中非常重要,它可以决定用户可以交互式地处理数据,还是等几分钟甚至几小时.Spark为速度提供的一个重要特性是其可以在内存中运行计

2018年大数据的发展趋势,学习大数据有什么重要优势?

2018年已经过去一半多,大数据分析如今已不能再称之为新技术,大多数移动应用程序开发人员已经明白,他们需要挖掘他们的数据来积极获取日常的见解.许多大型应用程序开发企业已经意识到,要在市场上不断地发展和更新,必须采用大数据技术,科多大数据同样觉得如此,如今越来越离不开数据,大数据技术将提供最好的数据分析解决方案,而大数据人工智能也逐渐成为了各大企业重点研究方向之一,毕竟人工智能是未来科技发展的必然趋势.亚马逊,微软,甲骨文等大型跨国公司已经采用了大数据解决方案来拓展业务,希望为消费者提供最好的服务

零基础学习大数据怎样入门Spark

1.什么是Spark Apache Spark是一个围绕速度.易用性和复杂分析构建的大数据处理框架.最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一. 与Hadoop和Storm等其他大数据和MapReduce技术相比,Spark有如下优势,一起来看看吧. 首先,Spark为我们提供了一个全面.统一的框架用于管理各种有着不同性质(文本数据.图表数据等)的数据集和数据源(批量数据或实时的流数据)的大数据处理的需求. Spark可以将Hadoop集

大数据技术之_19_Spark学习_05_Spark GraphX 应用解析 + Spark GraphX 概述、解析 + 计算模式 + Pregel API + 图算法参考代码 + PageRank 实例

第1章 Spark GraphX 概述1.1 什么是 Spark GraphX1.2 弹性分布式属性图1.3 运行图计算程序第2章 Spark GraphX 解析2.1 存储模式2.1.1 图存储模式2.1.2 GraphX 存储模式2.2 vertices.edges 以及 triplets2.2.1 vertices2.2.2 edges2.2.3 triplets2.3 图的构建2.3.1 构建图的方法2.3.2 构建图的过程2.4 计算模式2.4.1 BSP 计算模式2.4.2 图操作一