“决胜云计算大数据时代”
Spark亚太研究院100期公益大讲堂 【第2期互动问答分享】
Q1：新手学习spark如何入手才好？
- 先学习Scala的内容，强烈推荐《快学Scala》；
- 然后按照我们免费发布的“云计算分布式大数据Spark实战高手之路（共3本书）”循序渐进的学习即可，其中“云计算分布式大数据Spark实战高手之路---从零开始”涵盖了Spark1.0的所有主题：包括Spark集群的构建，Spark架构设计、Spark内核剖析、Shark、Spark SQL、Spark Streaming、图计算GraphX、机器学习、Spark on Yarn、JobServer等，为了方便大家学习Spark，网络发布版本采用图文并茂的方式发布， 这样大家在阅读的时候就像家林在身边做演示和讲解一样，不亦乐哉！以Spark集群的搭建为例， 对于90%以上想学习Spark的人而言，如何构建Spark集群是其最大的难点之一，为了解决大家构建Spark集群的一切困难，家林在“云计算分布式大数据Spark实战高手之路---从零开始”的第一章节中把Spark集群的构建分为了四个步骤，每个步骤为一个小节，从零起步，不需要任何前置知识，涵盖操作的每一个细节，构建完整的Spark集群。
Q2：我想问，hdfs的namenode挂了，怎么处理？
- 使用ZooKeeper；
- 使用Mesos；
- 使用Yarn；
Q3：用python和scala区别大吗？
- 就代码的风格而言是不大的；
- 世界上也有很多人使用python开发Spark程序；
- 但是最为推荐的是Scala，因为Spark框架是用Scala编写的，在API方面对Scala的支持也是最好的；
Q4：对几百T的数据，现在SPARK支持得如何？
- Spark能够非常好的处理几十T或者几百T的数据；
- 正如Spark能够轻松处理PB级别的数据；
Q5：可以结果直接输出到关系型数据库吗？
- 目前不可以；
- 一般都是把结果直接输出到HDFS上；
- 让后在采用Sqoop等工具把数据导入到Oracle、MySQL等数 据库中；
Q6：SPARK环境需要哪些？ 除了HDFS基础，有SPARK集成包么？
- Spark的安装需要Hadoop的HDFS；
- Spark有自己的集成包，但是依旧需要HDFS的配合；
- 同时Spark也可以部署到亚马逊云上；
Q7：spark的缺点是什么？不适合做什么？
- 目前主要的缺点是对数据细粒度的支持不够好；
Q8：spark sql可以代替hive和hbase吗？
- Spark SQL可以取代Hive；
- Spark SQL可以完成HBase的大部分功能；
- Spark Streaming配合Spark SQL可以取代HBase；
Q9：没有java基础可否直接看scala语言？
- 可以直接看Scala语言
Q10：能否提供一个安装部署spark虚拟机的视频或者文档？
- 我们免费发布的“云计算分布式大数据Spark实战高手之路（共3本书）”循序渐进的学习即可，其中“云计算分布式大数据Spark实战高手之路---从零开始”涵盖了Spark1.0的所有主题：包括Spark集群的构建，Spark架构设计、Spark内核剖析、Shark、Spark SQL、Spark Streaming、图计算GraphX、机器学习、Spark on Yarn、JobServer等，为了方便大家学习Spark，网络发布版本采用图文并茂的方式发布， 这样大家在阅读的时候就像家林在身边做演示和讲解一样，不亦乐哉！以Spark集群的搭建为例， 对于90%以上想学习Spark的人而言，如何构建Spark集群是其最大的难点之一，为了解决大家构建Spark集群的一切困难，家林在“云计算分布式大数据Spark实战高手之路---从零开始”的第一章节中把Spark集群的构建分为了四个步骤，每个步骤为一个小节，从零起步，不需要任何前置知识，涵盖操作的每一个细节，构建完整的Spark集群。
Q11：目前那些行业在用spark处理大数据？
- Spark技术在国内外的应用开始越来越广泛，它正在逐渐走向成熟，并在这个领域扮演更加重要的角色。国外一些大型互联网公司已经部署了Spark。例如：一直支持Hadoop的四大商业机构（Cloudera、MapR、Hortonworks、EMC）已纷纷宣布支持Spark；Mahout前一阶段也表示，将不再接受任何形式以MapReduce实现的算法，同时还宣布了接受基于Spark新的算法；而Cloudera的机器学习框架Oryx的执行引擎也将由Hadoop的MapReduce替换成Spark；另外，Google也已经开始将负载从MapReduce转移到Pregel和Dremel上；FaceBook也宣布将负载转移到Presto上……
- Yahoo！、淘宝、优酷土豆、网易、百度、腾讯等国内大型知名企业已经在商业生产环境下开始使用Spark技术；Intel、IBM、Linkin、Twwitter等国外大型知名企业也都在大力支持Spark。随着这些国内外大企业的使用，Spark技术的发展必然势不可挡，行业普及很快就会到来
时间： 2024-10-27 10:32:47