Spark运行调试方法与学习资源汇总

最近,在学习和使用Spark的过程中,遇到了一些莫名其妙的错误和问题,在逐个解决的过程中,体会到有必要对解决上述问题的方法进行总结,以便能够在短时间内尽快发现问题来源并解决问题,现与各位看官探讨学习如下:

解决spark运行调试问题的四把“尖刀”:

1、Log

包括控制台日志、主从节点日志、HDFS日志等。许多错误可以通过日志,直接对错误类型、错误来源进行准确定位,因此,学会读取和分析Log是解决问题的第一步。

2、Google

确定错误类型和原因后,就可以使用Google在Spark User List、Google Group等各类Spark学习社区和论坛进行求助,而大部分问题都是可以找到答案的。

3、官网配置文档

大部分问题都是配置问题引起的,如何准确配置,需要结合官方说明文档进行配置,而其中的Tuning Spark内容,也是每个Spark实践者必须了解和掌握的,推荐精读:

Tuning Spark(内存调优): http://spark.apache.org/docs/1.0.0/tuning.html

Spark Configuration(基本配置): http://spark.apache.org/docs/1.0.0/configuration.html

4、官网Example

各个子项目都有对应的Example和源码,可以从源码的src子文件夹里找到,而在每个子项目的官网说明上也有相应的代码示例,也可以作为参考。

这4个方法是解决问题的第一位要素,特别地,要会通过Log反推错误来源,定位故障原因,然后第一时间想到谷歌,把错误关键词粘贴查找寻求解答。而大部分人的问题其实主要都是配置问题,1和2其实就能解决了。3和4主要用来模仿学习,照猫画虎,学以致用,不成功便成仁。

交流和互动也很重要,把握国内Spark研究的前沿,就要善于利用和挖掘各类互联网资源,这里,推荐一些博客、微博、QQ学群供大家参考学习:

知名博主:

徽沪一郎:http://www.cnblogs.com/hseagle/category/569175.html

fxjwind:http://www.cnblogs.com/fxjwind/category/518904.html

张包峰:http://blog.csdn.net/zbf8441372/article/category/1556747

高彦杰:http://blog.csdn.net/gaoyanjie55

saisai_shao:http://jerryshao.me/

微博大牛:

hashjoin,Databricks大数据公司创始人之一,UC Berkeley AMPLab:http://weibo.com/hashjoin

Andrew-Xia:http://weibo.com/u/1410938285

CrazyJvm:http://weibo.com/476691290

明风Andy,淘宝技术部,数据挖掘与计算团队负责人:http://weibo.com/mingfengandy

saisai_shao: http://weibo.com/u/2122584747

连城:http://weibo.com/lianchengzju

张包峰:http://weibo.com/pelickzhang

王联辉:http://weibo.com/u/1685831233

徽沪一郎:http://weibo.com/eagleonline

QQ群

Spark零基础学习@367106111

最后,欢迎各位看官能够提供更优质丰富的学习资源,以便大家共同分享提高!

Spark运行调试方法与学习资源汇总,布布扣,bubuko.com

时间: 2024-10-02 16:31:04

Spark运行调试方法与学习资源汇总的相关文章

【Powershell 教程】学习资源汇总

[Powershell 教程]学习资源汇总 一.书籍教程 1.<Windows PowerShell实战指南>第3版 作者:[美] Don,Jones(道·琼斯),Jeffery,Hicks(杰弗瑞·希克斯) 译者:宋沄剑 译 资源:微信读书.iReader.网上有第 2 版的电子版 实体:淘宝.京东.当当均有售,价格在 50 元左右 2.<Windows PowerShell应用手册> 作者:(美)霍麦斯 著 译者:赵松德 等译 资源:网上有电子版 实体:绝版,仅淘宝有售,价格

多端统一开发框架 Taro 优秀学习资源汇总 Awesome

多端统一开发框架 Taro 优秀学习资源汇总  https://github.com/NervJS/awesome-taro https://github.com/NervJS/taro/blob/master/CHANGELOG.md 原文地址:https://www.cnblogs.com/pikachuworld/p/12218979.html

78.iOS最全学习资源汇总

目录: 第一部分: iOS 学习资源整理(包括视频/教程/博客/书记/插件/社区/网站) 第一部分: iOS 各大牛博客列表 第一部分: iOS github 上托管的各类第三方 ---------------------------------------------------------------------------------------------------------------------------------- iOS 学习最全资料 这份学习资料是为 iOS 初学者所准

常用学习资源汇总

Deep Learning(深度学习): ufldl的2个教程(这个没得说,入门绝对的好教程,Ng的,逻辑清晰有练习):一 ufldl的2个教程(这个没得说,入门绝对的好教程,Ng的,逻辑清晰有练习):二 Bengio团队的deep learning教程,用的theano库,主要是rbm系列,搞python的可以参考,很不错. deeplearning.net主页,里面包含的信息量非常多,有software, reading list, research lab, dataset, demo等,

可能是史上最全的Tensorflow学习资源汇总

在之前的Tensorflow系列文章中,我们教大家学习了Tensorflow的安装.Tensorflow的语法.基本操作.CNN的一些原理和项目实战等.本篇文章将为大家总结Tensorflow纯干货学习资源,非常适合新手学习,建议大家收藏.想要学习更多的Tensorflow知识,欢迎点击上方蓝字,关注我们的微信公众号. 一 .Tensorflow教程资源: 1)适合初学者的Tensorflow教程和代码示例: https://github.com/aymericdamien/TensorFlow

Vim学习资源汇总

本篇文章在作者的个人博客.博客园.CSDN同步发表,如有转载,请标明作者和原始链接.博客园链接:http://www.cnblogs.com/miraclewong/p/3707265.html 最近学习神器Vim了,买了一本<Vim实用技巧>,@池建强 池大推荐的,顺便看到了lizhenghn的<Linux下Vim工具常用命令>的总结,顿时觉得自己作为一个初学者,没有什么记录的,实在是很惭愧. 本篇文章主要汇总了网络上的Vim学习资源,包括文章.博客.书籍.网站等.如下: htt

Linux学习资源汇总(持续更新...)

自己收集一些学习资源,方便以后查找 搜索引擎:    google:https://www.google.com/Linux教程:    鸟哥的私房菜:http://linux.vbird.org    经典的LInux学习教材    运维生存时间:http://www.ttlsa.com/    LinuxSir:http://www.linuxsir.org/    菜鸟教程:http://www.runoob.com/        各种基础的教程    w3cschool:https:/

痞子衡嵌入式:史上最强i.MX RT学习资源汇总(持续更新中...)

大家好,我是痞子衡,是正经搞技术的痞子.今天痞子衡给大家介绍的是i.MX RT学习资源. 类别 资源 简介 官方汇总 i.MXRT产品主页 恩智浦官方i.MXRT产品主页,最权威的资料都在这里,参考手册/数据手册,官方EVK板设计文件,各种应用笔记,各种参考设计方案.培训视频.软件SDK开发包,官方IDE/CFG工具,第三方软件支持等应有尽有,如果这上面文档你都能全部仔细看一遍,软件都能下载用起来,不用怀疑,你就是资深专家了. 其中痞子衡特别推荐你把所有应用笔记都看一遍,这些笔记凝结了所有恩智浦

Python网络学习资源汇总

Python学习视频 ● Python正则表达式 ● Django架构和使用 ● Django快速Web应用开发入门视频教程 ● Python类Nagios监控软件开发实战 ● Python项目实训视频教程:网络爬虫 ● 苏勇老师Python 语言基础视频教程-Web开发 ● Python自动化运维入门篇 ● Python开发者的必备工具 ● 利用Python SOCKET多线程开发FTP软件 ● Python高级运维编程实战精品入门进阶 ● Python零基础入门学习视频教程 ● 如何用PYT