Idea1.5使用Maven搭建Apache Spark1.6源码阅读环境

1.本次Hadoop源码阅读环境使用的阅读工具是idea,Hadoop版本是2.7.3.需要安装的工具包括idea.jdk.maven.protobuf等 2.jdk,使用的版本是1.8版,在jdk官网下载jdk-8u111-macosx-x64.dmg,点击安装,一路next. 3.idea安装,略 4.maven,使用的版本是3.3.9,下载apache-maven-3.3.9-bin.tar,解压: tar -zxvf  apache-maven-3.3.9-bin.tar 进入 Mave

Hadoop源码阅读环境搭建 一.说明 作为一个学习hadoop的同学,必须在本机上搭建hadoop源码阅读环境,这样,在方便阅读源码的同时也方便进行调试和源码修改.好了,下面开始搭建环境. 1.环境说明:hadoop 版本:1.2.1. IDE:eclipse.操作系统:centos 2.网上有人是通过eclipse的新建项目指定目录的方式将hadoop目录转换成Eclipse工程同时导入eclipse,具体做法如下: File-->new-->Java Project-->勾掉Use

1 前言 这是SpringBoot2.1源码分析专题的第一篇文章,主要讲如何来搭建我们的源码阅读调试环境.如果有经验的小伙伴们可以略过此篇文章. 2 环境安装要求 IntelliJ IDEA JDK1.8 Maven3.5以上 3 从github上将SpringBoot源码项目下载下来 首先提供SpringBoot2.1.0的github地址: https://github.com/spring-projects/spring-boot/tree/v2.1.0.RELEASE 因为要进行阅读源码

目录 安装gradle 导入Spring源码 创建测试模块my-test 本文思维导图 本文将粗略的搭建一个Spring源码的阅读环境,为后面的源码阅读做一个准备.做任何事情不管是有一个完美的或者是不太完美的开头,只要去做了,那么就是一种胜利. 由于spring使用了gradle构建工具,接下来先安装gradle. 安装gradle 从Gradle官网下载gradle安装包,打开https://gradle.org/releases/ 将下载的安装包gradle-x.x.x-all.zip解压到

工具准备:jdk1.8,scala-2.11.11,gradle-3.1,zookeeper-3.4.5,kafka-0.10.0.1-src.tgz, kafka_2.11-0.10.0.1.tgz 安装jdk 安装scala 搭建zookeeper kafka源码构建 解压kafka-0.10.0.1-src.tgz,命令行进行kafka-0.10.0.1-src,执行gradle idea 注: 1)gradle idea,用国外的库构建的下载速度很慢,在进入项目里面,找到build.gr

准备工作: jdk-7u51-windows-i586.exescala-2.10.3.msisbt-0.13.2.msispark-1.0.0.tgz scala-SDK-3.0.3-2.10-win32.win32.x86.zip 1.1. 安装JDK 安装jdk-7u51-windows-i586.exe,按默认设置即可.假设安装至目录d:\jdk1.7: 安装结束后,将d:\jdk1.7\bin添加至环境变量PATH中: 1.2. 安装Scala 安装scala-2.10.3.msi,按

1.安装JDK1.7.Maven3.2.5.Scala2.10.4 2.下载解压Spark1.4.0 下载地址: http://mirrors.cnnic.cn/apache/spark/spark-1.4.0/spark-1.4.0.tgz 3.下载安装 IntelliJ IDEA 14.1.4,给IDEA安装 Scala 插件,然后导入Spark项目 4.在IDEA中编译Spark 若编译时遇到如下图所示的错误: 在Maven视窗点击"Generate Sources and Update

本文来源于<Hadoop技术内幕深入解析Hadoop common和HDFS架构设计与实现原理> 一.Hadoop基本概念 Hadoop是Apache基金会下的一个开源分布式计算平台,以Hadoop分布式文件系统(HDFS)和MapReduce分布式计算框架为核心,为用户提供了底层细节透明的分布式基础设施. HDFS的高容错性.高伸缩性等优点,允许用户将Hadoop部署在廉价的硬件上,构建分布式系统. MapReduce分布式计算计算框架则允许用户在不了解分布式系统底层细节的情况下开发并行.分

内容来源 B站Up主: CodeSheep 视频: https://www.bilibili.com/video/BV1V7411U78L 感谢大佬分享学习心得 Thanks?(?ω?)?~~~ 1. 新建项目 新建JavaSourceLearn项目 新建source包存放源码 新建test包存放测试案例 2. 获取JDK源码 打开Project Structure 选择JDK版本查看安装目录 将src.zip解压到项目source包中 提示: 添加源码到项目之后首次运行需要较长时间进行编译,建