Mac spark 单机部署

因为应用需要开始学习数据处理技术,网上多使用spark，随大流也选用spark （spark性能是hadoop的100倍，我也是道听途说，没有亲测。）

1.ssh免密登录配置

Mac 自带ssh 不需安装，只需要生成秘要并放入秘要文件中即可

生成秘要文件： ssh-keygen -t rsa第一个输入提示是 生成文件名可以直接回车使用默认的文件名，如果默认文件名已经有文件存在会有提示是否覆盖，根据提示输入yes即可覆盖原有文件。紧接着提示输入密码和确认密码。生成的文件默认在~/.ssh/目录中，然后将id_rsa.pub文件写入authorized_keys中 ：cat id_rsa.pub >> authorized_keyauthorized_keys 是ssh登录是认证文件，如果存在key可以认为是信任用户直接登录。文件夹下hosts（可能不存在）是一个缓存文件，记录登录的用户ip或用户名，如果用户key有变动可以删除此文件。Mac中不允许root用户使用ssh登录（安全策略）默认最大连接数是10 ，默认不开启秘要登录。开启秘要登录：PubkeyAuthentication yes 最大连接数：MaxStartups 10启动sshd服务：　sudo launchctl load -w /System/Library/LaunchDaemons/ssh.plist停止sshd服务：sudo launchctl unload -w /System/Library/LaunchDaemons/ssh.plist查看是否启动：sudo launchctl list | grep ssh

可能会出现文件权限问题，或者是ip 黑名单 ，端口被占用或其他问题可以使用 shh -v localhost 查看日志分析。

2.配置JAVA_HOME 环境变量mac中使用 /usr/libexec/java_home -V 查看jdk安装路径 在~/.bash_profile 中添加JAVA_HOME环境变量并重新加载 source ~/.bash_profile

3.下载对应版本的hadoop （本人使用的是2.8.3版本其他版本可另行寻找资料）本人是使用hadoop程序编译安装的，可以避免出现下载版本native加载失败的问题hadoop release文件下载路径 http://hadoop.apache.org/releases.html

安装mevan 并设置环境变量 可自行产考其他教程，安装protobuf2.5.0安装cmake ：brew install cmak安装openssl跟snappy ：brew install openssl ，brew install snappy上述安装成功后进入hadoop-2.8.3-src文件夹

1:终端执行

cmake  /Users/shihaolin/opt/software/hadoop-2.7.4-src/hadoop-tools/hadoop-pipes/src/ -DJVM_ARCH_DATA_MODEL=64

执行成功后

2：打开配置Java环境变量的地方

3：添加下面两行（具体根据自己电脑上的openssl安装版本还有文件地址配置）

export OPENSSL_ROOT_DIR=/usr/local/Cellar/openssl/1.0.2l

export OPENSSL_INCLUDE_DIR=/usr/local/Cellar/openssl/1.0.2l/include

4：记住修改环境变量后一定要执行立即生效命令，然后再执行

cmake  /Users/shihaolin/opt/software/hadoop-2.7.4-src/hadoop-tools/hadoop-pipes/src/ -DJVM_ARCH_DATA_MODEL=6

然后执行mvn clean package -Pdist,native -DskipTests -Dtar编译成功后可以将编译后文件放到需要的位置，编译后文件在 dict项目target文件夹中。编译参考：https://blog.csdn.net/syso_alt_hao/article/details/77655862之后开始配置hadoop参考https://www.cnblogs.com/bigdataZJ/p/hellospark.html

编译中可能会出现权限问题，建议使用普通用权限安装。

原文地址：https://www.cnblogs.com/wenyth/p/9057559.html