spark集群详细搭建过程及遇到的问题解决(二)

(二)配置ssh无密码访问集群机器

master节点

[email protected]:/home# su - spark
[email protected]:~$ 
[email protected]:~$ ssh-keygen -t rsa
#一直enter键

[email protected]:~$ cd .ssh/
[email protected]:~/.ssh$ ls
id_rsa  id_rsa.pub
[email protected]:~/.ssh$  cat id_rsa.pub > authorized_keys
[email protected]:~/.ssh$ scp [email protected]:~/.ssh/id_rsa.pub ./master_rsa.pub

[email protected]:~/.ssh$ ls
authorized_keys  id_rsa  id_rsa.pub  known_hosts  master_rsa.pub
[email protected]:~/.ssh$ cat master_rsa.pub >>authorized_keys

worker1节点

与master节点执行过程相同

worker2节点

与master节点执行过程相同

执行完上述操作之后:

master节点:

[email protected]:~/.ssh$ scp [email protected]:~/.ssh/id_rsa.pub ./worker1_rsa.pub

注意是在./ssh目录下

[email protected]:~/.ssh$ cat worker1_rsa.pub >>authorized_keys 
[email protected]:~/.ssh$ scp [email protected]:~/.ssh/id_rsa.pub ./worker2_rsa.pub

[email protected]:~/.ssh$ cat worker2_rsa.pub >>authorized_keys

worker1节点

[email protected]:~/.ssh$ scp [email protected]:~/.ssh/id_rsa.pub ./worker2_rsa.pub
cat worker2_rsa.pub >>authorized_keys

worker2节点

[email protected]:~/.ssh$ scp [email protected]:~/.ssh/id_rsa.pub ./worker1_rsa.pub
cat worker1_rsa.pub >>authorized_keys

验证是否配置成功

从master节点分别登陆自身、worker1节点与worker2节点(可能第一次需要密码、退出后,第二次重新ssh则不需要密码)

[email protected]:~/.ssh$ ssh master

[email protected]:~/.ssh$ ssh worker1

[email protected]:~/.ssh$ ssh worker2

从worker1节点登陆自身、master节点与worker2节点(可能第一次需要密码、退出后,第二次重新ssh则不需要密码)

[email protected]:~/.ssh$ ssh master

[email protected]:~/.ssh$ ssh worker1

[email protected]:~/.ssh$ ssh worker2

从worker2节点登陆自身、master节点与worker1节点(可能第一次需要密码、退出后,第二次重新ssh则不需要密码)

[email protected]:~/.ssh$ ssh master

[email protected]:~/.ssh$ ssh worker1

[email protected]:~/.ssh$ ssh worker2

注意,登陆到其他节点后,一定要记得退出

下文中,将开始安装hadoop。。。

时间: 2024-10-06 00:11:14

spark集群详细搭建过程及遇到的问题解决(二)的相关文章

spark集群详细搭建过程及遇到的问题解决(三)

上篇文章中讲完了如何配置免密码登录的问题,现在讲述下,三个节点的环境配置过程. 所需要的hadoop-2.7.3.tar.gz . jdk-7u79-linux-x64.tar.gz . scala-2.11.6.tgz . spark-2.0.1-bin-hadoop2.7.tgz 可以点击这里获取,资源存放在百度云盘. 首先需要在三个节点中分别创建spark目录 master节点.worker1节点.worker2节点同时执行:下面以master节点为例,部分操作worker1与worker

spark集群详细搭建过程及遇到的问题解决(一)

注:其中也参考了网上的许多教程,但很多网上的教程在配置过程中,会出很多错误,在解决的过程中,做出了总结. 此文是针对小白.如有不对,请大神们指教.... 配置环境系统:Ubuntu16.04 配置版本分别为:hadooop 2.7.3.java "1.7.0_79".Scala2.11.6.spark-2.0.1-bin-hadoop2.7 本实验主要配置三个节点的小集群: 配置节点分为一个master.两个worker 接下来开始一步一步进行配置 (一)基础配置 master节点 #

Spark集群框架搭建【VM15+CentOS7+Hadoop+Scala+Spark+Zookeeper+HBase+Hive】

目录 1 目的 2 准备工作 3 安装过程 3.1 在虚拟机中安装CentOS7 3.1.1 虚拟机设置 3.1.2 安装Linux系统 3.2 JAVA环境 3.2.1 卸载Linux自带的jdk 3.2.2 下载并安装最新版本的jdk 3.2.3 环境变量设置 3.3 SSH免密登陆 3.3.1 准备工作 3.3.2 设置免密登陆 3.4 Hadoop2.7.2安装及集群配置 3.4.1 Hadoop安装 3.4.2 伪分布式集群配置 3.4.3 启动hadoop 3.5 Spark安装及环

Hadoop+Spark:集群环境搭建

环境准备: 在虚拟机下,大家三台Linux ubuntu 14.04 server x64 系统(下载地址:http://releases.ubuntu.com/14.04.2/ubuntu-14.04.2-server-amd64.iso): 192.168.1.200 master 192.168.1.201 node1 192.168.1.202 node2 在Master上安装Spark环境: 具体请参考我的文章:<Hadoop:搭建hadoop集群> Spark集群环境搭建: 搭建h

Redis中sentinel集群的搭建和Jedis测试 图文教程[二]

在Redis中sentinel集群的搭建和Jedis测试 图文教程[一] 中已经写了Redis中sentinel集群的搭建和测试,这一章主要写Redis中sentinel的Jedis测试. 一般sentinel架构图为至少4台机子测试 我这里测试的时候只用两台机子,一台跑Redis-Sentinel和所有的Redis master-slave,一台跑java测试程序. xserver.ini为项目工程的配置文件 [Redis] REDIS_NUMBERS=3 REDIS_SERVER_1=tcp

spark集群搭建

Spark集群环境搭建 2015年09月27日中秋节,祝中秋快乐团圆 1安装jdk 略 2安装scala 在http://www.scala-lang.org scala官网下载安装包,这里以scala-2.11.7为例: 1)下载scala-2.11.7.tgz 2)在目录下解压缩: tar -xzvf scala-2.11.7.tgz 3)配置环境变量,在/etc/profile中添加以下的内容: export SCALA_HOME=实际安装路径 export PATH=${SCALA_HO

大数据:spark集群搭建

创建spark用户组,组ID1000 groupadd -g 1000 spark 在spark用户组下创建用户ID 2000的spark用户 获取视频中文档资料及完整视频的伙伴请加QQ群:947967114useradd -u 2000 -g spark spark 设置密码 passwd spark 修改sudo权限 chmod u+w /etc/sudoers vi /etc/sudoers 找到 root ALL=(ALL) ALL 添加 spark ALL=(ALL) ALL 创建一个

Spark 个人实战系列(1)--Spark 集群安装

前言: CDH4不带yarn和spark, 因此需要自己搭建spark集群. 这边简单描述spark集群的安装过程, 并讲述spark的standalone模式, 以及对相关的脚本进行简单的分析. spark官网: http://spark.apache.org/downloads.html *)安装和部署 环境: 172.16.1.109~172.16.1.111三台机器(对应域名为tw-node109~tw-node111), centos6.4, 已部署cdh4 目标是: 搭建一个spar

Redis中sentinel集群的搭建和Jedis测试 图文教程[三]

在前两篇Redis中sentinel集群的搭建和Jedis测试 图文教程[一] 和Redis中sentinel集群的搭建和Jedis测试 图文教程[二] 中分别简述了Redis中sentinel集群的搭建和Java代码的Jedis测试. 这篇主要来简单分析一下Redis-sentinel集群的原理,根据追踪sentinel信息来完成Redis-sentinel集群测试中的详细的原理分析.包括master-slave各个中的sentinel信息的分析,failover过程,master宕机后的le