Linux下hadoop和spark的基础环境配置准备

我使用了4台虚拟机centos7来搭建环境,

  • 2个主结点(一般是一个,但为了体验zookeeper,万一其中一个master挂掉呢,另外一个会自动启动接管),
  • 2个从结点
  • 注意:下面的配置主要以主节点为例进行说明

第一步:同步四台机器的时钟

  sudo yum install ntpdate,确保已安装ntpdate,分别运行sudo ntpdate cn.pool.ntp.org

第二步:设置主机名

修改/etc/sysconfig/network文件,

NETWORKING = yes
HOSTNAME = master(主节点)

其实在centos7下面貌似已经失效,我是直接使用如下命令:

hostnamectl set-hostname master

记得reboot再进入第三步

第三步:关闭防火墙

  sudo systemctl stop firewalld

第四步:配置ip地址和主机名的对应关系

修改 /etc/hosts文件,把四个ip地址和主机名添加进去,如:

192.168.0.129 master

192.168.0.130 master02

192.168.0.131 slave01

192.168.0.132 slave02

保存退出,可以先暂时只配主节点的,等完成ssh免密登录后再拷贝到其他机器

第五步:配置ssh免密登录

主要是配置两个主节点可以免密登录到从节点,尽量不要从节点免密访问主节点,在主节点上运行如下命令:

ssh-keygen -t rsa

然后一路回车四次即可,然后就把公钥复制到其他节点

ssh-copy-id slave01,不要忘记给自己复制一份

第六步:安装jdk

  • 思路是在主节点安装好,然后直接复制到其他机器

创建一个文件夹mkdir /usr/java,将下载好的jdk包解压到该文件夹

pwd获取jdk文件路径,将其复制加入到环境变量,注意是普通不是root用户,

修改完之后,记得source .bash_profile才能生效。

如果运行java -version能够出现jdk版本信息,那么安装成功了。

-----

在一台上安装好了,把安装好的jdk文件夹,复制到其他机器上,

复制命令为:scp -r /usr/java [email protected]:/usr

同样需要设置环境变量(不用root)

-------------------------------------

到这里,就完成了基本的环境准备。

原文地址:https://www.cnblogs.com/wowon/p/12608982.html

时间: 2024-08-30 12:13:14

Linux下hadoop和spark的基础环境配置准备的相关文章

Linux下Hadoop 2.2.0 集群配置攻略

Hadoop 2.2.0 集群配置攻略 用户输入标识: chmod +x jdk-7u45-linux-x64.rpm  为黑色带底纹 系统输出标识: java version "1.7.0_51" 为绿色小字 2014年3月20-日 by lilihao Q 404536204 1. 安装sun jdk (1). 到Oracle的官方网站下载jdk,目前最新版本是7u51 安装包: http://www.oracle.com/technetwork/java/javase/downl

Linux下Eclipse+JDK+Tomcat安装及环境配置

1 解压JDK到/usr/lib sudo tar zxvf ./jdk-8u45-linux-x64.tar.gz -C /usr/lib 2 解压Tomcat到/opt sudo tar zxvf ./apache-tomcat-8.0.22.tar.gz -C /opt 3 配置环境(修改/etc/profile): 在最后面添加: export JAVA_HOME=/usr/lib/jdk1.8.0_45/ export TOMCAT_HOME=/opt/apache-tomcat-8.

Linux下安装搭建Memcached集群环境

Linux下安装搭建Memcached集群环境

Linux下C/C++程序调试基础(GCC,G++,GDB,CGDB,DDD)

在写程序的时候,经常会遇到一些问题,比如某些变量计算结果不是我们预期的那样,这时我们需要对程序进行调试.本文主要介绍调试C/C++在Linux操作系统下主要的调试工具. 在Linux下写程序,C/C++主要的编译器有GCC/G++,ICC等,像我等穷码农,最喜欢GCC了,很大原因是他免费!所以,我们以GCC/G++为例介绍主要的调试工具. 分以下几个内容介绍: 1.调试之前的工作 2.选择调试工具 3.调试步骤 点我,请帮我投一票! 调试之前的工作 编译器在编译阶段需要产生可供调试的代码,才能被

LINUX下的几个常见的环境变量

环境变量是指操作系统用来指定操作系统运行环境的一些操作,linux下的常见的几个环境变量如下: PATH              指定命令的搜索路径 HOME              当前用户的主目录 HISTSIZE          历史命令的记录条数 LOGNAME           当前用户的登录名 HOSTNAME          主机名称 SHELL             当前用户的shell类型 LANG/LANGUGE      语言相关的环境变量 查看方式可通过ech

Linux下Jdk的安装和jdk环境变量的设置

我们在Linux下安装系统软件的时候,经常遇到一些系统环境变量配置的问题.什么是环境变量?如何定制环境变量?我将在下面做一些介绍. 一.什么是环境变量?Linux是一个多用户的操作系统.多用户意味着每个用户登录系统后,都有自己专用的运行环境.而这个环境是由一组变量所定义,这组变量被称为环境变量.用户可以对自己的环境变量进行修改以达到对环境的要求. 二.定制环境变量 环境变量是和Shell紧密相关的,它是通过Shell命令来设置的.环境变量又可以被所有当前用户所运行的程序所使用.对于bash来说,

Linux下Jenkins+git+gradle 持续集成环境搭建

一.项目介绍 和 linux 环境搭建 本教程讲解 Linux下Jenkins+git+gradle 持续集成环境搭建,后续会加入 gerrit代码审核 和 robotium自动化测试 1.基本流程如下: androidstudio--  gerrit  --- git(github)   ----jenkins ---gradle ----  robotium  结果 使用AndroidStudio 开发,提交到gerrit进行代码审核,审核后提交给git(可以自己搭建git服务也可以使用gi

Linux下PHP+MySQL+CoreSeek中文检索引擎配置

说明: 操作系统:CentOS 5.X 服务器IP地址:192.168.21.127 Web环境:Nginx+PHP+MySQL 站点根目录:/usr/local/nginx/html 目的:安装coreseek中文检索引擎,配置MySQL数据库访问接口,使用PHP程序实现中文检索. CoreSeek官方网站: http://www.coreseek.cn/ http://www.coreseek.cn/products/=%22/products-install/step_by_step/ h

Oracle VM + centos7.1+openstack kilo 多结点安装教程---基础环境配置(2)

声明:最近在进行openstack的kilo版本的安装,发现现有的网络教程非常少,而且多数教程并不能安装成功,故写此教程.openstack的安装较为复杂,本教程并不能保证在不同环境下也能将其安装成功.个人安装教程,也难免出错.同时,安装是在虚拟机环境下,真实安装环境需要进行更改. 转载请声明出处: 作者:张某人ER 原文链接:http://blog.csdn.net/xinxing__8185/article/details/51042654 第一部分 基础环境配置 (2) 下面设置contr