在CentOS上安装Hadoop集群(一)-- Centos系统配置

在CentOS上安装Hadoop集群(一)

1、  Centos的系统配置

1.1打开终端方式:

方式1:在桌面单击右键,>>Open in terminal

方式2:Applications菜单上选择System tools -> Terminal

打开了

1.2配置网络环境

查看ip地址命令:ifconfig

网络安装命令:setup

重启网络服务命令:service network restart

网络连接命令:ifup eth0

如图所示,电脑有个红叉表示网络未连接

ifconfig 如图可以也看到没有ip地址,表示网络未连接,下面我们用命令方式连接网络

输入setup按回车键

输入root用户密码,我们就能看到如下界面

通过键盘上右下角的上下左右键选择网络配置Network configuration,然后按键盘上的tab键选择功能 ,知道选中Run Tool按下回车键,出现如下界面

按tab选中Save&Quit 回车

按tab键选中Quit 回车,就会回到终端界面

然后是重启网络

切换到root用户,

输入命令重启网络:service network restart

网络连接:ifup eth0

正在连接

连接成功

1.3配置系统时钟同步

(1)配置自动时钟同步

  查看当前时间命令:date

  输入命令:crontab –e

执行后加入一行:(和vi命令一样,按i进入编辑模式,Esc返回命令模式,:w保存修改,:q退出)

插入以下内容:

0-59/10 * * * *  /usr/sbin/ntpdate us.pool.ntp.org | longger –t NTP

内容意思是:加入定时计划,每隔10分钟同步一下时钟,保存和退出后,还需要重启定时任务器才行

重启定时服务器:service crond restart

(2)手动同步时钟

输入命令:ntpdate  us.pool.ntp.org

主节点的时间同步就配置好了,从节点Slave采用同样的方式配置

1.4配置主机名称

(1)配置HadoopMaster节点

输入:vim  /etc/syscofig/network

修改为:HOSTNAME=master

使其生效:     hostname master

验证是否修改成功:hostname 出现master

或者打开另一个终端输入:hostname 出现 master

(2)配置HadoopSlave节点,和主节点一样

vim /etc/sysconfig/network

修改为:

HOSTNAME=slave01

使其生效:

hostname slave01

验证:

打开另一个终端:

hostname

出现:slave01 表示成功

1.5关闭防火墙

输入命令:setup 选中Firewall configuration

选中[*] Enabled 按空格键去掉*,相当于关闭防火墙了

然后退出

1.6配置hosts列表

(1)先配置master

查看主节点master的ip地址

查看从节点slave01的ip地址

在终端输入 vi  /etc/hosts

按i键插入主从节点ip地址和主机名

按esc  然后输入:wq保存退出

这样就配置好了,接下来我们看主从节点能不能通信,如果ping的数据一直在跑,用ctrl+c停止

(2)用同样的办法配置slave01,还可以从主节点并hosts

复制到slave01下,用命令:scp /etc/hosts [email protected]:/etc/hosts

在slave01下进行验证:

ping master

ping slave01

以上Centos的系统配置就算是成功了,想要终止,可以用ctrl+c停止,

原文地址:https://www.cnblogs.com/ddhdd/p/8626234.html

时间: 2024-10-11 00:43:12

在CentOS上安装Hadoop集群(一)-- Centos系统配置的相关文章

CentOS上安装Kubernetes集群(二)安装Docker

采用docker作为容器运行(目前业界主流与共识) 1. 必要的一些系统工具 # yum install -y yum-utils device-mapper-persistent-data lvm2 2. 添加docker源 # yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 可以采用国内的镜像加速服务,参照kubernetes的官方文档,这里使用阿里的镜

Linux上安装Hadoop集群(CentOS7+hadoop-2.8.0)

1下载hadoop 2安装3个虚拟机并实现ssh免密码登录 2.1安装3个机器 2.2检查机器名称 2.3修改/etc/hosts文件 2.4 给3个机器生成秘钥文件 2.5 在hserver1上创建authorized_keys文件 2.6将authorized_keys文件复制到其他机器 2.7 测试使用ssh进行无密码登录 2.7.1在hserver1上进行测试 2.7.2在hserver2上进行测试 2.7.3在hserver3上进行测试 3安装jdk和hadoop 3.1安装JDK 3

CentOS上安装Kubernetes集群(四)使用Traefi暴露Kubernetes服务

k8s的集群大多数情况需要对外服务,而服务暴露的方式有很多,这里选取traefik来讲解,其它就暂时不详细介绍,包括Istio,代后续更新后再补充上来.一句话,来不及解释,赶紧上车. Traefkik简介 Traefik是开源边缘路由器,类似 nginx.apache 那样的反向代理服务器.网关,代表系统接收请求,并找出负责处理这些请求的组件.Traefik自动发现适合您服务的配置,同时热更新支持多种负载均衡算法断路器,重试提供监控.管理 UI 界面用 go 语言开发,天然的拥抱 k8s Tra

CentOS7 通过Ambari安装Hadoop集群

第一次在cnblogs上发表文章,效果肯定不会好,希望各位多包涵. 编写这个文档的背景是月中的时候,部门老大希望我们能够抽时间学习一下Hadoop大数据方面的技术:给我的学习内容是通过Ambari安装Hadoop集群.通过一周左右的学习和实践,整理出现在这篇安装心得. 安装默认使用Root用户,避免权限问题导致不成功. 使用4台虚拟机构建Ambari-Server.Hadoop集群,分配如下: -       一台虚拟机,作为Ambari-Server: Hostname: ambari.ser

linux上部署hadoop集群系列 基础篇

介绍 这一系列博文介绍hadoop集群的部署和安装,因为hadoop确实比较复杂,所以分为几个部分来一一介绍.大致有基础篇,HA-QJM篇,Federation篇. 正文 一.操作环境 虚拟机4台,配置基于hadoop的集群中包括4个节点:1个Master,3个Salve,节点之间局域网连接,可以相互ping通,Ip分布为: 168.5.15.112 hadoop1(Master) 168.5.15.116 hadoop2(Slave) 168.5.15.207 hadoop3(Slave) 1

实战CentOS系统部署Hadoop集群服务

导读 Hadoop是一个由Apache基金会所开发的分布式系统基础架构,Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS.HDFS有高容错性特点,并且设计用来部署在低廉的(low-cost)硬件上:而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序:HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming acces

win系统下的eclipse连接和使用linux上的hadoop集群

准备工作 先在win系统的hosts文件中加入下面内容 10.61.6.164master     //hadoop集群的master节点 一.首先在eclipse上安装hadoop插件 下载hadoop-eclipse-plugin-1.1.2.jar.将其复制到eclipse 安装文件夹下的plugins,再启动eclispe.这时在eclipse的File/New/other下会看到一下的内容,证明插件成功安装 watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi

在CentOS 7上安装Kafka集群

一.安装准备1.修改系统配置#关闭selinux.firewall#修改/etc/security/limits.conf添加以下内容: soft nofile 65536 hard nofile 65536 soft nproc 65536 hard nproc 65536 #修改/etc/security/limits.d/20-nproc.conf soft nproc 655363.创建账户.目录groupadd -g 800 kafkauseradd -u 800 -g kafka k

Centos7上安装Kubernetes集群部署docker

一.安装前准备 1.操作系统详情 需要三台主机,都最小化安装 centos7.3,并update到最新 cat /etc/redhat-release CentOS Linux release 7.3.1611 (Core)  角色主机名IP Master      master192.168.1.14 node1    slave-1192.168.1.15 node2slave-2192.168.1.16 2.在每台主机上关闭firewalld改用iptables 输入以下命令,关闭fire