大数据中Linux集群搭建与配置

因测试需要,一共安装4台linux系统,在windows上用vm搭建。

对应4个IP为192.168.1.60、61、62、63,这里记录其中一台的搭建过程,其余的可以直接复制虚拟机,并修改相关配置即可。

软件版本选择:

虚拟机:VMware Workstation 12 Pro   版本:12.5.9 build-7535481

Linux:CentOS-7-x86_64-DVD-1804

FTP工具:FileZilla-3.37.4

安装CentOS虚拟机

首先安装虚拟机,成功后重启电脑

新建虚拟机, 配置直接用推荐的经典

选择CentOS的IOS光盘映像

剩下用默认设置,20G硬盘,1G内存,1核CPU

等待加载虚拟机,安装Linxu

语言选择中文

系统安装位置需要进入一次,可以自己分区,不过这里是测试,默认一个区,点击完成

打开自动获取IP

可以在软件选择中指定默认要安装的内容,不过这里因测试,且知道具体安装了什么软件,我这里选择最小安装

设置root账号的密码,输入完毕点击两次完成键,完成配置开始安装,安装完毕重置

配置Linux环境

输入用户名root,输入密码,登录系统

vm上右键虚拟机,设置,修改网络适配器从NAT模式改为桥接模式

安装网络工具,用于配置IP,若报错无法访问,可能是windows服务没启动,启用VMware DHCP Service,VMware NAT Service两个服务

yum install net-tools -y

配置静态IP,最后ens33根据各自具体网卡名字来设置

vi  /etc/sysconfig/network-scripts/ifcfg-ens33

按i切换到INSERT模式,修改配置文件如下,将BOOTPROTO的值从dhcp改为static,并且增加ip配置,修改完毕按esc,输入:wq保存退出

启用配置,重启网络服务

systemctl restart network

关闭selinux,打开selinux配置文件

vi /etc/selinux/config

修改SELINUX的值为disabled

关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

安装vsftp用于上传各种文件

yum install vsftpd –y

启用ftp并添加ftp用户

systemctl enable vsftpd
systemctl start vsftpd
useradd ftpuser -s /sbin/nologin
passwd ftpuser

用FileZilla连接,使用普通FTP连接,输入刚创建的ftp用户名密码

配置ssh免密登录

ssh-keygen -t rsa -P ""
cd ~/.ssh
cat id_rsa.pub >> authorized_keys
chmod 0600 authorized_keys
ssh localhost #首次需输入yes,退出登录logout
logout

至此Linux基础环境搭建完毕。

原文地址:https://www.cnblogs.com/rqx-20181108/p/10276210.html

时间: 2024-08-29 01:55:20

大数据中Linux集群搭建与配置的相关文章

大数据:spark集群搭建

创建spark用户组,组ID1000 groupadd -g 1000 spark 在spark用户组下创建用户ID 2000的spark用户 获取视频中文档资料及完整视频的伙伴请加QQ群:947967114useradd -u 2000 -g spark spark 设置密码 passwd spark 修改sudo权限 chmod u+w /etc/sudoers vi /etc/sudoers 找到 root ALL=(ALL) ALL 添加 spark ALL=(ALL) ALL 创建一个

大数据-spark HA集群搭建

一.安装scala 我们安装的是scala-2.11.8 5台机器全部安装 下载需要的安装包并进行解压 配置环境变量 [root@master1 ~]# vi /etc/profile export SCALA_HOME=/opt/software/scala-2.11.8 export PATH=$SCALA_HOME/bin:$PATH [root@master1 ~]# source /etc/profile 启动scala [root@master1 workspace]# vim /e

【原创】大数据基础之集群搭建

Cluster Platform redhat/centos7, docker, mesos, cloudera manager(cdh) Checklist 1 check user & password & network reachability, make sure everything is fine to login all remote servers by ssh client2 check linux release, upgrade or reinstall if ne

基于Vmare的虚拟Linux集群搭建-lvs+keepalived

基于Vmare的虚拟Linux集群搭建-lvs+keepalived 本文通过keepalived实现lvs服务器的的双机热备和真实服务器之间的负载均衡.这方面的blog挺多,但是每个人搭建集群的环境不同,遇到的问题也不同,本文简述配置的一些过程以及配置过程中遇到问题时的解决方案. 准本工作 1. 创建Linux虚拟机 本文是基于Vmare虚拟环境搭建集群的,所以首先在Vmare中创建一些虚拟机(安装一个Linux系统,其他的复制第一次安装的即可),本文创建4台虚拟机.网卡模式设置成桥接方式,这

linux集群spark环境配置

第一章 linux集群spark环境配置一 Spark下载地址; http://spark.apache.org/downloads.html 图1 下载spark 图2 选择下载地址 Spark本身用scala写的,运行在JVM之上.JAVA版本:java 6 /higher edition.Jdk已经安装(版本) Hadoop提供存储数据的持久化层版本:hadoop-1.2.1Spark和scala需要安装在master和slave上面,配置步骤相同本次搭建的master为cluster,s

Laxcus大数据管理系统单机集群版

Laxcus大数据管理系统是我们Laxcus大数据实验室历时5年,全体系全功能设计研发的大数据产品,目前的最新版本是2.1版本.从三年前的1.0版本开始,Laxcus大数据系统投入到多个大数据和云计算项目中使用.2.0版本的Laxcus大数据管理系统,已经从紧耦合架构转为松耦合架构,整合了最新的大数据和关系数据库的技术,实现了一站式数据处理,大幅度提高了并行处理能力,同时兼具易操作.易维护.运行稳定的特点,节点数和数据存储计算规模已经达到百万台级和EB量级.目前已经覆盖的技术包括:行列混合存储.

linux集群搭建之nfs服务的搭建

第1章 NFS简介 1.1 什么是NFSNFS是Network File System的缩写,中文称为网络文件系统,它的主要功能是通过网络(一个局域网)让不同的主机系统之间可以共享文件或目录,NFS的客户端(一般为应用服务器,例如web)可以通过挂载(mount)的方式将NFS服务器共享的数据目录挂载到NFS客户端本地系统中(就是某一个关在点下),从客户端本地看,NFS服务器端共享目录就好像是客户端自己的磁盘分区或者目录一样,而实际上却是远端的NFS服务器的目录.NFS网络文件系统很像Windo

Linux rhel7.0 pacemaker集群搭建和配置

一 集群环境介绍 一 Linux 集群发展史 高可用集群的层次结构1 消息/基础架构 corosync 2 成员关系 :监听心跳信息,并进行处理成员关系和计算成员关系的票数等信息3 资源管理 VIP 磁盘 文件系统 CRM (群集资源管理器)等,有些策略引擎(有些资源是放置在同一个节点和其依赖关系) 和资源的分配调度有关 4 资源 : 对特定资源的操作,通过一定的脚本实现pacemaker 群集资源管理器corosync 消息/基础架构 管理工具 crmsh : crm (cluster res

大数据(hdfs集群及其集群的高级管理)

#### 大数据课程第二天 伪分布式hadoop的启动停止脚本[使用] sbin/hadoop-daemon.sh start namenode sbin/hadoop-daemon.sh start datanode sbin/yarn-daemon.sh start resourcemanager sbin/yarn-daemon.sh start nodemanager ? shell脚本 xxx.sh ls mkdir hadoop-start.sh sbin/hadoop-daemon