IBM BigInsights 3.0.0.2 集群环境搭建

1. 修改hosts文件和永久主机名

因为BigInsights 3.0版本不像之前的版本可以直接用IP来增加节点,因此我们需要更改每台server的hosts文件和主机名:

vim/etc/hosts 在这个文件中增加如下的几行:

vim /etc/sysconfig/network 在这个文件中设置永久主机名:

2. install ksh

The server system do not contain the ksh shell, because IBM DB2 requires that Ksh be installed.

用chsh –l查看所有shell版本,发现没有ksh,于是用yum list \*ksh\*来查看availablepackage:

发现有ksh.x86_64安装包,于是再用yum install ksh进行安装。

成功。

3. shut down ipv6

ipv6 might causeproblem with MapReduce workloads.

查看server端ipv6的模块是否被加载:

或者用ifconfig| grep –i inet6来直接查看。

关闭IPv6,可以修改 /etc/hosts,把ipv6的那句本地主机名解析的注释掉:

#::1 localhost localhost6 localhost6.localdomain6

并新建设定文件:/etc/modprobe.d/ipv6off.conf:

添加:

alias net-pf-10 off

options ipv6 disable=1

然后reboot后查看ipv6是否被关闭:

4. 集群时间同步:

前半部分:

首先设置time server,在此我将9.110.246.249设为timeserver。

date –s 03/11/2015

date –s 16:19:50

clock –w

hwclock –systohc

后两个命令是把设置的时间写到硬件时间中区,也就是CMOS里面的时间。

然后为了将9.110.246.249配置成time server,修改/etc/ntp.conf:

vim /etc/ntp.conf

注释掉restrict default kod nomodifynotrap nopeer noquery这一行

加入restrict 9.110.246.247 mask255.255.255.255 nomodify notrap

加入 server 127.127.1.0

加入fudge 127.127.1.0 stratum 10

这两行是让本机的ntpd与本地硬件时间同步。

然后重启ntpd服务,service ntpd restart

chkconfig ntpd on 来设置开机自动启动ntpd服务

接下来修改iptables,将tcp和udp端口开放,因为这是ntp需要的端口:

/sbin/iptables -I INPUT -p tcp --dport 103 -j ACCEPT

/sbin/iptables -I INPUT -p udp --dport 103 -j ACCEPT

/etc/rc.d/init.d/iptables save

/etc/rc.d/init.d/iptables restart

查看端口是否已经开放

/etc/init.d/iptables status

这样9.110.246.249就成为一台time server

后半部分:

现在我们配置9.110.246.247,

同样修改/etc/ntp.conf:vim /etc/ntp.conf

因为9.110.246.247不需要做time server,因此注释掉restrictdefault kod nomodify notrap nopeer noquery这一行

加入server 9.110.246.249这一句,用来和9.110.246.249 server同步。

这样时间同步就做好了,之后的默认操作是5mins和time server同步一次。

5. 更改/home的挂载分区

因为BigInsights在安装时,主节点在安装成功之前会产生一个默认的目录__biginsights_install,它是存储于/home的这个目录下,而我们的这几台server的/home是挂载在/dev/mapper/VolGroup-lv_home这个分区下,这个分区目前的大小只有2G,在安装时,会产生cpwriting , no space left on the device 的错误。

解决此问题的方案有两个,一个是扩展磁盘分区容量,但是这样做会比较麻烦耗时。

另一种方案是:

备份并删除/home,或者将/home重命名,然后再cd /进入到[[email protected] /]。

接着在当前目录下进行/home的新建,mkdir /home。在此我们的/home便挂载到了/dev/mapper/VolGroup-lv_root分区下。当然在此,为了让其永久生效,而不会在重启后恢复原来的挂载设置,我们还需要再更改一个文件,vim /etc/fstab

注释掉这一行保存即可。

在此,我们在此查看分区情况:

已经没有了/dev/mapper/VolGroup-lv_home分区。

注:第1,2,3,步以及第4步的后半部分需为每个节点进行操作,第5步仅为安装节点进行操作。

经过以上的前期准备工作后,我们就可以进行安装,之后得到successful的结果:

原文地址:http://blog.csdn.net/yangxiangyuibm/article/details/44491617

时间: 2024-10-17 17:04:57

IBM BigInsights 3.0.0.2 集群环境搭建的相关文章

spark-1.2.0 集群环境搭建

1.下载scala2.11.4版本 下载地址为:http://www.scala-lang.org/download/2.11.4.html ,也可以使用wget http://downloads.typesafe.com/scala/2.11.4/scala-2.11.4.tgz?_ga=1.248348352.61371242.1418807768 2.解压和安装: 解压 :[[email protected] scala]$ tar -xvf scala-2.11.4.tgz  ,安装:[

Kafka:ZK+Kafka+Spark Streaming集群环境搭建(九)安装kafka_2.11-1.1.0

如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.> 如何安装hadoop2.9.0请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(二)安装hadoop2.9.0> 如何安装spark2.2.1请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(三)安装spark2.2.1

Nginx1.7.4+Tomcat7+memcached集群环境搭建

这几天研究了一下Nginx和tomcat的集群环境搭建,同时支持HTTP请求和HTTPS请求,研究了一下,整理一下,分享给大家.还是有很多不足的地方,大家发现问题,希望多多指正.话不多说,上代码~ 因为研究的条件有限,我是在本机上搭建两个Tomcat进行模拟的. 一.环境准备 1.Tomcat7:http://tomcat.apache.org/download-70.cgi 2.Nginx1.7.4:http://nginx.org/en/download.html 3.Memcached:h

solr集群环境搭建

Solr集群环境搭建 一.     准备 1.     下载: solr-4.4.0.zip   solr安装包 apache-tomcat-7.0.47.tar.gz  tomcat安装包 2.     说明: 其中集群环境采用nginx做分发(也可以使用apache),nginx的安装这里不再介绍.我们共有四台机器,分别如下 10.10.42.164 10.10.42.165 10.10.42.166 10.10.42.167 其中10.10.42.164作为主节点安装nginx,solr

Neo4j集群环境搭建

引言: Neo4j是目前主流的图数据库,它本身也提供了高可用的集群解决方案,本文将尝试搭建高可用的neo4j环境. 1. 什么是图数据库? 图形数据库(graphic database)是利用计算机将点.线.画霹图形基本元素按一定数据结同灶行存储的数据集合. 图形数据库将地图与其它类型的平面图中的图形描述为点.线.面等基本元素,并将这些图形元素按一定数据结构(通常为拓扑数据结构)建立起来的数据集合.包括两个层次:第一层次为拓扑编码的数据集合,由描述点.线.面等图形元素间关系的数据文件组成,包括多

Hadoop2.6集群环境搭建

Hadoop2.6集群环境搭建(HDFS HA+YARN)原来4G内存也能任性一次. 准备工作: 1.笔记本4G内存 ,操作系统WIN7 (屌丝的配置) 2.工具VMware Workstation 3.虚拟机:CentOS6.4共四台 虚拟机设置: 每台机器:内存512M,硬盘40G,网络适配器:NAT模式 选择高级,新生成虚机Mac地址(克隆虚拟机,Mac地址不会改变,每次最后手动重新生成) 编辑虚拟机网络: 点击NAT设置,查看虚机网关IP,并记住它,该IP在虚机的网络设置中非常重要. N

ZooKeeper伪集群环境搭建

1.从官网下载程序包. 2.解压. [[email protected] software]$ tar xzvf zookeeper-3.4.6.tar.gz 3.进入zookeeper目录后创建data目录. [[email protected] software]$ cd zookeeper-3.4.6 [[email protected] software]$ mkdir data [[email protected] software]$ cd data [[email protecte

Hadoop+Spark:集群环境搭建

环境准备: 在虚拟机下,大家三台Linux ubuntu 14.04 server x64 系统(下载地址:http://releases.ubuntu.com/14.04.2/ubuntu-14.04.2-server-amd64.iso): 192.168.1.200 master 192.168.1.201 node1 192.168.1.202 node2 在Master上安装Spark环境: 具体请参考我的文章:<Hadoop:搭建hadoop集群> Spark集群环境搭建: 搭建h

Hadoop2.6集群环境搭建(HDFS HA+YARN)

Hadoop2.6集群环境搭建(HDFS HA+YARN)原来4G内存也能任性一次. 准备工作: 1.笔记本4G内存 ,操作系统WIN7 (屌丝的配置) 2.工具VMware Workstation 3.虚拟机:CentOS6.4共四台 虚拟机设置: 每台机器:内存512M,硬盘40G,网络适配器:NAT模式 选择高级,新生成虚机Mac地址(克隆虚拟机,Mac地址不会改变,每次最后手动重新生成) 编辑虚拟机网络: 点击NAT设置,查看虚机网关IP,并记住它,该IP在虚机的网络设置中非常重要. N

Hadoop2.2.0-HA高可用集群环境搭建

Hadoop2.2.0-HA高可用集群环境搭建 集群主机信息 主机名称 主机ip 配置 主要功能 master1 硬盘300G,内存32G,CPU8核 管理主节点 master2 硬盘300G,内存32G,CPU8核 管理备份节点 slave1 硬盘300G,内存8G,CPU4核 数据节点 slave2 硬盘300G,内存8G,CPU4核 数据节点 slave3 硬盘300G,内存8G,CPU4核 数据节点 slave4 硬盘500G,内存4G,CPU2核 mysql数据库 本次集群使用6台物理