[Nutch]Hadoop多机完全分布式模式主机配置

在上一篇博文中我们有介绍hadoop的单机伪分布式模式的使用,那么现在我们就来看下多机完全分布式模式。

1. 多主机配置

1.1 对多台机器进行主机名设置

用root账户使用如下命令:

vim /etc/hostname

分别对三台机器设置为:host1、host2、host3

1.2 配置主机映射

用root账户使用如下命令:

vim /etc/hosts

分别配置三台机器:

host1:

host2:

host3:

2. 配置ssh

2.1 产生密钥

使用如下命令:

ssh-keygen -t rsa

其他设置都使用默认值,不设置密码,如下:

2.2 复制密钥

使用如下命令:

cp  .ssh/id_rsa.pub  .ssh/authorized_keys

2.3 验证

输入如下命令:

ssh localhost

如下:

输入如下命令:

ssh host1

如下:

3. 将公钥赋值到其他主机中,实现无密码登录

使用如下命令:

ssh-copy-id  -i  .ssh/id_rsa.pub  [email protected]
ssh-copy-id  -i  .ssh/id_rsa.pub  [email protected]

如下:

时间: 2024-08-07 14:41:37

[Nutch]Hadoop多机完全分布式模式主机配置的相关文章

[Nutch]Hadoop多机完全分布式模式hadoop配置

1. 下载hadoop 使用如下命令: wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz 使用如下命令解压: tar -zxvf hadoop-1.2.1.tar.gz 2. 配置hadoop 将hadoop的bin目录加入到配置文件中,使用如下命令: vim .bashrc 添加如下行: export PATH=/home/hadoop/workspace/hadoop-1.2

Hadoop系列之hdfs(分布式文件系统)安装配置

Hadoop系列之hdfs(分布式文件系统)安装配置环境介绍:     ip                        节点192.168.3.10      hdfs-master192.168.3.11      hdfs-slave1192.168.3.12      hdfs-slave21.在所有机器添加hosts192.168.3.10      hdfs-master192.168.3.11      hdfs-slave1192.168.3.12      hdfs-slav

在RHEL 6.5上部署Hadoop 2.6伪分布式模式(单机)

第一步:安装JAVA 1.7               此步骤略过,太简单了,可参考这个: http://blog.sina.com.cn/s/blog_6a7cdcd40101b1j6.html   第二步:创建Haddop专用用户             虽然使用root用户也可以部署hadoop,但从系统安全及规范的角度考虑,还是建议大家创建专用的用户(本例中为hadoop,实际中可以是任意用户名),创建用户的命令: # useradd hadoop # passwd hadoop   

Hadoop集群完全分布式模式环境部署和管理的5大工具

当你利用 Hadoop 进行大数据分析和处理时,首先你需要确保配置.部署和管理集群.这个即不容易也没有什么乐趣,但却受到了开发者们的钟爱.本文提供了5款工具帮助你实现. Apache Ambari Apache Ambari是对Hadoop进行监控.管理和生命周期管理的开源项目.它也是一个为Hortonworks数据平台选择管理组建的项目.Ambari向Hadoop MapReduce.HDFS. HBase.Pig, Hive.HCatalog以及Zookeeper提供服务. Apache M

Hadoop完全分布式模式的配置与安装

转自: http://www.cyblogs.com/ 我自己的博客~ 首先, 我们需要3台机器, 这里我是在Vmware里面创建了3台虚拟机, 来保证我的Hadoop完全分布式的最基本配置.我这里选择的CentOS, 因为RedHat系列,在企业中比较的受欢迎.安装好后,最后的环境信息: IP地址 h1: 192.168.230.133 h2: 192.168.230.160 h3: 192.168.230.161 这里遇见到一个小疑问, 就是修改机器的主机名字. vim /etc/sysco

hadoop 2.4 伪分布式模式

1.core-site.xml 在<configuration></configuration>中插入 <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> <property> <name>dfs.replication</name> <valu

Hadoop系列之HBASE(分布式数据库)安装配置

1.hbase安装     cd /root/soft  tar zxvf hbase-0.98.5-hadoop2-bin.tar.gz  mv hbase-0.98.5-hadoop2  /usr/local/hadoop/hbase2.添加环境变量(所有节点都增加)  #vim /etc/profile  export HBASE_HOME=/usr/local/hadoop/hbase  export PATH=$PATH:/usr/local/hadoop/hbase/bin  #so

【HBase基础教程】1、HBase之单机模式与伪分布式模式安装

在这篇blog中,我们将介绍Hbase的单机模式安装与伪分布式的安装方式,以及通过浏览器查看Hbase的用户界面.搭建hbase伪分布式环境的前提是我们已经搭建好了hadoop完全分布式环境,搭建hadoop环境请参考:[Hadoop基础教程]4.Hadoop之完全分布式环境搭建 开发环境 硬件环境:Centos 6.5 服务器4台(一台为Master节点,三台为Slave节点) 软件环境:Java 1.7.0_45.Eclipse Juno Service Release 2.hadoop-1

HBase入门基础教程 HBase之单机模式与伪分布式模式安装

在本篇文章中,我们将介绍Hbase的单机模式安装与伪分布式的安装方式,以及通过浏览器查看Hbase的用户界面.搭建HBase伪分布式环境的前提是我们已经搭建好了Hadoop完全分布式环境,搭建Hadoop环境请参考:[Hadoop入门基础教程]4.Hadoop之完全分布式环境搭建 开发环境 硬件环境:CentOS 6.5 服务器4台(一台为Master节点,三台为Slave节点) 软件环境:Java 1.7.0_45.Eclipse Juno Service Release 2.hadoop-1