hadoop搭建

hadoop版本:2.7.4

java版本:1.8.0

os: ubuntu16.04 server

安装:

1.安装java。

2.下载haddop-2.7.4-bin.tar.gz, 解压,如图

hadoop的配置文件位于 hadoop安装目录下的 etc/hadoop下

通用配置

1.JAVA_HOME

修改hadoop-env.sh, 设置JAVA_HOME=java安装路径

2.HADOOP_HOME

修改/etc/profile, 设置HADOOP_HOME=HADOOP根目录, source /etc/profile

=========================================================

1.单机模式

2.伪分布式模式

1)etc/hadoop/core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

2) etc/hadoop/hdfs-site.html
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

3)ssh免密码登录ssh-keygen -t rsassh-copy-id -i ~/.ssh/id_rsa.pub localhost4)格式化文件系统   hdfs namenode -format启动 haddop    ./sbin/start-all.sh

查看 hadoop是不是以分布式的方式启动了 jps

可以看到hadoop有多个进程,而不是在一个进程中。




  
时间: 2024-10-06 21:26:19

hadoop搭建的相关文章

hadoop搭建与eclipse开发环境设置

hadoop搭建与eclipse开发环境设置(转) 1.    Windows下eclipse开发环境配置 1.1 安装开发hadoop插件 将hadoop安装包hadoop\contrib\eclipse-plugin\hadoop-0.20.2-eclipse-plugin.jar拷贝到eclipse的插件目录plugins下. 需要注意的是插件版本(及后面开发导入的所有jar包)与运行的hadoop一致,否则可能会出现EOFException异常. 重启eclipse,打开windows-

大数据学习实践总结(2)--环境搭建,JAVA引导,HADOOP搭建

PS:后续的文章会把我实践的内容分解成为一个个的小模块,方便大家的学习,交流.文未我也会附上相关的代码.一起加油!    学有三年的大数据原理,一直没有实践过.最近准备离职,正好把自己所学的大数据内容全部实践一下,也不至于只会纯理论.面对实践,首先要有空杯心态,倒空自己之后,才能学到更多,加油!也希望大家多关注,以后会更多注重实践跟原理的结合. 环境搭建 对于大数据,重点在于Hadoop的底层架构.虽说现在spark架构用的还是比较多.但hadoop还是基础.还有就是为什么要以Linux为基础,

推荐几个hadoop搭建的几个好的博文,亲测成功!

内容包括hadoop单机版.伪分布式.分布式搭建方式以及在Eclipse上面安装hadoop插件配置hadoop,本菜亲测成功,希望对大家能产生帮助: http://www.cnblogs.com/kinglau/category/509016.html http://www.cnblogs.com/huligong1234/p/3533382.html http://aub.iteye.com/category/302369

hadoop搭建杂记:Linux下hadoop的安装配置

VirtualBox搭建伪分布式模式:hadoop的下载与配置 VirtualBox搭建伪分布式模式:hadoop的下载与配置 由于个人机子略渣,无法部署XWindow环境,直接用的Shell来操作,想要用鼠标点击操作的出门转左不送- 1.hadoop的下载与解压 wget http://mirror.bit.edu.cn/apache/hadoop/common/stable2/hadoop-2.7.1.tar.gzmkdir /usr/hadooptar -xzvf hadoop-2.7.1

hadoop 搭建过程中的一些坑

俺是按照下面这篇文章进行搭建的: http://cio.51cto.com/art/201705/539356.htm 说实话,上面这篇文章很好.几乎不用改.一步一步按照搭建,没有问题. 俺遇到的坑是: master连接不上slave.这可咋办.配置文件都没问题啊. 解决方法: namenode经过多次格式化,产生了多个clusterID导致.(往后不敢随便格式化玩了) 只要确保master的clusterID和slaveID一致,就能连上了. 俺的路径是:master: hadoop273/h

Hadoop搭建高可用的HA集群

一.工具准备 1.7台虚拟机(至少需要3台),本次搭建以7台为例,配好ip,关闭防火墙,修改主机名和IP的映射关系(/etc/hosts),关闭防火墙 2.安装JDK,配置环境变量 二.集群规划: 集群规划(7台): 主机名 IP 安装的软件 运行的进程 hadoop01 192.168.*.121 jdk.hadoop NameNode.DFSZKFailoverController(zkfc) hadoop02 192.168.*.122 jdk.hadoop NameNode.DFSZKF

单机Hadoop搭建

1.下载hadoop-2.7.3.tar.gz http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz 2.解压hadoop-2.7.3.tar.gz 3.进入hadoop-2.7.3目录 4.修改配置etc/hadoop/ (1)core-site.xml (2)hdfs-site.xml 注意:因为是单机,所以复制数为1:目录不能是tmp,以免数据丢失: (3)mapred-sit

hadoop搭建在Ubuntu16.04上

一.环境 Ubuntu16.04.Hadoop2.7.3.java8 系统安装完成后建议先更新一下 apt源 1.复制原文件备份 sudo cp /etc/apt/source.list /etc/apt/source.list.bak 2.编辑源列表文件 sudo vim /etc/apt/source.list 3.将原来的列表删除,添加如下内容(更换阿里的镜像,也可以更换其他的) deb http://mirrors.aliyun.com/ubuntu/ vivid main restri

Hadoop搭建HA环境(Hadoop+HBase+Zookeeper)注意事项

搭建HA的环境,在配置完成之后,进行集群格式化时,需要注意,格式化的顺序是:先启动所有的jourlnode,然后在namenode1上格式化namenode,启动namenode,检查namenode是否能起来.然后要关闭整个集群,再启动所有的Zookeeper,最后在namenode1上初始化Zookeeper. PS:最好不要使用shell脚本去启动Zookeeper,若一定要用,需要在命令:zkServer.sh start后使用参数.否则会报错:nohup: failed to run

hadoop搭建部署

从官网下载安装包: wget  http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz