琐碎-hadoop2.2.0伪分布式和完全分布式安装（centos6.4）

近几年大数据越来越火热.由于工作需要以及个人兴趣,最近开始学习大数据相关技术.学习过程中的一些经验教训希望能通过博文沉淀下来,与网友分享讨论,作为个人备忘. 第一篇,在win7虚拟机下搭建hadoop2.6.0伪分布式环境. 1. 所需要的软件 使用Vmware 11.0搭建虚拟机,安装Ubuntu 14.04.2系统. Jdk 1.7.0_80 Hadoop 2.6.0 2. 安装vmware和ubuntu 略 3. 在ubuntu中安装JDK 将jdk解压缩到目录:/home/vm/tool

hadoop-2.6.0伪分布运行WordCount 1.启动Hadoop:  2.创建file 文件夹:  这个是建在本地硬盘上的: 查看创建的 file 文件: 进入该目录,创建两个 txt 文件: 结果如下: 3.在HDFS上创建输入文件夹目录 input : 把本地硬盘上创建的文件传进input 里面: 查看结果: 4.Hadoop自带的运行 wordcount 例子的 jar 包: 5.开始运行 wordcount: 过程: 查看运行结果: 附完整运行过程: 附代码: import j

用到的软件: 一.安装jdk: 1.要安装的jdk,我把它拷在了共享文件夹里面.   (用优盘拷也可以) 2.我把jdk拷在了用户文件夹下面. (其他地方也可以,不过路径要相应改变) 3.执行复制安装解压命令: 解压完毕: 查看解压的文件夹: 4.配置 环境变量: 写入如下5行代码: 使配置生效: 5.查看安装的jdk: java -version java javac 二.SSH免密码登陆: 1.安装SSH: 2.是否生成 .ssh 目录: 3.如果没有生成,自己手动创建一个 .ssh 目录:

hadoop2.2.0伪分布模式64位安装用到的软件:jdk-6u45-linux-x64.bin,hadoop-2.2.0.x86_64.tar.gz 修改主机名vim /etc/sysconfig/networkHOSTNAME=h1 修改主机名和ip的映射关系192.168.1.1 h1 关闭防火墙chkconfig --list | grep iptablesservice iptables stopchkconfig iptables offchkconfig --list | gre

Hadoop-2.6.0伪分布--安装配置hbase 1.用到的hadoop与hbase: 2.安装hadoop: 具体安装看这篇博文: http://blog.csdn.net/baolibin528/article/details/42939477 hbase所有版本下载 http://archive.apache.org/dist/hbase/ 3.解压hbase: 结果: 4.修改hbase 文件权限为一般用户权限: 5.设置环境变量: 配置内容: 保存配置: 6.进入配置文件目录: 7

之前了解了一下0.20.2和1.1.0.以后现在主流肯定是2.x吧,包含了之前没有的yarn bin Hadoop最基本的管理脚本和使用脚本,这些脚本是sbin目录下管理脚本的基础实现,用户可以用这些脚本管理和使用hadoop etc hadoop配置文件所在的目录,包括core-site.xml.hdfs-site.xml.mapred-site.xml等从hadoop1.0继承而来的配置文件和yarn-site.xml等hadoop2.0新增的文件..template是模板文件 相当于之前版

一.准备linux环境 1.更改VMware适配器设置 由于是在单机环境下进行学习的,因此选择适配器模式是host-only模式,如果想要联网,可以选择桥接模式,配置的方式差不多. 点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段:192.168.85.0 子网掩码:255.255.255.0 -> apply -> ok 回到windows --> 打开网络

首先先不看理论,搭建起环境之后再看: 搭建伪分布式是为了模拟环境,调试方便. 电脑是win10,用的虚拟机VMware Workstation 12 Pro,跑的Linux系统是centos6.5 ,装的hadoop2.6.0,jdk1.8: 1.准备工作 准备工作:把JDK和Hadoop安装包上传到linux系统(hadoop用户的根目录) 系统环境:IP:192.168.80.99, linux用户: root/123456,hadoop/123456 主机名:node 把防火墙关闭,roo

简述了自己搭建Hadoop伪分布式的过程,方便以后查看参考. 环境:Vmware10+RedHat6.3+hadoop2.2.0+JDK1.7 Hadoop模式: 本地模式:只能其一个reduce和一个map,用于调试 伪分布式模式:通过一台机器模拟分布式,在学习时使用.验证逻辑是否正确 集群模式:工作的模式,有几百上千台机器. linux环境配 关闭防火墙 若是对外网提供的服务是绝对不能关闭防火墙的.而Hadoop一般是公司内部使用,有多台节点,且之间需要通信,此时若防火前将通信的端口屏蔽则无