一、hadoop安装
1.设置静态ip,在windows下查看虚拟机ip,同事更改centos的网络链接为host-only模式,更改Addresscip ,netmask.gateway.
执行#service network restart
验证#ipconfig
2.用工具pietty,简历远程登录,修改主机名,#hostname 主机名。然后#vi /etc/sysconfig/network永久更改主机名
#vi etc/hosts 更改主机名和ip绑定。
3.关闭防火墙,#service iptables stop
关闭自启功能 #chkconfig iptables off
或者用setup关闭服务、
4.查看服务列表#chkconfig --list |grep iptables
5.ssh服务,免密码登陆。像其他的服务,例如FTP,POP,telnet一样都是c/s模型,但是更安全。
进入。ssh目录下
产生公钥和私钥 #ssh-keygen -t rsa
复制公钥到# cp gongyao authorized_keys
验证 #ssh localhost
6.文件传输工具winscp。把jdk和hadoop上传至usr/local下
ls -l查看权限,不够增加权限#chkconfig u+x 文件名。
7./解压jdk文件,是指环境变量# vi /etc/profile
#service /etc/profile立即生效
java_version查看
tar -zxvf hadoop
vi /etc/profile
修改四个配置文件
格式化hadoop namenode -format
jps查看进程50070和50030
HDFS命令
1、hadoop fs -ls hadoop fs -lsr
2、hadoop fs -pu t -get -rm -rmr text cat
本质hadoop fs 相当于hdfs://hadoop0:90001
3.在core_defaual.xml中设置block大小,默认64MB
dfs.data.dir中是datanode中的数据位置