大数据问题汇总
1.安装问题
1.安装步骤，详见文档《centos虚拟机安装指南》
2.vi编辑器使用问题，详见文档《linux常用命令.pdf》
3.网络中继更改问题
命令： vi /etc/sysconfig/network-scripts/ifcfg-eth0
·········需要修改的代码
·········DEVICE=eth0
HWADDR=00:0C:29:11:02:E8
TYPE=Ethernet
UUID=c1038317-21f4-4251-a68f-0962fd644cab
NBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.17.238
GATEWAY=192.168.17.1
NDS1=114.114.114.114
IPV6INIT=NO
安装步骤到此结束
2.hadoop 环境配置问题
1.修改主机名称
命令：vi /etc/hosts
2.配置java ，hadoop环境变量
命令：vi/etc/prifile
#java
JAVA_HOME=/jdk1.7.0_79
JAVA_BIN=/jdk1.7.0_79/bin
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME JAVA_BIN PATH CLASSPATH
#hadoop
export HADOOP_HOME=/home/hadoop-2.5.2
export PATH=$HADOOP_HOME/bin:$PATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export JAVA_LIBRARY_PATH=/home/hadoop-2.5.2/lib/native/
生效 命令：. /etc/prifile
3关闭放火枪
service iptables stop
chkconfig iptables off
3.1修改配置文件
vi /etc/selinux/config
修改为：
SELINUX=disabled
4.ssh免密设置
下载 ssh服务
命令：yum -y install openssh-clients
生成ssh密匙：
ssh-keygen -t rsa
进入根目录：命令： cd~;
cd .ssh
ls 查看文件
将文件 id_rsa.hub 考入： 命令：cat id_rsa.pub >>authorized_keys
将 datanode节点上的 id_rsa.hub 考入 命令
ssh datanode1 cat .ssh/id_rsa.pub >>authorized_keys
将文件发送到datanode节点：
[[email protected] ~]# scp authorized_keys datanode1:~/.ssh
测试 ssh datanode1 免密登陆到datanode1主机
至此 前期配置完成
5 hadoop配置
修改hadoop配置文件
yarn-site.xml
mapred-site.xml
slaves hdfs-site.xml
yarn-env.sh
hadoop-env.sh
详见《hadoop配置手册》
配置环境测试：
cd /home/hadoop-2.5.2/sbin
输入 sh start-all.sh
等待启动
启动完毕后
测试：
输入 jps
namenode 节点 显示：
8722 ResourceManager
11446 Jps
9371 DataNode
8812 NodeManager
9283 NameNode
datanode1节点 输入 jps
显示：
5694 Jps
2867 NodeManager
2782 DataNode
则基本配置成功
测试计算 pi
cd /home/hadoop-2.5.2/share/hadoop/mapreduce
命令 [[email protected] mapreduce]# hadoop jar hadoop-mapreduce-examples-2.5.2.jar pi 2 5
回车