吴超老师课程---hadoop的伪分布安装

1.1 设置ip地址
    执行命令    service network restart
    验证:         ifconfig
1.2 关闭防火墙
    执行命令    service iptables stop
    验证:        service iptables status
1.3关闭防火墙的自动运行
    执行命令    chkconfig iptables off
    验证:        chkconfig --list | grep iptables
1.4 设置主机名
    执行命令    (1)hostname chaoren
                   (2)vi /etc/sysconfig/network
1.5 ip与hostname绑定
    执行命令    vi /etc/hosts
    验证:        ping chaoren
1.6 设置ssh免密码登陆
    执行命令    (1)ssh-keygen -t rsa
                   (2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
    验证:        ssh chaoren
1.7 安装jdk
    执行命令    (1)cd /usr/local
                   (2)chmod u+x jdk-6u24-linux-i586.bin
                   (3)./jdk-6u24-linux-i586.bin
                   (4)mv jdk-1.6.0_24  jdk
                   (5)vi /etc/profile 增加内容如下:
                      export JAVA_HOME=/usr/local/jdk
                       export PATH=.:$JAVA_HOME/bin:$PATH
                   (6)source /etc/profile
     验证:        java -version
1.8 安装hadoop
    执行命令  (1)tar -zxvf hadoop-1.1.2.tar.gz
            (2)mv hadoop-1.1.2 hadoop
            (3)vi /etc/profile 增加内容如下:
            export JAVA_HOME=/usr/local/jdk
            export HADOOP_HOME=/usr/local/hadoop
            export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
            (4)source /etc/profile
            (5)修改conf目录下的配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml
            (6)hadoop namenode -format
            (7)start-all.sh
    验证: (1)执行命令jps 如果看到5个新的java进程,分别是NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker
        (2)在浏览器查看,http://chaoren:50070  http://chaoren:50030  
1.9 启动时没有NameNode的可能原因:
    (1)没有格式化
    (2)环境变量设置错误
    (3)ip与hostname绑定失败

时间: 2024-08-26 13:50:31

吴超老师课程---hadoop的伪分布安装的相关文章

吴超老师课程---hadoop的分布式安装过程

1.hadoop的分布式安装过程 1.1 分布结构 主节点(1个,是hadoop0):NameNode.JobTracker.SecondaryNameNode            从节点(2个,是hadoop1.hadoop2):DataNode.TaskTracker    1.2 各节点重新产生ssh加密文件    1.3 编辑各个节点的/etc/hosts,在该文件中含有所有节点的ip与hostname的映射信息    1.4 两两节点之间的SSH免密码登陆            ss

吴超老师课程--Pig的介绍和安装

1.Pig是基于hadoop的一个数据处理的框架.  MapReduce是使用java进行开发的,Pig有一套自己的数据处理语言,Pig的数据处理过程要转化为MR来运行. 2.Pig的数据处理语言是数据流方式的,类似于初中做的数学题.一步一步来的,跟SQL不一样,SQL一步就得到答案, 3.Pig基本数据类型:int.long.float.double.chararry.bytearray     复合数据类型:Map.Tuple.Bag  Bag的类型如{('age',31),('name',

吴超老师课程--Hive的介绍和安装

1.Hive1.1在hadoop生态圈中属于数据仓库的角色.他能够管理hadoop中的数据,同时可以查询hadoop中的数据.  本质上讲,hive是一个SQL解析引擎.Hive可以把SQL查询转换为MapReduce中的job来运行.  hive有一套映射工具,可以把SQL转换为MapReduce中的job,可以把SQL中的表.字段转换为HDFS中的文件(夹)以及文件中的列.  这套映射工具称之为metastore,一般存放在derby.mysql中. 1.2 hive在hdfs中的默认位置是

吴超老师课程--Hive的执行语句

为什么选择Hive? (1)基于Hadoop的大数据的计算/扩展能力(2)支持SQL like查询语言(3)统一的元数据管理(4)简单编程 一:Hive的数据类型(1)基本数据类型tinyint/smallint/int/bigintfloat/doublebooleanstring(2)复杂数据类型Array/Map/Struct没有date/datetime (3)Hive的数据存储Hive的数据存储基于Hadoop HDFSHive没有专门的数据存储格式存储结构主要包括:数据库.文件.表.

吴超老师课程--Sqoop的安装和介绍

SQOOP是用于对数据进行导入导出的.    (1)把MySQL.Oracle等数据库中的数据导入到HDFS.Hive.HBase中    (2)把HDFS.Hive.HBase中的数据导出到MySQL.Oracle等数据库中 一:安装步骤1.解压.设置环境变量,略2.把mysql.............jar放到$SQOOP_HOME/lib中 二:把mysql中的表复制到hdfs/hive中sqoop                                             

吴超老师课程--Flume的安装和介绍

常用的分布式日志收集系统 一:flume概述参考官方网址:http://flume.apache.org/documentation.htmlflume是一个分布式的数据收集系统,具有高可靠.高可用.事务管理.失败重启等功能.数据处理速度快,完全可以用于生产环境.flume的核心是agent.agent是一个java进程,运行在日志收集端,通过agent接收日志,然后暂存起来,再发送到目的地. agent里面包含3个核心组件:source.channel.sink.1 source组件是专用于收

Hadoop之——伪分布安装

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/45769499 1.1 设置ip地址 执行命令    service network restart 验证:    ifconfig 1.2 关闭防火墙 执行命令    service iptables stop 验证:        service iptables status 1.3    关闭防火墙的自动运行 执行命令    chkconfig iptables off 验

Hadoop伪分布安装

1.hadoop的伪分布安装 1.1 设置ip地址 执行命令 service network restart 验证: ifconfig 1.2 关闭防火墙 执行命令 service iptables stop 验证: service iptables status 1.3 关闭防火墙的自动运行(在上面的那一步即使我们关闭了防火墙,还是在有些情况下,防火墙会自动起来,那些情况就是下面的命令的结果为on的时候) 执行命令 chkconfig iptables off 验证: chkconfig --

hadoop1学习系列2-hadoop伪分布安装

1.hadoop的伪分布安装(采用Host-only模式) 1.1 设置ip地址    1.1.1设置宿主机的VirtualBox Host-only Network网路设置         IP地址:192.168.56.1   子网掩码:255.255.255.0   默认网关:不填  1.1.2设置VirtualBox虚拟机的网路连接   网卡1:启用网路连接   连接方式:仅主机(Host-Only)适配器   高级:保持默认   1.1.3启动linux系统,(使用centos6.4)