[转载] Hadoop和Hive单机环境搭建

转载自http://blog.csdn.net/yfkiss/article/details/7715476和http://blog.csdn.net/yfkiss/article/details/7721329

下载hadoop
hadoop下载地址：
http://www.apache.org/dyn/closer.cgi/hadoop/core/
这里下载的版本是1.0.3
$ mkdir hadoop
$ wget http://www.fayea.com/apache-mirror/hadoop/core/stable/hadoop-1.0.3.tar.gz .

安装java
首先用“java -version”查看是否已安装，如果显示类似于java version "1.7.0_147-icedtea 则表示已安装
没有安装可以参考：http://blog.csdn.net/yang_hui1986527/article/details/6677450
安装必须设置JAVA_HOME和CLASSPATH
我的配置：
export PATH=${PATH}:/usr/lib/jvm/java-6-openjdk-amd64/bin
export JAVA_HOME=/usr/lib/jvm/java-6-openjdk-amd64/
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JRE_HOME}/lib:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
并将这两行语句放在：～/.bashrc中

安装ssh
$ sudo apt-get install ssh
安装完成后，需要确认可以用ssh免密码登录localhost
$ ssh localhost
如果需要密码才能登录，则需要设置：
$ ssh-keygen -t dsa -P ‘‘ -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

安装rsync
rsync是linux实现远程同步的软件
$ sudo apt-get install rsync

配置启动hadoop
解压：
$ tar -zxvf  hadoop-1.0.3.tar.gz
设置JAVA_HOME
编辑conf/hadoop-env.sh文件，找到：
# export JAVA_HOME=/usr/lib/j2sdk1.5-sun
修改为：
export JAVA_HOME=/usr/lib/jvm/java-6-openjdk-amd64/

修改配置文件：
如果不知道java在什么地方请用whereis java查询
修改conf/core-site.xml：

[plain] view plaincopy

  1. <configuration>
  2. <property>
  3. <name>fs.default.name</name>
  4. <value>hdfs://localhost:9000</value>
  5. </property>
  6. </configuration>

修改conf/hdfs-site.xml:

[plain] view plaincopy

  1. <configuration>
  2. <property>
  3. <name>dfs.replication</name>
  4. <value>1</value>
  5. </property>
  6. <property>
  7. <name>hadoop.tmp.dir</name>
  8. <value>/home/work/hadoop_tmp</value>
  9. </property>
  10. </configuration>

修改conf/mapred-site.xml：

[plain] view plaincopy

  1. <configuration>
  2. <property>
  3. <name>mapred.job.tracker</name>
  4. <value>localhost:9001</value>
  5. </property>
  6. </configuration>

初始化hadoop Namenode：
$ bin/hadoop namenode –format
启动：
$ bin/start-all.sh
确认启动：
$ jps
5146 Jps
4538 TaskTracker
4312 JobTracker
4015 DataNode
4228 SecondaryNameNode
3789 NameNode
表示启动成功

以下内容写入~/.bashrc:

[plain] view plaincopy

  1. alias hadoop=‘/home/zxm/hadoop/hadoop-1.0.3/bin/hadoop‘
  2. alias hls=‘hadoop fs -ls‘
  3. alias hlsr=‘hadoop fs -lsr‘
  4. alias hcp=‘hadoop fs -cp ‘
  5. alias hmv=‘hadoop fs -mv‘
  6. alias hget=‘hadoop fs -get‘
  7. alias hput=‘hadoop fs -put‘
  8. alias hrm=‘hadoop fs -rm‘
  9. alias hmkdir=‘hadoop fs -mkdir‘
  10. alias hcat=‘hadoop fs -cat‘
  11. alias hrmr=‘hadoop fs -rmr‘
  12. alias hstat=‘hadoop fs -stat‘
  13. alias htest=‘hadoop fs -test‘
  14. alias htext=‘hadoop fs -text‘
  15. alias htouchz=‘hadoop fs -touchz‘
  16. alias hdu=‘hadoop fs -du‘
  17. alias hdus=‘hadoop fs -dus‘
  18. alias hchmod=‘hadoop fs -chmod‘
  19. alias hchgrp=‘hadoop fs -chgrp‘
  20. alias hchown=‘hadoop fs -chown‘
  21. alias htail=‘hadoop fs -tail‘<span style="font-family:Arial, Helvetica, sans-serif;"><span style="white-space: normal;">
  22. </span></span>

常见问题解决方案：
问题1：运行hadoop命令是出现“Warning: $HADOOP_HOME is deprecated.”报警
解决：添加   export HADOOP_HOME_WARN_SUPPRESS=TRUE 到 hadoop-env.sh  中

问题2：namenode无法启动
解决：删除/tmp/hadoop*　执行bin/hadoop namenode –format

在hadoop单机环境搭建成功后，可以搭建hive。

在hdfs上建目录：

[plain] view plaincopy

  1. $ hadoop fs -mkdir /tmp
  2. $ hadoop fs -mkdir /user/hive/warehouse

添加权限：

[plain] view plaincopy

  1. $ hadoop fs -chmod g+w   /tmp
  2. $ hadoop fs -chmod g+w   /user/hive/warehouse

下载解压hive：
$ wget http://labs.mop.com/apache-mirror/hive/stable/hive-0.8.1.tar.gz .
$ tar -zxvf hive-0.8.1.tar.gz

设置HADOOP_HOME、HIVE_HOME，并将其添加到~/.bashrc

[plain] view plaincopy

  1. export HADOOP_HOME=/home/zxm/hadoop/hadoop-1.0.3
  2. export HIVE_HOME=/home/work/hadoop/hive-0.8.1

多用户支持
(确认已安装好mysql)
启动mysql：
$ mysql -u root -p
mysql>grant all on hive.* to [email protected] identified by ‘123456‘

修改hive conf/hive-site.xml，如下：

[plain] view plaincopy

  1. <property>
  2. <name>javax.jdo.option.ConnectionURL</name>
  3. <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true<alue>
  4. <description>JDBC connect string for a JDBC metastore</description>
  5. </property>
  6. <property>
  7. <name>javax.jdo.option.ConnectionDriverName</name>
  8. <value>com.mysql.jdbc.Driver<alue>
  9. <description>Driver class name for a JDBC metastore</description>
  10. </property>
  11. <property>
  12. <name>javax.jdo.option.ConnectionUserName</name>
  13. <value>hive<alue>
  14. <description>username to use against metastore database</description>
  15. </property>
  16. <property>
  17. <name>javax.jdo.option.ConnectionPassword</name>
  18. <value>123456<alue>
  19. <description>password to use against metastore database</description>
  20. </property>

下载mysql jdbc包：
wget http://downloads.mysql.com/archives/mysql-connector-java-5.0/mysql-connector-java-5.0.8.tar.gz .
解压：
tar -zxvf mysql-connector-java-5.0.8.tar.gz

将mysql-connector-java-5.0.8-bin.jar拷贝到hive lib目录下：
cp mysql-connector-java-5.0.8/mysql-connector-java-5.0.8-bin.jar  ./lib

启动hive：
$ cd /home/zxm/hadoop/hive-0.8.1 ; ./bin/hive

测试：
$ ./hive
WARNING: org.apache.hadoop.metrics.jvm.EventCounter is deprecated. Please use org.apache.hadoop.log.metrics.EventCounter in all the log4j.properties files.
Logging initialized using configuration in jar:file:/home/zxm/hadoop/hive-0.8.1/lib/hive-common-0.8.1.jar!/hive-log4j.properties
Hive history file=/tmp/work/hive_job_log_work_201207051945_218572007.txt
hive> SHOW TABLES;
OK
Time taken: 7.281 seconds
hive> CREATE TABLE pokes (foo INT, bar STRING);
OK
Time taken: 0.398 seconds
hive> SHOW TABLES;                             
OK
pokes
Time taken: 0.181 seconds
hive> DESCRIBE pokes;
OK
foo     int
bar     string
Time taken: 0.58 seconds
hive>

时间： 2024-08-14 02:34:55

[转载] Hadoop和Hive单机环境搭建的相关文章

【Hadoop基础教程】1、Hadoop之服务器基础环境搭建

本blog以K-Master服务器基础环境配置为例分别演示用户配置.sudo权限配置.网路配置.关闭防火墙.安装JDK工具等.用户需参照以下步骤完成KVMSlave1~KVMSlave3服务器的基础环境配置. 开发环境 硬件环境:Centos 6.5 服务器4台(一台为Master节点,三台为Slave节点) 软件环境:Java 1.7.0_45.hadoop-1.2.1 1.安装环境 硬件环境:Centos 6.5 服务器4台(一台为Master节点,三台为Slave节点) 软件环境:Java

【Hadoop基础教程】4、Hadoop之完全分布式环境搭建

上一篇blog我们完成了Hadoop伪分布式环境的搭建,伪分布式模式也叫单节点集群模式, NameNode.SecondaryNameNode.DataNode.JobTracker.TaskTracker所有的守护进程全部运行在K-Master节点之上.在本篇blog我们将搭建完全分布式环境,运行NameNode.SecondaryNameNode.JobTracker守护进程在主节点上,运行DataNode.TaskTracker在从节点上. 开发环境 硬件环境:Centos 6.5 服务器

spark单机环境搭建以及快速入门

1 单机环境搭建 系统环境 cat /etc/centos-release CentOS Linux release 7.3.1611 (Core) 配置jdk8 wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.

kafka单机环境搭建

1,准备工作:  windows下虚拟机上安装centos7,下载putty工具. 2,windows下下载相关的安装包 jdk-8u71-linux-x64.rpm kafka_2.11-0.9.0.0.tgz zookeeper-3.4.6.tar.gz 3,通过putty的pscp工具将上述3个文件上传到centos的/home/xf/backup目录(自己指定目录) 4,启动一个putty窗口连接centos,rpm方式安装jdk-8u71-linux-x64.rpm 5,解压kafka

Linux巩固记录（3） hadoop 2.7.4 环境搭建

由于要近期使用hadoop等进行相关任务执行,操作linux时候就多了 以前只在linux上配置J2EE项目执行环境,无非配置下jdk,部署tomcat,再通过docker或者jenkins自动部署上去 看下进程,复制粘贴删除等基本操作,很多东西久了不用就忘了,所有写个demo巩固下曾经的linux知识 后续会有hadoop等主流的大数据相关环境的搭建及使用 ---------------------------------------------------------------------

Hadoop源码阅读环境搭建

Hadoop源码阅读环境搭建 一.说明 作为一个学习hadoop的同学,必须在本机上搭建hadoop源码阅读环境,这样,在方便阅读源码的同时也方便进行调试和源码修改.好了,下面开始搭建环境. 1.环境说明:hadoop 版本:1.2.1. IDE:eclipse.操作系统:centos 2.网上有人是通过eclipse的新建项目指定目录的方式将hadoop目录转换成Eclipse工程同时导入eclipse,具体做法如下: File-->new-->Java Project-->勾掉Use

kafka单机环境搭建及其基本使用

最近在搞kettle整合kafka producer插件,于是自己搭建了一套单机的kafka环境,以便用于测试.现整理如下的笔记,发上来和大家分享.后续还会有kafka的研究笔记,依然会与大家分享! 1 kafka环境搭建 1.1 kafka单机环境搭建 (1).解压kafka_2.11-1.1.0.tgz,得到"kafka_2.11-1.1.0"文件夹. (2).kafka需要安装zookee使用,但kafka集成zookeeper,在单机搭建时可直接使用.使用需配置kafka_2.

HBase、Hive、MapReduce、Hadoop、Spark 开发环境搭建后的一些步骤（export导出jar包方式 或 Ant 方式）

步骤一 若是,不会HBase开发环境搭建的博文们,见我下面的这篇博客. HBase 开发环境搭建(Eclipse\MyEclipse + Maven) 步骤一里的,需要补充的.如下: 在项目名,右键, 然后,编写pom.xml,这里不多赘述.见 HBase 开发环境搭建(Eclipse\MyEclipse + Maven) 完成之后呢,编写好代码,对吧. 步骤二  HBase 开发环境搭建后的一些步骤(export导出jar包方式  或 Ant 方式) 这里,不多说,玩过大数据一段时间的博友们,

Hadoop分布式集群环境搭建

分布式环境搭建之环境介绍 之前我们已经介绍了如何在单机上搭建伪分布式的Hadoop环境,而在实际情况中,肯定都是多机器多节点的分布式集群环境,所以本文将简单介绍一下如何在多台机器上搭建Hadoop的分布式环境. 我这里准备了三台机器,IP地址如下: 192.168.77.128 192.168.77.130 192.168.77.134 首先在这三台机器上编辑/etc/hosts配置文件,修改主机名以及配置其他机器的主机名 [[email protected] ~]# vim /etc/host