windows环境下安装hadoop,hive的使用案例

Hadoop安装:

首先到官方下载官网的hadoop2.7.7,链接如下 
https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ 
找网盘的hadooponwindows-master.zip 
链接如下 
https://pan.baidu.com/s/1VdG6PBnYKM91ia0hlhIeHg 
把hadoop-2.7.7.tar.gz解压后 
使用hadooponwindows-master的bin和etc替换hadoop2.7.7的bin和etc

注意:安装Hadoop2.7.7 
  官网下载Hadoop2.7.7,安装时注意,最好不要安装到带有空格的路径名下,例如:Programe Files,否则在配置Hadoop的配置文件时会找不到JDK(按相关说法,配置文件中的路径加引号即可解决,但我没测试成功)。 
配置HADOOP_HOME

path添加%HADOOP_HOME%\bin(win10不用分号或者如下编辑界面不用分号,其余加上 ;)

-----------------------------------------------------------配置文件----------------------------

使用编辑器打开E:\Hadoop2.7.7\hadoop-2.7.7\etc\hadoop\hadoop-env.cmd 
修改JAVA_HOME的路径 
把set JAVA_HOME改为jdk的位置 
注意其中PROGRA~1代表Program Files 
set JAVA_HOME=E:\PROGRA~1\Java\jdk1.8.0_171

打开 hadoop-2.7.7/etc/hadoop/hdfs-site.xml 
修改路径为hadoop下的namenode和datanode

dfs.replication 
1

dfs.namenode.name.dir 
/E:/Hadoop2.7.7/hadoop-2.7.7/data/namenode

dfs.datanode.data.dir 
/E:/Hadoop2.7.7/hadoop-2.7.7/data/datanode

在E:\Hadoop-2.7.7目录下 添加tmp文件夹 
在E:/Hadoop2.7.7/hadoop-2.7.7/添加data和namenode,datanode子文件夹

还需要把hadoop.dll(从)拷贝到 C:\Windows\System32

不然在window平台使用MapReduce测试时报错

以管理员身份打开命令提示符 
输入hdfs namenode -format,看到seccessfully就说明format成功。

转到Hadoop-2.7.3\sbin文件下   输入start-all,启动hadoop集群 ,关闭是 stop-all

输入jps - 可以查看运行的所有节点

访问http://localhost:50070,访问hadoop的web界面

---------------------------------------------------------------------

hadoop启动后,创建如下的HDFS文件:

D:\Code\hadoop-2.7.7\hadoop-2.7.7\sbin>hdfs dfs -mkdir /user
D:\Code\hadoop-2.7.7\hadoop-2.7.7\sbin>hdfs dfs -mkdir /user/hive
D:\Code\hadoop-2.7.7\hadoop-2.7.7\sbin>hdfs dfs -mkdir /user/hive/warehouse
D:\Code\hadoop-2.7.7\hadoop-2.7.7\sbin>hdfs dfs -mkdir /tmp
D:\Code\hadoop-2.7.7\hadoop-2.7.7\sbin>hdfs dfs -mkdir /tmp/hive
D:\Code\hadoop-2.7.7\hadoop-2.7.7\sbin>hadoop fs -chmod -R 777 /tmp

HIVE安装:

1.安装hadoop

2.从maven中下载mysql-connector-java-5.1.26-bin.jar(或其他jar版本)放在hive目录下的lib文件夹

3.配置hive环境变量,HIVE_HOME=F:\hadoop\apache-hive-2.1.1-bin

4.hive配置

hive的配置文件放在$HIVE_HOME/conf下,里面有4个默认的配置文件模板

hive-default.xml.template                           默认模板

hive-env.sh.template                hive-env.sh默认配置

hive-exec-log4j.properties.template    exec默认配置

hive-log4j.properties.template               log默认配置

可不做任何修改hive也能运行,默认的配置元数据是存放在Derby数据库里面的,大多数人都不怎么熟悉,我们得改用mysql来存储我们的元数据,以及修改数据存放位置和日志存放位置等使得我们必须配置自己的环境,下面介绍如何配置。

(1)创建配置文件

$HIVE_HOME/conf/hive-default.xml.template  -> $HIVE_HOME/conf/hive-site.xml

$HIVE_HOME/conf/hive-env.sh.template  -> $HIVE_HOME/conf/hive-env.sh

$HIVE_HOME/conf/hive-exec-log4j.properties.template ->  $HIVE_HOME/conf/hive-exec-log4j.properties

$HIVE_HOME/conf/hive-log4j.properties.template  -> $HIVE_HOME/conf/hive-log4j.properties

(2)修改 hive-env.sh

export HADOOP_HOME=F:\hadoop\hadoop-2.7.2
export HIVE_CONF_DIR=F:\hadoop\apache-hive-2.1.1-bin\conf
export HIVE_AUX_JARS_PATH=F:\hadoop\apache-hive-2.1.1-bin\lib

(3)修改 hive-site.xml

  1  <!--修改的配置-->
  2
  3 <property>
  4
  5 <name>hive.metastore.warehouse.dir</name>
  6
  7 <!--hive的数据存储目录,指定的位置在hdfs上的目录-->
  8
  9 <value>/user/hive/warehouse</value>
 10
 11 <description>location of default database for the warehouse</description>
 12
 13 </property>
 14
 15 <property>
 16
 17 <name>hive.exec.scratchdir</name>
 18
 19 <!--hive的临时数据目录,指定的位置在hdfs上的目录-->
 20
 21 <value>/tmp/hive</value>
 22
 23 <description>HDFS root scratch dir for Hive jobs which gets created with write all (733) permission. For each connecting user, an HDFS scratch dir: ${hive.exec.scratchdir}/<username> is created, with ${hive.scratch.dir.permission}.</description>
 24
 25 </property>
 26
 27 <property>
 28
 29 <name>hive.exec.local.scratchdir</name>
 30
 31 <!--本地目录-->
 32
 33 <value>F:/hadoop/apache-hive-2.1.1-bin/hive/iotmp</value>
 34
 35 <description>Local scratch space for Hive jobs</description>
 36
 37 </property>
 38
 39 <property>
 40
 41 <name>hive.downloaded.resources.dir</name>
 42
 43 <!--本地目录-->
 44
 45 <value>F:/hadoop/apache-hive-2.1.1-bin/hive/iotmp</value>
 46
 47 <description>Temporary local directory for added resources in the remote file system.</description>
 48
 49 </property>
 50
 51 <property>
 52
 53 <name>hive.querylog.location</name>
 54
 55 <!--本地目录-->
 56
 57 <value>F:/hadoop/apache-hive-2.1.1-bin/hive/iotmp</value>
 58
 59 <description>Location of Hive run time structured log file</description>
 60
 61 </property>
 62
 63 <property>
 64
 65 <name>hive.server2.logging.operation.log.location</name>
 66
 67 <value>F:/hadoop/apache-hive-2.1.1-bin/hive/iotmp/operation_logs</value>
 68
 69 <description>Top level directory where operation logs are stored if logging functionality is enabled</description>
 70
 71 </property>
 72
 73 <!--新增的配置-->
 74
 75 <property>
 76
 77 <name>javax.jdo.option.ConnectionURL</name>
 78
 79 <value>jdbc:mysql://localhost:3306/hive?characterEncoding=UTF-8</value>
 80
 81 </property>
 82
 83 <property>
 84
 85 <name>javax.jdo.option.ConnectionDriverName</name>
 86
 87 <value>com.mysql.jdbc.Driver</value>
 88
 89 </property>
 90
 91 <property>
 92
 93 <name>javax.jdo.option.ConnectionUserName</name>
 94
 95 <value>root</value>
 96
 97 </property>
 98
 99 <property>
100
101 <name>javax.jdo.option.ConnectionPassword</name>
102
103 <value>root</value>
104
105 </property>
106
107 <!-- 解决 Required table missing : "`VERSION`" in Catalog "" Schema "". DataNucleus requires this table to perform its persistence operations. Either your MetaData is incorrect, or you need to enable "datanucleus.autoCreateTables"  -->
108
109 <property>
110
111 <name>datanucleus.autoCreateSchema</name>
112
113 <value>true</value>
114
115 </property>
116
117 <property>
118
119 <name>datanucleus.autoCreateTables</name>
120
121 <value>true</value>
122
123 </property>
124
125 <property>
126
127 <name>datanucleus.autoCreateColumns</name>
128
129 <value>true</value>
130
131 </property>
132
133 <!-- 解决 Caused by: MetaException(message:Version information not found in metastore. )  -->
134
135 <property>
136
137 <name>hive.metastore.schema.verification</name>
138
139 <value>false</value>
140
141 <description>
142
143     Enforce metastore schema version consistency.
144
145     True: Verify that version information stored in metastore matches with one from Hive jars.  Also disable automatic
146
147           schema migration attempt. Users are required to manully migrate schema after Hive upgrade which ensures
148
149           proper metastore schema migration. (Default)
150
151     False: Warn if the version information stored in metastore doesn‘t match with one from in Hive jars.
152
153 </description>
154
155 </property>   

注:需要事先在hadoop上创建hdfs目录

启动metastore服务:hive --service metastore

在数据库中生成对应的 hive 数据库

启动Hive:hive

-------------------------------------------------------------- 创建表 以及 查询案例

hive上创建表:

CREATE TABLE testB (
id INT,
name string,
area string
) PARTITIONED BY (create_time string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t‘ STORED AS TEXTFILE;

将本地文件上传到 HDFS:

HDFS下执行:    D:\Code\hadoop-2.7.7\hadoop-2.7.7\sbin>hdfs dfs -put D:\Code\hadoop-2.7.7\gxy\bbb.txt /user/hive/warehouse

hive导入HDFS中的数据:

LOAD DATA INPATH ‘/user/hive/warehouse/bbb.txt‘ INTO TABLE testb PARTITION(create_time=‘2015-07-08‘);

执行选择命令:

select * from testb;

原文地址:https://www.cnblogs.com/gxyandwmm/p/10837813.html

时间: 2024-11-09 12:29:39

windows环境下安装hadoop,hive的使用案例的相关文章

[转]Windows平台下安装Hadoop

1.安装JDK1.6或更高版本 官网下载JDK,安装时注意,最好不要安装到带有空格的路径名下,例如:Programe Files,否则在配置Hadoop的配置文件时会找不到JDK(按相关说法,配置文件中的路径加引号即可解决,但我没测试成功). 2.安装Cygwin Cygwin是Windows平台下模拟Unix环境的工具,需要在安装Cygwin的基础上安装Hadoop,下载地址:http://www.cygwin.com/ 根据操作系统的需要下载32位或64的安装文件. 1).双击下载好的安装文

windows 环境下安装wampserver2.5 64位

windows 环境下安装wampserver2.5 64位 出现的问题如下: 1.安装成功后修改mysql root 密码 (开始密码默认为空) 1.打开 mysql控制台 2.use mysql 3.update user set password=password(新密码) where user='root'; 4.flush privileges; (使修改的密码生效) 5.quit 退出控制台 2.配置apache 单IP 多站点 (开启虚拟机访问多站点) 1.找到httpd.conf

在windows环境下安装redis和phpredis的扩展

在windows环境下安装redis和phpredis的扩展 1.首先配置php: 需要在windows的集成环境中找到php的扩展文件夹,ext,然后在网上寻找自己的php对应的.dll文件 比如说的我的phpinfo里面显示是Arti..:x86,所以需要选择X86,这个跟系统无关,我的系统还是64位的呢! 然后我的集成环境是ts而不是nts这个都可以在phpinfo文件中找到! 下载文件php_igbinary.dll,php_redis.dll 然后修改配置文件php.ini(php文件

在Windows环境下安装mod_dav

问题 如何在已行的1.3版本的Apachc服务器上安装mod_dav来启用WebDAV功能? 解决方法 Apache2.0版本把mod_dav作为一个标准的模块,因此你不需要下载及编译安装它. 从http://webdav.arg/nwd/win32获取Windows下的mod_dav包并解包.确认你的Apache服 务器是否在ServerRoot目录下安装了xmlparse.dll以及xmJtok.dll文件,如果这两个文件不存在, 则查找Apache整个目录并拷贝他们到ServerRoot下

windows环境下安装apache及使用apache搭建反向代理

一.配置Apache平台软件 1.下载apache软件 http://httpd.apache.org/ 从Apache官网下载windows安装版的Apache服务器了,现在分享给大家. 2.方法/步骤如下: 2.1.进入apache服务器官网http://httpd.apache.org/,这里我们以下载稳定版的httpd 2.2.29为例,点击download. 2.2.download.cgi页面,往下翻找到2.2.29版本,其中有两个下载选项 Source: httpd-2.2.29.

从零开始Windows环境下安装python+tensorflow

从零开始Windows环境下安装python+tensorflow 2017年07月12日 02:30:47 qq_16257817 阅读数:29173 标签: windowspython机器学习tensorflowAnaconda 更多 个人分类: machine-learning 前言 安装环境 tensorflow Anaconda 安装步骤 1.安装Anaconda 2.安装tensorflow 3.测试是否安装成功 总结 前言 本文介绍在Windows平台下,使用Anoconda简单安

windows环境下安装win8.1+Mac OS X 10.10双系统教程

首先要感谢远景论坛里的各位大神们的帖子  没有他们的分享我也不能顺利的装上Mac OS X 10.10! 写这篇随笔主要是为了防止自己遗忘,同时给大家分享下我的经验. 本教程适用于BIOS+MBR分区的朋友们使用 首先介绍下我的电脑硬件信息 安装环境为:win8.1系统 引导方式为:变色龙r2378 一.准备工作 1.下载Mac OS X 10.10镜像(本镜像为懒人版镜像非官方镜像) 地址:http://pan.baidu.com/s/1gdEf4Gj 2.下载所需要使用到的工具,我将所有需要

【大数据系列】windows环境下搭建hadoop开发环境从hadoop URL读取数据

前言 搭建完hadoop集群之后在windows环境下搭建java项目进行测试 操作hdfs中的文件 版本一 package com.slp.hadoop274.hdfs; import java.io.IOException; import java.io.InputStream; import java.net.URL; import java.net.URLConnection; import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;

Windows平台下安装Hadoop

1.安装JDK1.6或更高版本 官网下载JDK,安装时注意,最好不要安装到带有空格的路径名下,例如:Programe Files,否则在配置Hadoop的配置文件时会找不到JDK(按相关说法,配置文件中的路径加引号即可解决,但我没测试成功). 2.安装Cygwin Cygwin是Windows平台下模拟Unix环境的工具,需要在安装Cygwin的基础上安装Hadoop,下载地址:http://www.cygwin.com/ 根据操作系统的需要下载32位或64的安装文件. 1).双击下载好的安装文