hive-site.xml配置文件参数解释.docx

hive-site.xml

由%hive-1.1.0%/conf/hive-default.xml.template文件复制得到。
在hive-site.xml文件中配置Hive默认的数据文件存放目录。须提前创建。这里的配置会覆盖hive-default.xml中的配置。

1)       hive.exec.scratchdir

约46行:


<property>

<name>hive.exec.scratchdir</name>  <!--   指定HDFS内hive数据临时文件存放目录。启动hive,HDFS即自动创建 -->

<value>/hive-1.1.0/scratchdir/tmp</value> <!-- HDFS路径,可hadoop fs -ls / 查看。默认:/tmp/hive -->

<description>HDFS   root scratch dir for Hive jobs which gets created with write all (733)   permission. For each connecting user, an HDFS scratch dir: ${hive.exec.scratchdir}/&lt;username&gt;   is created, with ${hive.scratch.dir.permission}.</description>

</property>

2)hive.metastore.warehouse.dir

约334行:


<property>

<name>hive.metastore.warehouse.dir</name>  <!--   指定HDFS内hive数据存放目录。HDFS自动创建 -->

<value>/hive-1.1.0/warehousedir/home</value>  <!--   HDFS路径。默认:/user/hive/warehouse -->

</property>

3)javax.jdo.option.ConnectionURL

Derby

约385行,指定derby数据库地址(可选):


<property>

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:derby:/derby_dbs;create=true;logDevice=/derby_logs;</value>

<!-- derby_dbs、derby_logs由程序自动创建,后者保存日志。如果按照默认,数据库和日志目录创建在hive启动的目录。

如果下次启动hive不是在相同的目录,可能会报错找不到数据库。

不管从哪个目录启动hive,都会在其中创建一个Derby.log文件。不知道如何改变这个情况。删除之不影响下次启动。

默认 jdbc:derby:;databaseName=metastore_db;create=true -->

</property>

Mysql

<property>

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>

<description>JDBC connect string   for a JDBC metastore</description>

</property>

4)system:java.io.tmpdir

关于下面的4个属性,可以在第50行之前,创建:


<property>

  <name>system:java.io.tmpdir</name>

  <!-- 指定下文可用的${system:java.io.tmpdir}。默认对应 /tmp -->

  <value>/home/hive-1.1.0</value>

</property>

如果感觉不理想,可以单独配置:
  (1)约51行:

<property>

<name>hive.exec.local.scratchdir</name>

<!-- 指定Hive的DDL/DML作业计算结果本地存储目录 -->

<value>/home/hive-1.1.0/scratchdir</value> <!-- value>${system:java.io.tmpdir}/${system:user.name}</value -->

</property>

  (2)约56行:

<property>

<name>hive.downloaded.resources.dir</name>

<!-- 用于向远程文件系统添加资源的本地临时目录  -->

<value>/home/hive-1.1.0/resourcesdir/${hive.session.id}_resources</value>

<!-- value>${system:java.io.tmpdir}/${hive.session.id}_resources</value -->

  </property>

  (3)约1181行:

  <property>

<name>hive.querylog.location</name>

<!-- 指定hive查询日志本地存放目录  -->

<value>/home/hive-1.1.0/query_logs</value> <!-- value>${system:java.io.tmpdir}/${system:user.name}</value -->

  </property>

  (4)约2720行:

<property>

<name>hive.server2.logging.operation.log.location</name>

<!-- 开启日志功能后存储日志的本地顶层目录  -->

<value>/home/hive-1.1.0/operation_logs</value>

<!-- value>${system:java.io.tmpdir}/${system:user.name}/operation_logs</value -->

</property>

时间: 2024-11-05 22:05:57

hive-site.xml配置文件参数解释.docx的相关文章

01_MyBatis EHCache集成及所需jar包,ehcache.xml配置文件参数配置及mapper中的参数配置

 1 与mybatis集成时需要的jar ehcache-core-2.6.5.jar mybatis-ehcache-1.0.2.jar Mybatis.日志.EHCache所需要的jar包如下: 2 EHCache与mybatis集成 EHCache是一种广泛使用java分布式缓存通用缓存,JavaEE中的一个轻量级的容器. EHCache集成是基于ehcache-core,没有任何其它第三方应用程序. 想使用EHCache到她们的应用程序的用户,必须下载EHCache的zip bund

my.cnf 配置文件参数解释

my.cnf 配置文件参数解释: #*** client options 相关选项 ***# #以下选项会被MySQL客户端应用读取.注意只有MySQL附带的客户端应用程序保证可以读取这段内容.如果你想你自己的MySQL应用程序获取这些值.需要在MySQL客户端库初始化的时候指定这些选项. [client] port = 3309 socket = /usr/local/mysql/tmp/mysql.sock [mysqld] !include /usr/local/mysql/etc/mys

mysql my.cnf 或my.ini配置文件参数解释(转):

#*** client options 相关选项 ***# #以下选项会被MySQL客户端应用读取.注意只有MySQL附带的客户端应用程序保证可以读取这段内容.如果你想你自己的MySQL应用程序获取这些值.需要在MySQL客户端库初始化的时候指定这些选项. [client] port = 3309 socket = /usr/local/mysql/tmp/mysql.sock [mysqld] !include /usr/local/mysql/etc/mysqld.cnf #包含的配置文件

SSM:spring+springmvc+mybatis框架中的XML配置文件功能详细解释

SSM:spring+springmvc+mybatis框架中的XML配置文件功能详细解释 2016-04-14 23:40 13030人阅读 评论(2) 收藏 举报 分类: SSM(7) 这几天一直在整合SSM框架,虽然网上有很多已经整合好的,但是对于里面的配置文件并没有进行过多的说明,很多人知其然不知其所以然,经过几天的搜索和整理,今天总算对其中的XML配置文件有了一定的了解,所以拿出来一起分享一下,希望有不足的地方大家批评指正~~~ 首先   这篇文章暂时只对框架中所要用到的配置文件进行解

Maven之setting.xml配置文件详解

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd "> <!-- 父项目的坐标.如

Maven的pom.xml配置文件详解

1 Maven的pom.xml配置文件详解 2 Maven简述 3 Maven项目对象模型(POM),可以通过一小段描述信息来管理项目的构建,报告和文档的软件项目管理工具. 4 Maven 除了以程序构建能力为特色之外,还提供高级项目管理工具.由于 Maven 的缺省构建规则有较高的可重用性,所以常常用两三行 Maven 构建脚本就可以构建简单的项目.由于 Maven 的面向项目的方法,许多 Apache Jakarta 项目发文时使用 Maven,而且公司项目采用 Maven 的比例在持续增长

solr的schema.xml配置属性解释

schema.xml做什么? SOLR加载数据,创建索引和数据时,核心数据结构的配置文件是schema.xml,该配置文件主要用于配置数据源,字段类型定义,搜索类型定义等.schema.xml的配置直接影响搜索结果的准确性与效率. <types></types>节点 types节点主要用于搜索类型的定义,这里给出常用类型的定义. 1 <fieldType name="string" class="solr.StrField" sortM

03SpringMvc_自定义的spring.xml配置文件和逻辑视图名

这篇文章的目的是实现Struts2中一种形式(封装视图的逻辑名称),在Struts2中Action处理后会返回"SUCCESS"这样,然后根据"SUCCESS"跳转到相对应的Jsp页面,但是前一篇文章中直接配的是modelAndView.setViewName("/jsp/success.jsp");.所以这篇文章实现上面那个功能(封装视图的逻辑名称). ----------------------------------------------

solr4.2 solrconfig.xml配置文件简单介绍

对于solr4.x的每个core有两个很重要的配置文件:solrconfig.xml和schema.xml,下面我们来了解solrconfig.xml配置文件. 具体很详细的内容请细读solrcofig.xml配置文件中的英文说明. 1. “solr.”--代表solr home,即core所在的目录,如:/example/solr/collection1 2. <luceneMatchVersion>LUCENE_42</luceneMatchVersion> 告诉solr底层使