hive配置项的含义详情

参考资料:http://www.blogjava.net/changedi/archive/2013/11/13/406295.html

fs.har.impl:访问Hadoop Archives的实现类,低于hadoop 0.20版本的都不兼容,默认是org.apache.hadoop.hive.shims.HiveHarFileSystem;

hive.archive.enabled:是否允许归档操作,默认是false;

hive.archive.har.parentdir.settable:在创建HAR文件时必须要有父目录,需要手动设置,在新的hadoop版本会支持,默认是false;

hive.support.concurrency:hive是否支持并发,默认是false,支持读写锁的话,必须要起zookeeper;

hive.lock.mapred.only.operation:控制是否在查询时加锁,默认是false;

hive.lock.numretries:获取锁时尝试的重试次数,默认是100;

hive.lock.sleep.between.retries:在重试间隔的睡眠时间,默认60秒;

hive.zookeeper.quorum:zk地址列表,默认是空;

hive.zookeeper.client.port:zk服务器的连接端口,默认是2181;

hive.zookeeper.session.timeout:zk客户端的session超时时间,默认是600000;

hive.zookeeper.namespace:在所有zk节点创建后的父节点,默认是hive_zookeeper_namespace;

hive.zookeeper.clean.extra.nodes:在session结束时清除所有额外node;

hive.cluster.delegation.token.store.class:代理token的存储实现类,默认是org.apache.hadoop.hive.thrift.MemoryTokenStore,可以设置为org.apache.hadoop.hive.thrift.ZooKeeperTokenStore来做负载均衡集群;

hive.cluster.delegation.token.store.zookeeper.connectString:zk的token存储连接串,默认是localhost:2181;

hive.cluster.delegation.token.store.zookeeper.znode:token存储的节点跟路径,默认是/hive/cluster/delegation;

hive.cluster.delegation.token.store.zookeeper.acl:token存储的ACL,默认是sasl:hive/[email protected]:cdrwa,sasl:hive/[email protected]:cdrwa;

hive.use.input.primary.region:从一张input表创建表时,创建这个表到input表的主region,默认是true;

hive.default.region.name:默认region的名字,默认是default;

hive.region.properties:region的默认的文件系统和jobtracker,默认是空;

hive.cli.print.header:查询输出时是否打印名字和列,默认是false;

hive.cli.print.current.db:hive的提示里是否包含当前的db,默认是false;

hive.hbase.wal.enabled:写入hbase时是否强制写wal日志,默认是true;

hive.hwi.war.file:hive在web接口是的war文件的路径,默认是lib/hive-hwi-xxxx(version).war;

hive.hwi.listen.host:hwi监听的host地址,默认是0.0.0.0;

hive.hwi.listen.port:hwi监听的端口,默认是9999;

hive.test.mode:hive是否运行在测试模式,默认是false;

hive.test.mode.prefix:在测试模式运行时,表的前缀字符串,默认是test_;

hive.test.mode.samplefreq:如果hive在测试模式运行,并且表未分桶,抽样频率是多少,默认是32;

hive.test.mode.nosamplelist:在测试模式运行时不进行抽样的表列表,默认是空;

时间: 2024-12-15 19:17:25

hive配置项的含义详情的相关文章

Hive配置项的含义详解

hive.exec.script.maxerrsize:一个map/reduce任务允许打印到标准错误里的最大字节数,为了防止脚本把分区日志填满,默认是100000: hive.exec.script.allow.partial.consumption:hive是否允许脚本不从标准输入中读取任何内容就成功退出,默认关闭false: hive.script.operator.id.env.var:在用户使用transform函数做自定义map/reduce时,存储唯一的脚本标识的环境变量的名字,默

hive入门学习线路指导

转自:http://www.aboutyun.com/thread-7598-1-1.html hive被大多数企业使用,学习它,利于自己掌握企业所使用的技术,这里从安装使用到概念.原理及如何使用遇到的问题,来讲解hive,希望对大家有所帮助.此篇内容较多:看完之后需要达到的目标1.hive是什么2.明白hive的原理3.会使用hive4.会使用hive编程 1.hive首先我们需要hive是什么?让你真正明白什么是hive上面讲的很明白1.hive是一个数据仓库2.hive基于hadoop.总

零基础学习hadoop到上手工作线路指导初级篇:hive及mapreduce

此篇是在零基础学习hadoop到上手工作线路指导(初级篇)的基础,一个继续总结.五一假期:在写点内容,也算是总结.上面我们会了基本的编程,我们需要对hadoop有一个更深的理解:hadoop分为hadoop1.X.hadoop2.X,并且还有hadoop生态系统.这里只能慢慢介绍了.一口也吃不成胖子. hadoop 1.x分为mapreduce与hdfs 其中mapreduce是很多人都需要迈过去的槛,它比较难以理解,我们有时候即使写出了mapreduce程序,但是还是摸不着头脑.我们不知道ke

BG.Hive - part1

1. Hive架构 What is hive? Facebook,https://en.wikipedia.org/wiki/Apache_Hive a> 一种工具,可以通过SQL轻松的访问数据,可以完成数据仓库任务,如ETL,报表及数据分析 b> 一种机制,增强多样化数据格式的结构 c> 数据访问,HDFS或者其他的数据存储系统(HBase) d> 查询方式,类SQL的HiveQL 默认引擎为MapReduce,简单的Select * From..不会转换为MR任务 e>

Jmeter Plugins----- Transactions per Second 配置项

Jmeter Plugins---version 0.5.5 官方解释: Transactions per Second since 0.3.0 This graph shows the number of transactions per second for each sampler. It counts for each seconds the number of finished transactions. Compared to the previous version (0.3.0)

Nginx 进阶 (ssl、fpm、rewrite、cache配置等)

一.配置https网站 1.自建CA (1)生成私钥文件 mkdir -p /etc/pki/CA/private #创建私钥保存的目录 (umask 077;openssl genrsa -out /etc/pki/CA/private/cakey.pem 4096) #创建私钥 ll /etc/pki/CA/private/ # 私钥只能自己保存,对保密性要求高 (2)生成自签证书 openssl req -new -x509 -key /etc/pki/CA/private/cakey.p

Log4 配置简介

本文主要解释log4j的配置文件各个配置项的含义,内容是从网上转载的 第1章. Log4j 的优点 Log4j是Apache的一个开放源代码项目,通过使用Log4j,我们可以控制日志信息输送的:我们也可以控制每一条日志的输出格式:通过定义每一条日志信息的级别,我们能够更加细致地控制日志的生成过程.最令人感兴趣的就是,这些可以通过一个配置文件来灵活地进行配置,而不需要修改应用的代码. log4j的好处在于: 1) 通过修改配置文件,就可以决定log信息的目的地——控制台.文件.GUI组件.甚至是套

排查一些常见的系统故障

排除系统启动类故障 在Linux系统的启动过程中,涉及到MBR主引导记录.GRUB启动菜单.系统初始化配置文件.分区挂载配置文件等各方面,其中任何一个环节出现故障都可能会导致系统启动的失常,因此一定要注意做好相关文件的备份功能. 一.MBR扇区故障 MBR引导记录位于物理硬盘的第一个扇区(512个字节),该扇区又称为主引导扇区(MBR扇区),除了包含系统引导程序的部分数据以外,还包含了整个硬盘的分区表记录.当主引导扇区发送故障时,将可能无法进入主引导菜单,或者因无法找到正确的分区位置而无法加载系

C3P0连接池配置

C3P0是一个开源的JDBC连接池,详情请google. 在spring中,C3P0的一些配置,介绍如下(只列了一部分,不是全部) C3P0更详细的配置项及其含义,请参考:http://www.mchange.com/projects/c3p0/index.html <!-- c3p0连接池配置 --> <bean id="dataSource" class="com.mchange.v2.c3p0.ComboPooledDataSource"&g