记一发Hive on tez的配置(Hive 3.1.1, Hadoop 3.0.3, Tez 0.9.1)

直接下载Tez的binary包部署安装是有问题的,因为默认支持hadoop版本为2.7,2.7以上的就需要手动编译了。

  1. 下载Tez源码
  2. CD到源码文件夹,mvn install -Dhadoop.version=3.0.3 -DskipTests -Dmaven.javadoc.skip=true

    这里有个需要注意的地方,tez-ui的编译会很麻烦,因为伟大的墙。实在编译不过就跳过tez-ui模块吧……不影响其他部分的编译。

编译成功后,后面的步骤参考:https://blog.csdn.net/zhoudetiankong/article/details/52238551

这里就不冗余的介绍了。

原文地址:https://www.cnblogs.com/archisama/p/10348580.html

时间: 2024-10-31 06:15:33

记一发Hive on tez的配置(Hive 3.1.1, Hadoop 3.0.3, Tez 0.9.1)的相关文章

Hive 教程(五)-参数配置方式总结

hive 配置 hive> set; 查看所有配置hive> set key: 查看某个配置hive> set key value: 设置某个配置 我们可以看到一些 hadoop 的配置,因为 hive 也读入了 hadoop 的配置 hive 的参数配置有 3 种方式 1. 配置文件 默认配置文件:hive-default.xml 自定义配置文件:hive-site.xml 自定义配置文件会覆盖默认配置文件 2. 命令行参数 加上  -hiveconf key=value -hivec

配置 Hive On Tez

配置 Hive On Tez 标签(空格分隔): hive Tez 部署底层应用 简单介绍 介绍:tez 是基于hive 之上,可以将sql翻译解析成DAG计算的引擎.基于DAG 与mr 架构本身的优缺点,tez 本身经过测试一般小任务在hive mr 的2-3倍速度左右,大任务7-10倍左右,根据情况不同可能不一样. 对于 Tez-0.9.0 以及更高版本, Tez 需要 Apache Hadoop 版本为 2.7.0 或更高 安装 Apache Hadoop 2.7.0 或更高版本,这里选取

hive上mysql元数据库配置

hive调试信息显示模式: ./hive -hiveconf hive.root.logger=DEBUG,console 非常有用. 默认情况下,Hive元数据保存在内嵌的 Derby 数据库中,只能允许一个会话连接,只适合简单的测试.为了支持多用户多会话,则需要一个独立的元数据库,我们使用 MySQL 作为元数据库,Hive 内部对 MySQL 提供了很好的支持,配置一个独立的元数据库需要增加以下几步骤: 第一步:安装MySQL服务器端和MySQL客户端,并启动MySQL服务.此步省略,具体

CentOS配置Hive

hive搭建共分为三种模式:1.embedded,2.local,3.remote server 在这里,主要是配置第3种模式:remote server模式 我的环境共三台虚拟机:Host0,Host2,Host3 在remote server模式中,Host0:Hive-server2 Host2:Hive-metastore Host3:MySQL server 1.分别在Host0,Host2和Host3中安装hive-server2,hive-metastore,mysql-serve

Hive运行架构及配置部署

Hive 运行架构 由Facebook开源,最初用于解决海量结构化的日志数据统计问题:ETL工具: 构建于Hadoop的HDFS和MapReduce智商,用于管理和查询结构化/非结构化数据的数据仓库: 设计目的是让SQL技能良好,但Java技能较弱的分析师可以查询海量数据: 使用HQL作为查询接口: 使用HDFS作为存储底层: 使用MapReduce作为执行层: 2008年facebook把Hive项目贡献给Apache: 1.Hive的缺点 Hive的HQL表达能力有限:有些复杂运算用HQL不

搭建Hadoop2.7.3+Hive2.1.1及MySQL(配置Hive+MySQL+Connector)(三)

续上一篇:搭建Hadoop2.7.3+Hive2.1.1及MySQL(配置Hive+Hadoop)(二) 准备工作下载最新连接器地址 https://dev.mysql.com/downloads/connector/j/ 例子:下载mysql-connector-java-5.1.41.tar 1.解压连接器connector文件 1.1.解压 [[email protected] Software]# tar xzfmysql-connector-java-5.1.41.tar.gz [[e

安装配置hive

安装配置hive 用到的工具: mysql mysql-connector-java-5.1.22-bin.jar hive-0.12.0.tar.gz 1 安装MySQL:yum install mysql-server service mysqld start 2 使mysql开机自启: chkconfig -add mysqld ( 查看mysql的执行权限 chkconfig --list | grep mysql mysql 开机自启动(附权) chkconfig mysqld on

基于Cloudera Manager5配置HIVE压缩

[Author]: kwu 基于Cloudera Manager5配置HIVE压缩,配置HIVE的压缩,实际就是配置MapReduce的压缩,包括运行结果及中间结果的压缩. 1.基于HIVE命令行的配置 set hive.enforce.bucketing=true; set hive.exec.compress.output=true; set mapred.output.compress=true; set mapred.output.compression.codec=org.apache

Hive的安装和配置

前提是:hadoop必须已经启动了***         1°.解压hive的安装包            [[email protected] soft]# tar -zxvf apache-hive-0.14.0-bin.tar.gz -C ../        2°.备份配置文件            [[email protected] conf]# cp hive-env.sh.template hive-env.sh            [[email protected] con

Hive的安装与配置

1.因为我使用MySQL做为Hive的元数据库,所以先安装MySQL. 参考:http://www.cnblogs.com/hunttown/p/5452205.html 登录命令:mysql -h主机地址 -u用户名 -p用户密码 mysql –u root #初始登录没有密码 修改密码 格式:mysqladmin -u用户名 -p旧密码 password 新密码 mysql>mysqladmin -uroot –password 123456 注:因为开始时root没有密码,所以-p旧密码一