hive1.2伪分布mysql数据库配置详解

hadoop2.6伪分布配置:http://blog.csdn.net/gamer_gyt/article/details/46793731

hive1.2  derby元数据库配置:http://blog.csdn.net/gamer_gyt/article/details/47150621

环境说明

hadoop2.6伪分布          Ubuntu14.04           hive 1.1              MySql 5.5                 MySql连接驱动5.1.11

一,hive配置

1.解压hive到相应的目录(我的是/usr/localo/hadoop)

2.重命名为hive

3.设置环境变量

sudo gedit /etc/profile

添加:export HIVE_HOME=/usr/local/hadoop/hive

PATH中添加  $HIVE_HIOME/bin

4.在目录$HIVE_HOME/conf/下,执行命令mv hive-default.xml.template  hive-site.xml重命名

在目录$HIVE_HOME/conf/下,执行命令mv hive-env.sh.template  hive-env.sh重命名

在目录$HIVE_HOME/bin下面,修改文件hive-config.sh,增加以下内容:

export JAVA_HOME=/usr/local/jdk           #你自己的java路径

export HIVE_HOME=/usr/local/hadoop/hive

export HADOOP_HOME=/usr/local/hadoop

修改hive-env.sh 如下图:

========================================================================================

此时hive的就可以正常使用了,不过此时使用的是derby数据库,不能两台机器同时访问

========================================================================================

二,MySql安装

1. 删除mysql

a. sudo apt-get autoremove --purge mysql-server-5.0
b. sudo apt-get remove mysql-server
c. sudo apt-get autoremove mysql-server
d. sudo apt-get remove mysql-common (非常重要)

上面的其实有一些是多余的,建议还是按照顺序执行一遍

2. 清理残留数据

dpkg -l |grep ^rc|awk ‘{print $2}‘ |sudo xargs dpkg -P

3. 安装 mysql

a. sudo apt-get install mysql-server
b. sudo apt-get install mysql-client

一旦安装完成,MySQL服务器应该自动启动。您可以在终端提示符后运行以下命令来检查 MySQL 服务器是否正在运行:

4. 检查Mysql是否正在运行

sudo netstat -tap | grep mysql

当您运行该命令时,您可以看到类似下面的行:

[email protected]:~# sudo netstat -tap | grep mysql
tcp        0      0 localhost.localdo:mysql *:*                     LISTEN
870/mysqld 

如果服务器不能正常运行,您可以通过下列命令启动它:

sudo /etc/init.d/mysql restart

三,使用mysql作为hive的metastore配置

1.把mysql的jdbc驱动放置到hive的lib目录下

2.修改hive-site.xml文件,修改相应的内容如下:

<property>

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>

</property>

<property>

<name>javax.jdo.option.ConnectionDriverName</name>

<value>com.mysql.jdbc.Driver</value>

</property>

<property>

<name>javax.jdo.option.ConnectionUserName</name>

<value>root</value>

</property>

<property>

<name>javax.jdo.option.ConnectionPassword</name>

<value>root</value>

</property>

注:以上配置出现的两个root即为在安装mysql时候键入的用户名和秘密

============================================================================================

至此,mysql作为元数据库的配置已经完毕

============================================================================================

四,wrong

若安装过程中出现连接不上或者不能访问,可能是权限问题

进入hadoop安装目录local执行:sudo chown-R
hadoop:hadoop./hadoop#
修改文件权限

若出现com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure

建议好好查看配置文件hive-site.xml

版权声明:本文为博主原创文章,未经博主允许不得转载。

时间: 2024-10-18 11:00:17

hive1.2伪分布mysql数据库配置详解的相关文章

hive1.2伪分布mysql数据库配置具体解释

hadoop2.6伪分布配置:http://blog.csdn.net/gamer_gyt/article/details/46793731 hive1.2  derby元数据库配置:http://blog.csdn.net/gamer_gyt/article/details/47150621 环境说明 hadoop2.6伪分布          Ubuntu14.04           hive 1.1              MySql 5.5                 MySql

MySQL数据库备份详解

原文:MySQL数据库备份详解 对于任何数据库来说,备份都是非常重要的 数据库复制不能取代备份的作用 比如我们由于误操作,在主数据库上删除了一些数据,由于主从复制的时间很短,在发现时,从数据库上的数据可能也已经被删除了, 我们不能使用从数据库上的数据来恢复主数据库上的数据,只能通过备份进行误删除数据的恢复 一. 备份的分类 1.按备份的结果来分: 逻辑备份 其备份结果为SQL语句,适合于所有存储引擎,恢复时需要较多时间,逻辑备份时,对于MyISAM存储引擎是需要进行锁表操作的,通过使用的mysq

【mysql】mysql innodb 配置详解

MySQL innodb 配置详解 innodb_buffer_pool_size:这是InnoDB最重要的设置,对InnoDB性能有决定性的影响.默认的设置只有8M,所以默认的数据库设置下面InnoDB性能很差.在只有InnoDB存储引擎的数据库服务器上面,可以设置60-80%的内存.更精确一点,在内存容量允许的情况下面设置比InnoDB tablespaces大10%的内存大小. innodb_data_file_path:指定表数据和索引存储的空间,可以是一个或者多个文件.最后一个数据文件

如何查看mysql数据库的引擎/MySQL数据库引擎详解

一般情况下,mysql会默认提供多种存储引擎,你可以通过下面的查看: 看你的mysql现在已提供什么存储引擎:mysql> show engines; 看你的mysql当前默认的存储引擎:mysql> show variables like '%storage_engine%'; 你要看某个表用了什么引擎(在显示结果里参数engine后面的就表示该表当前用的存储引擎):mysql> show create table 表名; MySQL数据库引擎详解 作为Java程序员,MySQL数据库

MySQL数据库优化详解(收藏)

MySQL数据库优化详解 mysql表复制 复制表结构+复制表数据mysql> create table t3 like t1;mysql> insert into t3 select * from t1;mysql索引 ALTER TABLE用来创建普通索引.UNIQUE索引或PRIMARY KEY索引ALTER TABLE table_name ADD INDEX index_name (column_list)ALTER TABLE table_name ADD UNIQUE (colu

R连接mysql数据库方法详解

Warning messages: 1: In odbcDriverConnect("DSN=Rdata;UID=root") : [RODBC] ERROR: state IM002, code 0, message [Microsoft][ODBC 驱动程序管理器] 未发现数据源名称并且未指定默认驱动程序 当R语言从数据库取出数据时,出现以上错误,这是由于未配置ODBC数据源引起的错误,以下将介绍该问题的解决方案,同时介绍R连接mysql数据库的方法一.配置ODBC数据源1.下载m

MySQL数据库引擎详解

作为Java程序员,MySQL数据库大家平时应该都没少使用吧,对MySQL数据库的引擎应该也有所了解,这篇文章就让我详细的说说MySQL数据库的Innodb和MyIASM两种引擎以及其索引结构.也来巩固一下自己对这块知识的掌握. Innodb引擎 Innodb引擎提供了对数据库ACID事务的支持,并且实现了SQL标准的四种隔离级别,关于数据库事务与其隔离级别的内容请见数据库事务与其隔离级别这篇文章.该引擎还提供了行级锁和外键约束,它的设计目标是处理大容量数据库系统,它本身其实就是基于MySQL后

mysql binlog配置详解

关闭binlog,注释掉mysql配置文件中的log-bin=mysql-bin即可 baidu zone - 关闭binlog方法 cnblogs - linux下mysql配置文件my.cnf详解 ChinaUnix Blog - 设置自动清理mysql binlog日志和手动删除的方法 51cto - 删除庞大的MySQL binlog实操 csdn - 删除MySQL 的 binlog

MySQL数据库索引详解

一.什么是索引: 索引是一个排序的列表,在这个列表中存储着索引值和包含这个值的数据所在行的物理地址,在数据十分庞大的时候,索引可以大大加快查询速度,这是因为使用索引后可以不用全表扫描来定位某行的数据,而是先通过索引表找到该行数据对应的物理地址然后访问相应的数据. 索引通过不断缩小想要获取数据的范围来筛选出最终想要的结果,同时把随机事件变成顺序事件,也就是说,有个这个机制我们可以总是用同一种查找方式来锁定数据: 索引实际就是一张表,该表保存了主键和索引字段,并指向实体表的记录,所以索引也是占了一大