SPARKSQL使用MYSQL做METADATA

将hive-site.xml

拷贝到

$SPARK_HOME/conf中

配置如 hive使用 mysql一样，注意赋予相应的权限。

javax.jdo.option.ConnectionURL

jdbc:mysql://xxxx:3306/sparkmetadata?createDatabaseIfNotExist=true

启动spark-sql要给driver路径

spark-sql
--driver-class-path
/usr/local/spark/spark-1.3.0-bin-hadoop2.3/lib/mysql-connector-java-5.1.6-bin.jar

这样就完成了。

时间： 2024-10-10 09:51:53

SPARKSQL使用MYSQL做METADATA的相关文章

MySQL做练习时总结的一些知识点

MySQL做练习时总结的一些知识点 0:mysql有三种注释方法上午插入记录的时候一直没有成功,郁闷不知道为什么.因为是很多条记录一起插入,中间一些不用的数据就用"--"来注释了,结果没有效果. 没有办法,在网上找了找,才发现注释符"--"错了,需要一个空格,应该是"-- ". mysql注释符有三种: 1.#... 2."-- ..." 3. mysql 服务器支持 # 到该行结束.-- 到该行结束以及的注释

脚本-每3天对数据库目录/var/lib/mysql做物理备份把数据备份到系统/opt/dbbak目录

每3天对数据库目录/var/lib/mysql做物理备份把数据备份到系统/opt/dbbak目录 #!/bin/bash DAY=`date+%Y-%m-%d` SIZE=`du-sh /var/lib/mysql` cd/opt/dbbak 2> /dev/null || mkdir /opt/dbbak echo"Date: $DAY" > /opt/dbbak/dbinfo.txt echo"Total Database Size: $SIZE&quo

使用 Xtrabackup 在线对MySQL做主从复制【转】

1. 说明 1.1 xtrabackup mysqldump对于导出10G以下的数据库或几个表,还是适用的,而且更快捷.一旦数据量达到100-500G,无论是对原库的压力还是导出的性能,mysqldump就力不从心了.Percona-Xtrabackup备份工具,是实现MySQL在线热备工作的不二选择,可进行全量.增量.单表备份和还原.(但当数据量更大时,可能需要考虑分库分表,或使用 LVM 快照来加快备份速度了) 2.2版本 xtrabackup 能对InnoDB和XtraDB存储引擎的数据库

从数据库、代码和服务器对PHP网站Mysql做性能优化

数据库优化是PHP面试几乎都会被问到的事情,也是我们工作中应该注意的事情,当然,如果是小网站无所谓优化不优化,网站访问量大了自然会暴漏数据库的瓶颈,这个瓶颈是各方面问题综合导致的,下面我们来做下数据库优化的总结. 一:对数据库优化 1.创建索引对于查询占主要的应用来说,索引显得尤为重要.很多时候性能问题很简单的就是因为我们忘了添加索引而造成的,或者说没有添加更为有效的索引导致.如果不加索引的话,那么查找任何哪怕只是一条特定的数据都会进行一次全表扫描,如果一张表的数据量很大而符合条件的结果又很少

Mysql主从（主从不同步解决办法，常见问题及解决办法，在线对mysql做主从复制）

一.主从不同步解决办法先上Master库: mysql>show processlist; 查看下进程是否Sleep太多.发现很正常. show master status; 也正常. mysql> show master status; +-------------------+----------+--------------+-------------------------------+ | File | Position | Binlog_Do_DB | Binlog_Ignore

MYSQL做数据仓库的性能瓶颈

缺少hash join 和parallel 这种工具,MYSQL 注定不是个合适的数据仓库工具. 无论是是myisam还是innodb,在处理一个复杂的SQL查询的时候,并不能发挥多核CPU的性能. 只会有一个CPU正在满负荷地运转. 所以对于一个分析性数据库而言,MYSQL多核实际上是极大的浪费. 但是方案选型了以后,只能做更多的优化. 比如说:手动拆分SQL,再合并结果集. my.cnf配置优化,增加临时表空间和key_buffer_size等等. 即使是KETTLE, DATASTAGE,

asp.net mvc4+mysql做一个简单分页组件（部分视图）

在开始做mysql分页功能组件前,便设定的是要有一定可复用性.先在项目里Views文件夹下右键新建名为_PaginationComponent.cshtml,这里html及css我采用的bootstrap分页组件,这可以参考http://v3.bootcss.com/components/. 先将生成项目效果截图呈上: 这里有需要预先知道的,是mysql分页查询与mssql分页查询实现不同点在于,mysql支持limit语句,limit格式为 limit pageIndex*pageSize,p

搭建redis给mysql做缓存

安装redis的前提是lnmp或者lamp的环境已经搭建完成. 安装redis 1.安装redis(或可以选择yum安装) 1 2 3 4 5 6 7 8 9 10 11 12 [[email protected] ~]# wget -c -t 0 http://download.redis.io/releases/redis-2.8.19.tar.gz [[email protected] ~]# mkdir /usr/local/redis [[email protected] ~]# ta

关于mysql的metadata lock

昨天晚上上线,却发现一个ddl语句长时间没有生效查processlist, 发现包括ddl语句在内的众多查询提示 “Waiting for table metadata lock” 唯一没有该提示的查询为一个全表查询,并且Time项数值最大. kill掉这个查询的线程,后面的ddl语句正常进行了之前一直听说metadata lock,就是元数据锁,也叫字典锁或者表结构锁.但是没有遇到过. 后来又试了一下——只要在session1里有未完成的增删查改事务,如果在另一个session2中出现加表