sqoop往hive中导入数据报找不到数据库错误

sqoop版本为1.4.4,hadoop版本为2.2.0,hive版本为0.11.0,hive元数据存放位置为mysql,当使用sqoop 从mysql往hive中导入数据时,总是提示找不到所指定的hive数据库,事实上hive中已存在该数据库,sqoop中也设置了hive路 径,/etc/profile文件中也已经设置好hive路径。

mysql往hive中导数据命令:

1  ${SQOOP_HOME}/bin/sqoop import --connect jdbc:mysql://${hostname}/${database} --username ${user} --password ${password}  --table ${table}   --split-by docid --hive-import --hive-table lan.ding
2  --fields-terminated-by ‘\t‘ --incremental  append  --check-column docid --last-value ${curr_max}   

解决办法:copy hive中的hive-site.xml文件放入sqoop conf目录下。当没有在sqoop的conf目录下找到hive-site.xml时,sqoop默认采用的是读取deby内置数据库。

ps:其实已经在sqoop中指定了hive conf的目录,但就是一定要copy文件过来,有明白的可以交流交流,例外,还需注意文件的权限问题。

sqoop往hive中导入数据报找不到数据库错误

时间: 2024-10-12 05:18:58

sqoop往hive中导入数据报找不到数据库错误的相关文章

向Hive中导入HDFS上文件时要注意的问题

前几天往HDFS写文件写的时候把文件名起成了.aaa.txt,这样本来是可以的,上传到HDFS也是没有任务问题的,但是将这个文件与Hive进行关联的时候却出现问题了,并不是导入的时候报错了,是导入的时候什么也没有报,默认已为成功了,但是Hive中怎么都查不到数据,反复了好多次,最后把文件名改成了aaa.txt,问题解决了,难道Hive不认以.开头的文件?其实并不是不认,因为在Linux中以.打头的文件或文件夹都是隐藏的,用ls是查不到的,只有用ll才能看到,这就是关联后,为什么在Hive中查不到

如何利用sqoop将hive数据导入导出数据到mysql

运行环境  centos 5.6   hadoop  hive sqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具. 上海尚学堂hadoop大数据培训组原创,陆续有hadoop大数据技术相关文章奉上,请多关注! 在使用过程中可能遇到的问题: sqoop依赖zookeeper,所以必须配置ZOOKEEPER_HOME到环境变量中. sqoop-1.2.0-CDH3B4依赖hadoop-core-0.20.2-CDH3B4.ja

解决Myeclipse下Debug出现Source not found以及sql server中导入数据报错

前言:在空间里回顾了我的2014,从生活.技术.家庭等各方面对自己进行总结剖析,也是给自己一个交代.也想在博客上专门写一篇2014年度菜鸟的技术路回忆录,但是因为各种事一再耽搁了,现在来写也就更显得不合时宜了,也就作罢了,反正码农的生活都是围绕着pc.代码转,绕不开整天敲敲打打的26个字母. 看着在园子的园龄单位从月变成年,翻翻过去写的博客从大数据到可视化以及一些零散分支,渐渐的发现,变化的时间,不变的是成长. 书归正传,这两天有看到阿里在举办一个天池大数据竞赛,仔细一看,做的是推荐算法.抱着一

hive中导入json格式的数据(hive分区表)

hive中建立外部分区表,外部数据格式是json的如何导入呢? json格式的数据表不必含有分区字段,只需要在hdfs目录结构中体现出分区就可以了 This is all according to this guide: http://blog.cloudera.com/blog/2012/12/how-to-use-a-serde-in-apache-hive/ 1 hive> ADD JAR /home/hadoop/hive-serdes-1.0-SNAPSHOT.jar; 2 Added

Hive中的Order by与关系型数据库中的order by语句的异同点

在Hive中,ORDER BY语句是对查询结果集进行整体的排序,最终将会产生一个reducer进行全局的排序,达到的最终结果是和传统的关系型数据库是一样的. 在数据量非常大的时候,全局排序的单个reducer将会成为性能瓶颈,有可能由于数据量过大而跑不出来结果. Hive中可以设置hive.mapred.mode为strict严格模式,这时候,Hive要求用户必须对order by语句加上limit 条数限制,防止排序数据集过大导致性能瓶颈. 在这里我不提sort by ,distribute

利用sqoop从 hive中往mysql中导入表出现的问题

这个错误的原因是指定Hive中表字段之间使用的分隔符错误,供Sqoop读取解析不正确.如果是由hive执行mapreduce操作汇总的结果,默认的分隔符是 '\001',否则如果是从HDFS文件导入的则分隔符则应该是'\t'.此处我是hive执行mapreduce分析汇总的结果,所以默认的分隔是'\001'.Sqoop命令修改如下,指定分隔符: [[email protected] ~]$ sqoop-export --connect jdbc:mysql://secondmgt:3306/tr

日常工作的点滴:64位系统 IIS中应用程序池设置导致 访问数据库错误

64 位操作系统不支持Microsoft OLE DB Provider for Jet驱动程序,也不支持更早的Microsoft Access Driver (*.mdb)方式连接.导致程序里面的数据库连接字符串不能正常工作.需要修改下IIS的工作环境,改成32位的,在IIS的管理界面中,把应用程序池中的默认应用程序池常规选项中的32位方式启用就可以了. 具体方法:需要修改的应用程序池->高级设置->启用32位应用程序->改成true

sqoop操作之ORACLE导入到HIVE

导入表的所有字段 sqoop import --connect jdbc:oracle:thin:@192.168.1.107:1521:ORCL \ --username SCOTT --password tiger \ --table EMP \ --hive-import --create-hive-table --hive-table emp -m 1; 如果报类似的错: ERROR tool.ImportTool: Encountered IOException running imp

sqoop 从hive、hbase将数据导入到关系数据库

1.sqoop将hive中的数据导入到mysql for example: sqoop export --connect jdbc:mysql://10.18.101.15:3306/wda --username restdbuser --password 123456 --table adl_trend_num_android --export-dir /apps/hive/warehouse/adldb.db/adl_trend_num_android/date_stamp=$date --