wind本地MySQL数据到hive的指定路径

一:使用:kettle:wind本地MySQL数据到hive的指定路径
二:问题:没有root写权限
网上说的什么少jar包,我这里不存在这种情况,因为我自己是导入jar包的:mysql-connector-java-5.1.22-bin.jar
我是从wind本地MySQL导数据到hive的指定路径,会出现2019/10/14 19:27:13 - Hadoop file output.0 - Caused by: org.pentaho.bigdata.api.hdfs.exceptions.AccessControlException: Permission denied: user=³ÂÐÂ, access=WRITE, inode="/hadoop/test":root:supergroup:drwxr-xr-x
其实大概意思是说我没有root写权限:
搜索了网上很多说法,但是没有用,我自己使用了这种,仅供参考,可以使用:
三:解决办法:
# 添加用户
hadoop fs -mkdir /user/admin
# 权限分配
hadoop fs -chown admin:hdfs /user/admin
# 修改权限
hadoop fs -chmod -R 777 /

报错部分关键字:
1.org.pentaho.di.core.exception.KettleFileException
2.org.apache.commons.vfs2.FileSystemException: Could not create file
3.2019/10/14 19:27:13 - Hadoop file output.0 - Caused by: org.pentaho.bigdata.api.hdfs.exceptions.AccessControlException: Permission denied: user=³ÂÐÂ, access=WRITE, inode="/hadoop/test":root:supergroup:drwxr-xr-x

原文地址：https://www.cnblogs.com/xinliang1788/p/11675364.html

时间： 2024-11-06 14:16:11

wind本地MySQL数据到hive的指定路径的相关文章

wind本地MySQL数据到hive的指定路径,Could not create file

一:使用:kettle:wind本地MySQL数据到hive的指定路径二:问题:没有root写权限网上说的什么少jar包,我这里不存在这种情况,因为我自己是导入jar包的:mysql-connector-java-5.1.22-bin.jar我是从wind本地MySQL导数据到hive的指定路径,会出现2019/10/14 19:27:13 - Hadoop file output.0 - Caused by: org.pentaho.bigdata.api.hdfs.exceptions.Ac

利用Sqoop将MySQL数据导入Hive中

参考 http://www.cnblogs.com/iPeng0564/p/3215055.html http://www.tuicool.com/articles/j2yayyj http://blog.csdn.net/jxlhc09/article/details/16856873 1.list databases sqoop list-databases --connect jdbc:mysql://192.168.2.1:3306/ --username sqoop --passwor

python脚本 用sqoop把mysql数据导入hive

转:https://blog.csdn.net/wulantian/article/details/53064123 用python把mysql数据库的数据导入到hive中,该过程主要是通过python语言操作sqoop. #! /usr/bin/env python # coding:utf-8 # -------------------------------- # Created by coco on 16/2/23 # ---------------------------------

sqoop同步mysql数据到hive中

一.sqoop 在同步mysql表结构到hive sqoop create-hive-table --connect jdbc:mysql://ip:3306/sampledata --table t1--username dev --password 1234 --hive-table t1; 执行到这一步就退出了,但是在hadoop的hdfs上的/hive/warehouse/的目录下是找不到t1表的目录, 但是正常执行完成是下面这样的: 错误就是hive的jar包有缺失 全部的jar包该是

教程 | 使用Sqoop从MySQL导入数据到Hive和HBase

基础环境 sqoop:sqoop-1.4.5+cdh5.3.6+78, hive:hive-0.13.1+cdh5.3.6+397, hbase:hbase-0.98.6+cdh5.3.6+115 Sqool和Hive.HBase简介 Sqoop Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的开源工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中. Hiv

使用sqoop将mysql数据导入到hive中

首先准备工具环境:hadoop2.7+mysql5.7+sqoop1.4+hive3.1 准备一张数据库表: 接下来就可以操作了... 一.将MySQL数据导入到hdfs 首先我测试将zhaopin表中的前100条数据导出来,只要id.jobname.salarylevel三个字段. 再Hdfs上创建目录 hadoop fs -mkdir -p /data/base #用于存放数据 我们cd到sqoop目录下执行命令 # \ 用于换行bin/sqoop import --connect jdbc

数据库-mysql数据的增删改查

一:mysql 数据的插入 语法 以下为向MySQL数据表插入数据通用的 INSERT INTO SQL语法: INSERT INTO table_name ( field1, field2,...fieldN ) VALUES ( value1, value2,...valueN ); 如果数据是字符型,必须使用单引号或者双引号,如:"value". MariaDB [test2]> desc student; +--------+----------+------+-----

使用sqoop从mysql导入数据到hive

前言 这篇文章主要是用sqoop从mysql导入数据到hive时遇到的坑的总结. 环境: 系统:Centos 6.5 Hadoop:Apache,2.7.3 Mysql:5.1.73 JDK:1.8 Sqoop:1.4.7 Hadoop以伪分布式模式运行. 一.使用的导入命令 我主要是参考一篇文章去测试的,Sqoop: Import Data From MySQL to Hive. 参照里面的方法,在mysql建了表,填充了数据,然后按照自己的情况输入了命令: sqoop import --co

使用 sqoop 将mysql数据导入到hive（import）

Sqoop 将mysql 数据导入到hive(import) 1.创建mysql表 CREATE TABLE `sqoop_test` ( `id` int(11) DEFAULT NULL, `name` varchar(255) DEFAULT NULL, `age` int(11) DEFAULT NULL ) ENGINE=InnoDB DEFAULT CHARSET=latin1 插入数据 2.hive 建表 hive> create external table sqoop_test