20180611早课记录28-Sqoop

1.sqoop是什么?

主要用于在Hadoop与RDBMS间进行数据的传递

2.sqoop分为哪两个分支，各最新版本是什么?

sqoop1：1.4.7
sqoop2：1.99.7

3.在工作中我们用的最多的是sqoop1，那么导入和导出，谁给谁的

导入是RDBMS到Hadoop
导出是Hadoop到RDBMS

4.假如输入一个命令找不到not found，你们觉得该怎么办?（老生常谈）

先看打错了没有，再看PATH有没有，或者yum安装

5.sqoop命令参数-m是什么意思

指定MapReduce的数量

6.sqoop 想要把MySQL数据导到hive里，那么是不是要加mysql jdbc jar包?

需要

7.sqoop导入，我能不能直接写SQL的导?

可以 --query指定

8.sqoop会有reduce job吗

不会

9.假如让你们项目作业的sqoop 每天导数据到hive分区表里，用shell脚本和crontab，有没有信心完成?

还要练习

原文地址：http://blog.51cto.com/10814168/2128005

时间： 2024-10-11 20:27:56

20180611早课记录28-Sqoop的相关文章

20180504早课记录03-Linux

1.谈谈学到现在,带r参数的命令有哪些? cp -rrm -rfls -r 2.同事说,打开那台电脑xxx服务的web界面,你们觉得哪几种途径可以尝试知道? ifconfig --找到ipps -ef|grep xxx --找到pidnetstat -nlp|grep pid --找到端口也可以ps查看xxx服务的路径地址,找到配置文件,查看配置文件 3.mv和cp谁快 mv快 4.个人环境变量文件在哪,一般什么文件,什么命令查看,怎样生效 ~/.bash_profile more ~/.bas

20180525早课记录18-Hadoop

1.昨晚若泽分享了一个开源组件叫什么? hystrix 2.jps如果看了信息不可用,我们该怎么做 ps一下进程 进入相应用户下去看 3.hadoop pid默认在哪?哪个变量和参数文件修改 默认在 /tmp 目录下在hadoop-env.sh参数文件 修改HADOOP_PID_DIR变量 4.hdfs日志显示 是在safe mode,那么哪个命令可以尝试让hdfs离开安全模式 hdfs dfsadmin -safemode leave 5.hdfs执行操作命令时,发现有权限不可访问或者写入,请

20180509早课记录06-Linux

1.后台运行脚本的命令哪几个 nohub xxxxxx &screen 2.定时每隔五分钟运行脚本,命令是什么 ,编辑参数是什么 crontab -e --编辑参数/5 * xxx.sh 3.切换用户,带执行环境变量文件命令是什么 su - 4.没有临时root权限,需要修改哪个配置文件,添加哪行? /etc/sudoers添加 yonghu ALL=(root) NOPASSWD:ALL 5.rwx分别代表数字多少 421 6.rwxr-xr-- 数字多少 754 7.上题中三组,每组分别是什

20180508早课记录05-Linux

1.出现小r参数的命令 cp -rrm -rfls -r 2.出现R参数的命令 chown chmod 3.mv cp谁快 mv 4.查看命令帮助 你们觉得该怎么看 xxx --help先看Usage 5.领导叫你打开那台电脑xxx服务的web界面,该怎么办 ifconfig --找到ipps -ef|grep xxx --找到pidnetstat -nlp|grep pid --找到端口也可以ps查看xxx服务的路径地址,找到配置文件,查看配置文件 6.拓展题 : 我们发现一个用户 ,登录不了

20180510早课记录07-MySQL

1.MySQL创建db,删除db命令 create database db;drop database db; 2.MySQL的字段类型 整型:tinyint,smallint,mediumint,int,bigint 浮点型:float(m,d),double(m,d),decimal(m,d) 字符串类型:char(n),varchar(n),tinytext,text,mediumtext,longtext 日期和时间类型:date,time,datetime,timestamp,year

20180514早课记录09-MySQL&Hadoop

1.排序语法,默认是降序吗 不是 默认是升序 2.限制多少行语法 limit 100 3.分组函数有哪些 group by 4.分组语法是什么 group by column 5.分组语法的注意点是什么 查询列要放到group by里面,函数除外 6.join有哪几种 left join,right join,inner join 7.left join是哪个表数据全 左表 8.union 和union all 区别是什么 union去重,union all不去重 9.谈谈你们觉得什么是子表 复

20180515早课记录10-Linux

1.你们觉得创建文件有哪些方式? vi或vimtouch其他重定向 2.查看一个文件ls 和ll结果有什么不一样? ls只显示名称列表,ll显示权限.时间.大小等文件详细信息 3.隐藏文件是什么标识开始?怎样查看 .开始 ls -a查看 4.查看一个文件大小的哪两种命令 ll -hdu -sh 5.vi的三种模式是什么 命令模式.编辑模式.尾行模式 6. 阐述一下,我怎样使用vi命令清空文件 gg dG 7.文件的用户和用户组是什么命令 user group 8.给一个文件执行权限,命令是什么

20180516早课记录11-Linux

1.MySQL二进制编译部署时,我们是创建一个用户mysqladmin,怎样将/usr/local/mysql目录设置为家目录 useradd -u 514 -g dba -G root -d /usr/local/mysql mysqladmin 2.哪几种方法让新的家目录有.bash_profile文件?(跳跃思维) cp /etc/skel/.* /usr/local/mysql或者vi cp 3.全局环境变量文件 在哪?怎样生效 /etc/profile source /etc/prof

20180521早课记录14-Hadoop

1.hadoop是什么 狭义: Hadoop软件(HDFS.MapReduce.Yarn)广义: 以hadoop为主的生态圈 2.hadoop三大组件是什么?分别做什么 HDFS: 分布式文件管理系统 存储MapReduce: 执行引擎 计算Yarn: 资源(memory cpu)和作业调度平台 资源 3.hdfs在部署时,要配置信任关系,请问root和hadoop用户部署时,区别是什么 注意authorized_keys权限 要改为600 4.hdfs三个进程是什么 NameNode,Data