1.八爪鱼,抓取数据
2.八爪鱼数据导入mysql(navicat连的虚拟机上的),表为an
3.给定mysql的表an自增id
4.开启hadoop,yarn,
5.利用sqoop导入mysql的表an
sqoop import --connect jdbc:mysql://192.168.218.134:3306/spark
--username root --password 111 --query "select *from an where id>‘0‘
and \$CONDITIONS" --target-dir /user/root-sqoop2 --direct --m 1
6.查询是否导入成功
hdfs dfs -cat /user/root-sqoop2/part-m-00000
7.
原文地址:https://www.cnblogs.com/acg88688/p/9380166.html
时间: 2024-11-08 20:41:56