自己的简单数据分析流程

1.八爪鱼,抓取数据

2.八爪鱼数据导入mysql(navicat连的虚拟机上的),表为an

3.给定mysql的表an自增id

4.开启hadoop,yarn,

5.利用sqoop导入mysql的表an
sqoop import --connect jdbc:mysql://192.168.218.134:3306/spark
--username root --password 111 --query "select *from an where id>‘0‘
and \$CONDITIONS" --target-dir /user/root-sqoop2 --direct --m 1

6.查询是否导入成功
hdfs dfs -cat /user/root-sqoop2/part-m-00000

7.

原文地址:https://www.cnblogs.com/acg88688/p/9380166.html

时间: 2024-11-08 20:41:56

自己的简单数据分析流程的相关文章

R简单数据分析

眼下大数据口号满天飞,今天拿我微信圈朋友一段时间内分享内容作为数据,用R包的算法实现简单分析. 由于微信没有接口获取数据,暂时只能手动记录数据,主要是做个小尝试,数据获取方式是其次. 1)我们看看微信圈活跃的朋友. PS:知道为何我们的流量烧的这么快了吧?这些小伙伴八成是运营商潜伏过来的余则成,在背后分成还要我们帮忙数钱,后续我会揪出那个人,敬请期待. 2)我们看看微信圈朋友的喜好. PS:喜欢分享链接的小伙伴一般喜欢晒图片,有木有?亲. 3)用图表讲述故事,有图有真相. 微信圈内容占比 PS:

Java变量&&简单程序流程&&循环

变量:强类型局部变量: 1.先赋值,后使用 2.作用范围:从定义开始,到所在代码块结束 3.重合范围内不允许重复命名 数据类型(8中基本类型) byte 1B -128~127 short 2B -32768~32767 int 4B long 8B l或L float 4B f 或F double 8B d或D 不加 boolean 1B true false char 2B 'A'对象类型 String "hehe"强制转换 int a=(int)12.5; 自动类型提升 a b

基于ELK的简单数据分析

原文链接: http://www.open-open.com/lib/view/open1455673846058.html 环境 CentOS 6.5 64位 JDK 1.8.0_20 Elasticsearch 1.7.3 LogStash 1.5.6 Kibana 4.1.4 介绍 ElasticSearch是有名的开源搜索引擎,现在很多公司使用ELK技术栈做日志分析,比如新浪使用ELK处理每天32亿条记录,详细的介绍可以查看这里 我们的数据量没有新浪那么大,一天正常水平在6千万条左右,多

基于modelsim-SE的简单仿真流程—上

基于modelsim-SE的简单仿真流程 编写RTL功能代码 要进行功能仿真,首先得用需要仿真的模块,也就是RTL功能代码,简称待测试的模块,该模块也就是在设计下载到FPGA的电路.一个电路模块想要有输出,就得有输出,数字电路也是一样的,时钟和复位信号是必不可少的测试激励信号之一,同时可能还包括控制信号.数据信号.这里总结一下,一般系统中包括的测试激励信号主要为四大类: 系统信号(时钟.时钟使能信号.复位信号等): 控制信号(使能信号.片选信号.握手信号,状态机控制信号等): 数据信号(并行接口

基于modelsim-SE的简单仿真流程—下

基于modelsim-SE的简单仿真流程—下 编译 在 WorkSpace 窗口的 counter_tst.v上点击右键,如果选择Compile selected 则编译选中的文件,Compile All是编译所有文件,这里选择 Compile->Compile All,如下图所示: 在脚本窗口中将出现绿色字体: # Compile of counter.v was successful. # Compile of counter_tst.v was successful.,说明文件编译成功,在

离线数据分析流程及推荐系统架构图

1.离线数据分析流程 一个应用广泛的数据分析系统:"web日志数据挖掘" 1.1 需求分析 1.1.1 案例名称 "网站或APP点击流日志数据挖掘系统". 1.1.2 案例需求描述 "Web点击流日志"包含着网站运营很重要的信息,通过日志分析,我们可以知道网站的访问量,哪个网页访问人数最多,哪个网页最有价值,广告转化率.访客的来源信息,访客的终端信息等. 1.1.3 数据来源 本案例的数据主要由用户的点击行为记录 获取方式:在页面预埋一段js程序

离线数据分析流程介绍

3. 离线数据分析流程介绍 注:本环节主要感受数据分析系统的宏观概念及处理流程,初步理解hadoop等框架在其中的应用环节,不用过于关注代码细节   一个应用广泛的数据分析系统:"web日志数据挖掘"   3.1 需求分析 3.1.1 案例名称 "网站或APP点击流日志数据挖掘系统". 3.1.2 案例需求描述 "Web点击流日志"包含着网站运营很重要的信息,通过日志分析,我们可以知道网站的访问量,哪个网页访问人数最多,哪个网页最有价值,广告转化

码农小汪-struts2学习2-Structs2简单使用流程

从第一篇,我们简单的指导了,整个大致的流程之后我们可以创建使用一个简单的步骤需要知道涩.虽然现在的编译器已经给了我们足够好的支持,但是还是需要知道的涩. structs2 简单的创建步骤 安装 Struts2的入口的配置文件,这个过滤器,让我们的整个框架在web上工作 filter> <filter-name>struts2</filter-name> <filter-class> org.apache.struts2.dispatcher.FilterDispa

微信公众号PHP简单开发流程

微信公众号开发分傻瓜模式和开发者模式两种,前者不要考虑调用某些接口,只要根据后台提示傻瓜式操作即可,适用于非专业开发人员. 开发模式当然就是懂程序开发的人员使用的. 下面简单说一下微信公众号开发的简易流程,新手看看会有帮助,高手请一笑而过. 1.配置服务器: A.首先在本机建立如下结构的文件夹(这里是我自己的习惯,仅供参考) MMPN:总目录mro message public number 微信公众号 backup:备份目录,主要用于备份php文件,每次修改时将原稿备份到里面去. images