吴超老师课程--Pig的介绍和安装

1.Pig是基于hadoop的一个数据处理的框架。 
MapReduce是使用java进行开发的,Pig有一套自己的数据处理语言,Pig的数据处理过程要转化为MR来运行。

2.Pig的数据处理语言是数据流方式的,类似于初中做的数学题。一步一步来的,跟SQL不一样,SQL一步就得到答案,

3.Pig基本数据类型:int、long、float、double、chararry、bytearray
    
复合数据类型:Map、Tuple、Bag  
Bag的类型如{(‘age‘,31),(‘name‘,‘张三‘)}

4.如何安装Pig
4.1 把pig-0.11.1.tar.gz复制到/usr/local下
4.2 使用命令tar -zxvf  pig-0.11.1.tar.gz解压缩
4.3 使用命令mv pig-0.11.1  pig 进行重命名
4.4 编辑文件vi /etc/profile 设置环境变量 
export $PIG_HOME=/usr/local/bin 
export PATH =......$PIG_HOME/bin....  
保存,然后执行source  /etc/profile
4.5 编辑文件$PIG_HOME/conf/pig.properties,增加两行如下内容   
fs.default.name=hdfs://hadoop0:9000 
mapred.job.tracker=hadoop0:9001

5.对wlan数据如何使用pig进行分析处理
5.1 把待处理的数据上传到HDFS中
5.2 把HDFS中的数据转换为pig可以处理的模式  
A = LOAD  ‘/wlan‘  AS (t0:long, msisdn:chararray, t2:chararray, t3:chararray, t4:chararray, t5:chararray, t6:long, t7:long, t8:long,t9:long,t10:chararray);

5.3 把里面的有用的字段抽取出来 
B = FOREACH A GENERATE msisdn, t6, t7, t8, t9;

5.4 分组数据
 C = GROUP B BY msisdn;

5.5 流量汇总
 D = FOREACH C GENERATE   group, SUM(B.t6), SUM(B.t7), SUM(B.t8), SUM(B.t9);

5.6 存储到HDFS中
 STORE D INTO ‘/wlan_result‘;

时间: 2024-10-06 01:09:29

吴超老师课程--Pig的介绍和安装的相关文章

吴超老师课程--Hive的介绍和安装

1.Hive1.1在hadoop生态圈中属于数据仓库的角色.他能够管理hadoop中的数据,同时可以查询hadoop中的数据.  本质上讲,hive是一个SQL解析引擎.Hive可以把SQL查询转换为MapReduce中的job来运行.  hive有一套映射工具,可以把SQL转换为MapReduce中的job,可以把SQL中的表.字段转换为HDFS中的文件(夹)以及文件中的列.  这套映射工具称之为metastore,一般存放在derby.mysql中. 1.2 hive在hdfs中的默认位置是

吴超老师课程---hadoop的伪分布安装

1.1 设置ip地址    执行命令    service network restart    验证:         ifconfig1.2 关闭防火墙    执行命令    service iptables stop    验证:        service iptables status1.3关闭防火墙的自动运行    执行命令    chkconfig iptables off    验证:        chkconfig --list | grep iptables1.4 设置主

吴超老师课程--Flume的安装和介绍

常用的分布式日志收集系统 一:flume概述参考官方网址:http://flume.apache.org/documentation.htmlflume是一个分布式的数据收集系统,具有高可靠.高可用.事务管理.失败重启等功能.数据处理速度快,完全可以用于生产环境.flume的核心是agent.agent是一个java进程,运行在日志收集端,通过agent接收日志,然后暂存起来,再发送到目的地. agent里面包含3个核心组件:source.channel.sink.1 source组件是专用于收

吴超老师课程--Sqoop的安装和介绍

SQOOP是用于对数据进行导入导出的.    (1)把MySQL.Oracle等数据库中的数据导入到HDFS.Hive.HBase中    (2)把HDFS.Hive.HBase中的数据导出到MySQL.Oracle等数据库中 一:安装步骤1.解压.设置环境变量,略2.把mysql.............jar放到$SQOOP_HOME/lib中 二:把mysql中的表复制到hdfs/hive中sqoop                                             

吴超老师课程---hadoop的分布式安装过程

1.hadoop的分布式安装过程 1.1 分布结构 主节点(1个,是hadoop0):NameNode.JobTracker.SecondaryNameNode            从节点(2个,是hadoop1.hadoop2):DataNode.TaskTracker    1.2 各节点重新产生ssh加密文件    1.3 编辑各个节点的/etc/hosts,在该文件中含有所有节点的ip与hostname的映射信息    1.4 两两节点之间的SSH免密码登陆            ss

吴超老师课程--Hive的执行语句

为什么选择Hive? (1)基于Hadoop的大数据的计算/扩展能力(2)支持SQL like查询语言(3)统一的元数据管理(4)简单编程 一:Hive的数据类型(1)基本数据类型tinyint/smallint/int/bigintfloat/doublebooleanstring(2)复杂数据类型Array/Map/Struct没有date/datetime (3)Hive的数据存储Hive的数据存储基于Hadoop HDFSHive没有专门的数据存储格式存储结构主要包括:数据库.文件.表.

吴超hadoop7天视频教程全集

一.初级班全套视频 1.linux使用(3节) 2.伪分布模式安装hadoop(2节) 3.HDFS的体系结构和操作(2节) 4.HDFS的java操作方式(4节) 5.代码 二.中级班全套视频 1.MapReduce入门(2节) 2.MapReduce的源码简介和自定义类型(4节) 3.mapReduce的剩余核心环节讲解(5节) 4.MapReduce的自定义排序和分组(3节) 5.hadoop的集群安装和安全模式介绍(3节) 6.代码 三.高级班全套视频 1.ZooKeeper的集群安装与

先到先得 买关东升老师课程满880 就送精品新书啦!

先到先得 买关东升老师课程送亲笔签名新书啦! 价值99元精品新书:<从零开始学Swfit> 活动期间:2016年5月3日-5月23日 51CTO学院送书活动进行中!活动内容:活动期间(5月3日-5月23日)凡购买讲师:关东升课程.套餐累计满880元的用户均赠送由关东升老师亲笔签名的精美图书<从零开始学Swift>一本!   图书寄送: 在活动期间内购买课程请在此填写快递信息:http://home.51cto.com/info 或者联系在线客服QQ:4008519651进行登记,活

吴超Hadoop视频

本人最近在学Hadoop,,,,买了一份吴超的Hadoop视频,,,,有需要的加我QQ2806746229