Pig的安装和使用方法

本文使用的pig版本是pig-0.12.0.tar.gz,在安装以前已经安装好了hadoop,hadoop的安装方法参考 hadoop-1.2.1安装方法详解

pig的安装方法很简单,配置一下环境即可,pig有两种工作模式:本地模式和MapReduce模式(默认)。

1、上传并解压pig-0.12.0.tar.gz

[[email protected] temp]$ tar
zxf pig-0.12.0.tar.gz

2、配置pig的环境变量并使之生效

export PIG_HOME=/home/hadoop/pig-0.12.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HBASE_HOME/bin:$HIVE_HOME/bin:$PIG_HOME/bin

3、通过pig命令验证安装(本地模式)

[[email protected] ~]$ pig
-x local

2015-06-12 00:23:30,823 [main] INFO  org.apache.pig.Main - Apache Pig version 0.12.0 (r1529718) compiled Oct 07 2013, 12:20:14

2015-06-12 00:23:30,824 [main] INFO  org.apache.pig.Main - Logging error messages to: /home/hadoop/pig_1434093810822.log

2015-06-12 00:23:30,876 [main] INFO  org.apache.pig.impl.util.Utils - Default bootup file /home/hadoop/.pigbootup not found

2015-06-12 00:23:30,964 [main] INFO  org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting
to hadoop file system at: file:///

grunt> quit;

[[email protected] ~]$

能看到 grunt> 就说明已经配置成功,file:///表示现在是local模式,要使用MapReduce模式,需要正确配置启动hadoop集群,并且pig可以读取到hadoop的配置文件(hadoop的conf目录下的文件)

4、在 .bashrc文件中配置PIG_CLASSPATH,并使用生效

export PIG_CLASSPATH=/home/hadoop/hadoop-1.2.1/conf

5、使用pig命令验证安装(MapReduce模式)

[[email protected] ~]$ pig

2015-06-12 00:35:43,322 [main] INFO  org.apache.pig.Main - Apache Pig version 0.12.0 (r1529718) compiled Oct 07 2013, 12:20:14

2015-06-12 00:35:43,322 [main] INFO  org.apache.pig.Main - Logging error messages to: /home/hadoop/pig_1434094543321.log

2015-06-12 00:35:43,342 [main] INFO  org.apache.pig.impl.util.Utils - Default bootup file /home/hadoop/.pigbootup not found

2015-06-12 00:35:43,463 [main] INFO  org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting
to hadoop file system at: hdfs://master:9000

2015-06-12 00:35:43,613 [main] INFO  org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting
to map-reduce job tracker at: master:9001

grunt> quit;

[[email protected] ~]$

通过上面的红色部分可以看出,现在的文件系统是hdfs的文件系统,跟本地模式不一样

至此我们已经安装好了pig,由于pig的日志文件是保存到执行pig命令的目录下(不同目录下进入pig日志位置不一样),不利于日志的分析和管理,所以通常指定一个具体的目录,方法如下:

1、创建一个pig的日志目录,我这里放到hadoop用户下的pig/logs文件夹下

[[email protected] ~]$ mkdir
-p /home/hadoop/pig/logs

2、修改/home/hadoop/pig-0.12.0/conf/pig.properties文件,去掉配置pig.logfile参数的注释,并配置如下

pig.logfile=/home/hadoop/pig/logs

这样pig的日志就写到指定的目录下了,如下:

[[email protected] conf]$ pig

2015-06-12 00:51:12,399 [main] INFO  org.apache.pig.Main - Apache Pig version 0.12.0 (r1529718) compiled Oct 07 2013, 12:20:14

2015-06-12 00:51:12,399 [main] INFO  org.apache.pig.Main - Logging
error messages to: /home/hadoop/pig/logs/pig_1434095472397.log

2015-06-12 00:51:12,418 [main] INFO  org.apache.pig.impl.util.Utils - Default bootup file /home/hadoop/.pigbootup not found

2015-06-12 00:51:12,524 [main] INFO  org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to hadoop file system at: hdfs://master:9000

2015-06-12 00:51:12,659 [main] INFO  org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to map-reduce job tracker at: master:9001

grunt>

版权声明:本文为博主原创文章,转载请注明本文链接。

时间: 2024-10-25 06:05:32

Pig的安装和使用方法的相关文章

[hadoop系列]Pig的安装和简单演示样例

inkfish原创,请勿商业性质转载,转载请注明来源(http://blog.csdn.net/inkfish ).(来源:http://blog.csdn.net/inkfish) Pig是Yahoo!捐献给Apache的一个项目,眼下还在Apache孵化器(incubator)阶段,眼下版本号是v0.5.0.Pig是一个基于Hadoop的大规模数据分析平台,它提供的SQL-like语言叫Pig Latin,该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运

windows7 64位 php5.3安装php_mongo.dll方法 各个版本

https://s3.amazonaws.com/drivers.mongodb.org/php/index.html windows7 64位 php5.3安装php_mongo.dll方法windows7 64位 php5.3安装php_mongo.dll方法 各个版本,码迷,mamicode.com

linux 安装VMware Tools 方法 (1)

虚拟机安装 VMware Tools for Linux 介绍: VMware Tools是VMware虚拟机中自带的一种增强工具,相当于VirtualBox中的增强功能(Sun VirtualBox Guest Additions),是VMware提供的增强虚拟显卡和硬盘性能.以及同步虚拟机与主机时钟的驱动程序. 只有在VMware虚拟机中安装好了VMware Tools,才能实现主机与虚拟机之间的文件共享,同时可支持自由拖拽的功能,鼠标也可在虚拟机与主机之前自由移动(不用再按ctrl+alt

安装win8/win10提示无法在驱动器0分区上安装windows解决方法

在通过U盘或光盘安装win8/win8.1/win10系统时,不少用户遇到无法安装的问题,提示"无法在驱动器0的分区1上安装windows",格式化分区1也不能解决,进而提示Windows无法安装到这个磁盘,选中的磁盘采用GPT/MBR分区形式,这是怎么回事呢?下面小编跟大家分析出现这个问题的原因以及解决方法. 一.原因分析 win8/win10系统均添加快速启动功能,预装的win8/win10电脑默认都是UEFI引导和GPT硬盘,传统的引导方式为Legacy引导和MBR硬盘,UEFI

ADODB.Connection 错误 '800a0e7a' 未找到提供程序。该程序可能未正确安装。解决方法!

[问题描述]调试基于ACCESS+ASP的网站程序的时候,遇到如下错误: ADODB.Connection 错误 '800a0e7a' 未找到提供程序.该程序可能未正确安装. /Inc/Function.asp,行 9 [原因分析]因为系统是64位的win7或win8.1所以会出现这个问题,解决方法如下: [解决方法]找到IIS应用程序池,“设置应用程序池默认属性”-->“常规”-->”启用 32 位应用程序”,设置为 True即可解决. ADODB.Connection 错误 '800a0e

AspUpload组件的安装及使用方法介绍

http://soft.huweishen.com/soft/47.html AspUpload对ASP编程人员来说要实现ASP网站文件上传功能它是首选.本文就为大家介绍一下AspUpload组件的安装及使用方法,其中还附带了AspUpload安装的常见问题解答及一个使用AspUpload实现文件上传的实例. 组件简介: asp上传组件,能够实现以下功能:        a.限制上载文件的大小        b.设置用户的权限        c.修改文件属性        d.同时上载多个文件 

BT5下安装Metasploit4.5方法

BT5与Ubuntu下安装最新版Metasploit4.5方法:(先把老版本的MSF uninstall,BT5自带的老版本Metasploit没有办法升级!) 1.下载Metasploit下的Linux安装包,拷贝至Ubunto的/opt目录. http://www.metasploit.com/download/ 2.在Terminal下运行命令“chmod +x /opt/metasploit-latest-linux-installer.run” 3.在Terminal下运行命令“sud

CodeSimth-.NetFrameworkDataProvider可能没有安装。解决方法

原文地址:http://www.haogongju.net/art/2561889 1.下载System.Data.SQLite驱动:注意:根据自己的CPU选择是32位还是64位的驱动.建议选择4.0平台以上的.我的是:sqlite-netFx40-setup-bundle-x64-2010-1.0.91.0.exe : 2.安装完成后打开C:\Program Files\System.Data.SQLite\2010\GAC把里面的两个dll复制到CodeSimth安装目录下的bin文件夹:

Sublime text 3 中Package Control 的安装与使用方法和解决Sublime Text 3不能正确显示中文的问题

Sublime text 3 中Package Control 的安装与使用方法,英文好可以在这个网址看看, 下面简单的说明一下 : https://packagecontrol.io/installation 1. 打开sublime text3 按下ctrl+~ 把下面的代码粘贴或者分别点击 View --> Show Consolemenu后粘贴 import urllib.request,os,hashlib; h = 'df21e130d211cfc94d9b0905775a7c0f'