熟悉常用的HBase操作,编写MapReduce作业

1. 以下关系型数据库中的表和数据,要求将其转换为适合于HBase存储的表并插入数据:

学生表(Student)(不包括最后一列)


学号(S_No)


姓名(S_Name)


性别(S_Sex)


年龄(S_Age)


课程(course)


2015001


Zhangsan


male


23

 

2015003


Mary


female


22

 

2015003


Lisi


male


24


数学(Math)85

2. 用Hadoop提供的HBase Shell命令完成相同任务:

  • 列出HBase所有的表的相关信息;list
  • 在终端打印出学生表的所有记录数据;
  • 向学生表添加课程列族;
  • 向课程列族添加数学列并登记成绩为85;
  • 删除课程列;
  • 统计表的行数;count ‘s1‘
  • 清空指定的表的所有记录数据;truncate ‘s1‘

3. 用Python编写WordCount程序任务


程序


WordCount


输入


一个包含大量单词的文本文件


输出


文件中每个单词及其出现次数(频数),并按照单词字母顺序排序,每个单词和其频数占一行,单词和频数之间有间隔

  1. 编写map函数,reduce函数
  2. 将其权限作出相应修改
  3. 本机上测试运行代码
  4. 放到HDFS上运行
  5. 下载并上传文件到hdfs上
  6. 用Hadoop Streaming命令提交任务
create ‘Student‘, ‘ S_No  ‘,‘S_Name‘, ’S_Sex’,‘S_Age‘
put ‘Student‘,‘s001‘,‘S_No‘,‘2015001‘
put ‘Student‘,‘s001‘,‘S_Name‘,‘Zhangsan‘
put ‘Student‘,‘s001‘,‘S_Sex‘,‘male‘
put ‘Student‘,‘s001‘,‘S_Age‘,‘23‘
put ‘Student‘,‘s002‘,‘S_No‘,‘2015003‘
put ‘Student‘,‘s002‘,‘S_Name‘,‘Mary‘
put ‘Student‘,‘s002‘,‘S_Sex‘,‘female‘
put ‘Student‘,‘s002‘,‘S_Age‘,‘22‘
put ‘Student‘,‘s003‘,‘S_No‘,‘2015003‘
put ‘Student‘,‘s003‘,‘S_Name‘,‘Lisi‘
put ‘Student‘,‘s003‘,‘S_Sex‘,‘male‘
put ‘Student‘,‘s003‘,‘S_Age‘,‘24‘

  

list

  

scan ‘Student‘

  

alter ‘Student‘,NAME=>‘course‘

  

put ‘Student‘,‘3‘,‘course:Math‘,‘85‘

  

dorp ‘Student‘,‘course‘

  

count ‘Student‘

  

truncate ‘Student‘

  

原文地址:https://www.cnblogs.com/hano/p/8992100.html

时间: 2024-11-10 07:41:28

熟悉常用的HBase操作,编写MapReduce作业的相关文章

熟悉常用的HBase操作

1. 以下关系型数据库中的表和数据,要求将其转换为适合于HBase存储的表并插入数据: 学生表(Student)(不包括最后一列) 学号(S_No) 姓名(S_Name) 性别(S_Sex) 年龄(S_Age) 课程(course) 2015001 Zhangsan male 23   2015003 Mary female 22   2015003 Lisi male 24 数学(Math)85 create 'Student', ' S_No ','S_Name', 'S_Sex','S_A

熟悉常用的HBASE 操作

1.查看所有表 package cn.edu.zucc.hbase; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.HTableDescriptor; import org.apache.hadoop.hbase.client.Admi

Tutorial 02_熟悉常用的HDFS操作

Shell命令实现: (1)向HDFS 中上传任意文本文件,如果指定的文件在HDFS 中已经存在,则由用户来指定是追加到原有文件末尾还是覆盖原有的文件: (2) 从HDFS 中下载指定文件,如果本地文件与要下载的文件名称相同,则自动对下载的文件重命名:   (3) 将HDFS 中指定文件的内容输出到终端中: (4) 显示HDFS 中指定的文件的读写权限.大小.创建时间.路径等信息: (5) 给定HDFS 中某一个目录,输出该目录下的所有文件的读写权限.大小.创建时间. 路径等信息,如果该文件是目

熟悉常用的Linux操作

请按要求上机实践如下linux基本命令. cd命令:切换目录 (1)切换到目录 /usr/local cd /usr/local (2)去到目前的上层目录 cd ... (3)回到自己的主文件夹 cd ~ ls命令:查看文件与目录 (4)查看目录/usr下所有的文件 Ls /usr mkdir命令:新建新目录 (5)进入/tmp目录,创建一个名为a的目录,并查看有多少目录存在 Cd /tmp Mkdir a (6)创建目录a1/a2/a3/a4 Mkdir –p a1/a2/a3/a4 rmdi

熟悉常用Linux的操作

请按要求上机实践如下linux基本命令. cd命令:切换目录 (1)切换到目录 /usr/local cd/root/usr/local (2)去到目前的上层目录 cd.. (3)回到自己的主文件夹 cd~ ls命令:查看文件与目录 (4)查看目录/usr下所有的文件 ls/usr -al~ mkdir命令:新建新目录 (5)进入/tmp目录,创建一个名为a的目录,并查看有多少目录存在 cd/tmp mkdir a ls -l (6)创建目录a1/a2/a3/a4 mkdir -p a1/a2/

熟悉常用的HDFS操作

在本地Linux文件系统的"/home/hadoop/"目录下创建一个文件txt,里面可以随意输入一些单词. mkdir hadoop cd hadoop touch 123.txt gedit 123.txt 在本地查看文件位置(ls) ls -al 在本地显示文件内容 gedit 123.txt 使用命令把本地文件系统中的"txt"上传到HDFS中的当前用户目录的input目录下. cd /usr/local/hadoop ./sbin/start-dfs.sh

第三章 熟悉常用的HDFS操作

编程实现以下指定功能,并利用Hadoop提供的Shell命令完成相同任务: 在本地Linux文件系统的"/home/hadoop/"目录下创建一个文件txt,里面可以随意输入一些单词. 在本地查看文件位置(ls) 在本地显示文件内容 mkdir hadoop cd hadoop touch dw777.txt gedit dw777.txt 使用命令把本地文件系统中的"txt"上传到HDFS中的当前用户目录的input目录下. ./sbin/start-dfs.sh

hive--构建于hadoop之上、让你像写SQL一样编写MapReduce程序

hive介绍 什么是hive? hive:由Facebook开源用于解决海量结构化日志的数据统计 hive是基于hadoop的一个数据仓库工具,可以将结构化的数据映射为数据库的一张表,并提供类SQL查询功能.本质就是将HQL(hive sql)转化为MapReduce程序 我们使用MapReduce开发会很麻烦,但是程序员很熟悉sql,于是hive就出现了,可以让我们像写sql一样来编写MapReduce程序,会自动将我们写的sql进行转化.但底层使用的肯定还是MapReduce. hive处理

关于黑客,你了解多少?----黑客入门学习(常用术语+DOS操作)

关于黑客,你了解多少?----黑客入门学习(常用术语+DOS操作) ·1.1·前言 黑客一次是由英语"Hacker"英译出来的,是指专门研究.发现计算机和网络漏洞的计算机爱好者,他们伴随着计算机和网络的发展而产生成长.黑客对计算机有着狂热的兴趣和执着的追求,他们不断的研究计算机和网络知识,发现计算机和网络中存在的漏洞,喜欢挑战高难度的网络系统并从中找到漏洞,然后向管理员提出解决和修补漏洞的方法. 黑客的出现推动了计算机和网络的发展与完善.他们所做的不是恶意破坏,他们是一群纵横于网络的大