1. 以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据：
学生表（Student）（不包括最后一列）
|
学号（S_No） |
姓名（S_Name） |
性别（S_Sex） |
年龄（S_Age） |
课程（course） |
|
2015001 |
Zhangsan |
male |
23 |
|
|
2015003 |
Mary |
female |
22 |
|
|
2015003 |
Lisi |
male |
24 |
数学（Math）85 |
2. 用Hadoop提供的HBase Shell命令完成相同任务：
- 列出HBase所有的表的相关信息；list
- 在终端打印出学生表的所有记录数据；
- 向学生表添加课程列族；
- 向课程列族添加数学列并登记成绩为85；
- 删除课程列；
- 统计表的行数；count ‘s1‘
- 清空指定的表的所有记录数据；truncate ‘s1‘
3. 用Python编写WordCount程序任务
|
程序 |
WordCount |
|
输入 |
一个包含大量单词的文本文件 |
|
输出 |
文件中每个单词及其出现次数（频数），并按照单词字母顺序排序，每个单词和其频数占一行，单词和频数之间有间隔 |
- 编写map函数，reduce函数
- 将其权限作出相应修改
- 本机上测试运行代码
- 放到HDFS上运行
- 下载并上传文件到hdfs上
- 用Hadoop Streaming命令提交任务
create ‘Student‘, ‘ S_No ‘,‘S_Name‘, ’S_Sex’,‘S_Age‘ put ‘Student‘,‘s001‘,‘S_No‘,‘2015001‘ put ‘Student‘,‘s001‘,‘S_Name‘,‘Zhangsan‘ put ‘Student‘,‘s001‘,‘S_Sex‘,‘male‘ put ‘Student‘,‘s001‘,‘S_Age‘,‘23‘ put ‘Student‘,‘s002‘,‘S_No‘,‘2015003‘ put ‘Student‘,‘s002‘,‘S_Name‘,‘Mary‘ put ‘Student‘,‘s002‘,‘S_Sex‘,‘female‘ put ‘Student‘,‘s002‘,‘S_Age‘,‘22‘ put ‘Student‘,‘s003‘,‘S_No‘,‘2015003‘ put ‘Student‘,‘s003‘,‘S_Name‘,‘Lisi‘ put ‘Student‘,‘s003‘,‘S_Sex‘,‘male‘ put ‘Student‘,‘s003‘,‘S_Age‘,‘24‘
list
scan ‘Student‘
alter ‘Student‘,NAME=>‘course‘
put ‘Student‘,‘3‘,‘course:Math‘,‘85‘
dorp ‘Student‘,‘course‘
count ‘Student‘
truncate ‘Student‘
原文地址：https://www.cnblogs.com/hano/p/8992100.html
时间： 2024-11-10 07:41:28