Tutorial 02_熟悉常用的HDFS操作

Shell命令实现:

(1)向HDFS 中上传任意文本文件,如果指定的文件在HDFS 中已经存在,则由用户来指定是追加到原有文件末尾还是覆盖原有的文件;

(2) 从HDFS 中下载指定文件,如果本地文件与要下载的文件名称相同,则自动对下载的文件重命名;

 

(3) 将HDFS 中指定文件的内容输出到终端中;

(4) 显示HDFS 中指定的文件的读写权限、大小、创建时间、路径等信息;

(5) 给定HDFS 中某一个目录,输出该目录下的所有文件的读写权限、大小、创建时间、 路径等信息,如果该文件是目录,则递归输出该目录下所有文件相关信息;

(6) 提供一个HDFS  内的文件的路径,对该文件进行创建和删除操作。如果文件所在目录不存在,则自动创建目录;

(7) 删除目录时,由用户指定当该目录不为空时是否还删除该目录;

(8) 向HDFS 中指定的文件追加内容,由用户指定内容追加到原有文件的开头或结尾;

(9) 删除HDFS 中指定的文件;

(10) 在HDFS 中,将文件从源路径移动到目的路径。

(二) 编程实现一个类“MyFSDataInputStream”,该类继承“org.apache.hadoop.fs.FSDataInputStream”,要求如下:实现按行读取HDFS 中指定文件的方法“readLine()”,如果读到文件末尾,则返回空,否则返回文件一行的文本。

(三) 查看Java帮助手册或其它资料,用“java.net.URL”和“org.apache.hadoop.fs.FsURLStreamHandlerFactory”编程完成输出HDFS 中指定文件的文本到终端中。

原文地址:https://www.cnblogs.com/iCheny/p/9768497.html

时间: 2024-10-12 07:57:25

Tutorial 02_熟悉常用的HDFS操作的相关文章

熟悉常用的HDFS操作

在本地Linux文件系统的"/home/hadoop/"目录下创建一个文件txt,里面可以随意输入一些单词. mkdir hadoop cd hadoop touch 123.txt gedit 123.txt 在本地查看文件位置(ls) ls -al 在本地显示文件内容 gedit 123.txt 使用命令把本地文件系统中的"txt"上传到HDFS中的当前用户目录的input目录下. cd /usr/local/hadoop ./sbin/start-dfs.sh

第三章 熟悉常用的HDFS操作

编程实现以下指定功能,并利用Hadoop提供的Shell命令完成相同任务: 在本地Linux文件系统的"/home/hadoop/"目录下创建一个文件txt,里面可以随意输入一些单词. 在本地查看文件位置(ls) 在本地显示文件内容 mkdir hadoop cd hadoop touch dw777.txt gedit dw777.txt 使用命令把本地文件系统中的"txt"上传到HDFS中的当前用户目录的input目录下. ./sbin/start-dfs.sh

常用的HDFS操作

一.Hadoop提供的Shell命令完成相同任务: 在本地Linux文件系统的"/home/hadoop/"目录下创建一个文件txt,里面可以随意输入一些单词. 在本地查看文件位置(ls) 在本地显示文件内容 使用命令把本地文件系统中的"txt"上传到HDFS中的当前用户目录的input目录下. 查看hdfs中的文件(-ls) 显示hdfs中该的文件内容 删除本地的txt文件并查看目录 从hdfs中将txt下载地本地原来的位置. 从hdfs中删除txt并查看目录 c

熟悉常用的HBase操作,编写MapReduce作业

1. 以下关系型数据库中的表和数据,要求将其转换为适合于HBase存储的表并插入数据: 学生表(Student)(不包括最后一列) 学号(S_No) 姓名(S_Name) 性别(S_Sex) 年龄(S_Age) 课程(course) 2015001 Zhangsan male 23   2015003 Mary female 22   2015003 Lisi male 24 数学(Math)85 2. 用Hadoop提供的HBase Shell命令完成相同任务: 列出HBase所有的表的相关信

熟悉常用的HBASE 操作

1.查看所有表 package cn.edu.zucc.hbase; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.HTableDescriptor; import org.apache.hadoop.hbase.client.Admi

熟悉常用的Linux操作

请按要求上机实践如下linux基本命令. cd命令:切换目录 (1)切换到目录 /usr/local cd /usr/local (2)去到目前的上层目录 cd ... (3)回到自己的主文件夹 cd ~ ls命令:查看文件与目录 (4)查看目录/usr下所有的文件 Ls /usr mkdir命令:新建新目录 (5)进入/tmp目录,创建一个名为a的目录,并查看有多少目录存在 Cd /tmp Mkdir a (6)创建目录a1/a2/a3/a4 Mkdir –p a1/a2/a3/a4 rmdi

熟悉常用Linux的操作

请按要求上机实践如下linux基本命令. cd命令:切换目录 (1)切换到目录 /usr/local cd/root/usr/local (2)去到目前的上层目录 cd.. (3)回到自己的主文件夹 cd~ ls命令:查看文件与目录 (4)查看目录/usr下所有的文件 ls/usr -al~ mkdir命令:新建新目录 (5)进入/tmp目录,创建一个名为a的目录,并查看有多少目录存在 cd/tmp mkdir a ls -l (6)创建目录a1/a2/a3/a4 mkdir -p a1/a2/

熟悉常用的HBase操作

1. 以下关系型数据库中的表和数据,要求将其转换为适合于HBase存储的表并插入数据: 学生表(Student)(不包括最后一列) 学号(S_No) 姓名(S_Name) 性别(S_Sex) 年龄(S_Age) 课程(course) 2015001 Zhangsan male 23   2015003 Mary female 22   2015003 Lisi male 24 数学(Math)85 create 'Student', ' S_No ','S_Name', 'S_Sex','S_A

python基础操作以及hdfs操作

一.前言 作为一个全栈工程师,必须要熟练掌握各种语言...HelloWorld.最近就被“逼着”走向了python开发之路,大体实现的功能是写一个通用类库将服务器本地存储的文件进行简单清洗后转储到HDFS中,所以基本上python的相关知识都涉及到了,这里对一些基础操作以及hdfs操作做一总结,以备查阅. 二.基础操作 2.1 字符串操作 字符串操作应该是所有语言的基础.python基本上也提供了其他语言常用的一些字符串处理函数,常用的如下: 1.startswith 以某个字符串起始 2.en