第三章 熟悉常用的HDFS操作

编程实现以下指定功能,并利用Hadoop提供的Shell命令完成相同任务:

在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt,里面可以随意输入一些单词.

在本地查看文件位置(ls)

在本地显示文件内容

mkdir hadoop
cd hadoop
touch dw777.txt
gedit dw777.txt

使用命令把本地文件系统中的“txt”上传到HDFS中的当前用户目录的input目录下。

   ./sbin/start-dfs.sh
    ./bin/hdfs dfs -mkdir -p /user/hadoop
    ./bin/hdfs dfs -mkdir input
    ./bin/hdfs dfs -put ./test.txt input

查看hdfs中的文件(-ls)

./bin/hdfs dfs -ls /input

显示hdfs中该的文件内容

./bin/hdfs dfs -cat input/test.txt

删除本地的txt文件并查看目录

cd hadoop
 rm -r 123.txt
ls -al

从hdfs中将txt下载地本地原来的位置。

./bin/hdfs dfs -get /input/123.txt ~/hadoop

从hdfs中删除txt并查看目录

 ./bin/hdfs dfs -rm -ls input/test.txt

原文地址:https://www.cnblogs.com/swxvico/p/8934106.html

时间: 2024-09-30 11:23:04

第三章 熟悉常用的HDFS操作的相关文章

Tutorial 02_熟悉常用的HDFS操作

Shell命令实现: (1)向HDFS 中上传任意文本文件,如果指定的文件在HDFS 中已经存在,则由用户来指定是追加到原有文件末尾还是覆盖原有的文件: (2) 从HDFS 中下载指定文件,如果本地文件与要下载的文件名称相同,则自动对下载的文件重命名:   (3) 将HDFS 中指定文件的内容输出到终端中: (4) 显示HDFS 中指定的文件的读写权限.大小.创建时间.路径等信息: (5) 给定HDFS 中某一个目录,输出该目录下的所有文件的读写权限.大小.创建时间. 路径等信息,如果该文件是目

熟悉常用的HDFS操作

在本地Linux文件系统的"/home/hadoop/"目录下创建一个文件txt,里面可以随意输入一些单词. mkdir hadoop cd hadoop touch 123.txt gedit 123.txt 在本地查看文件位置(ls) ls -al 在本地显示文件内容 gedit 123.txt 使用命令把本地文件系统中的"txt"上传到HDFS中的当前用户目录的input目录下. cd /usr/local/hadoop ./sbin/start-dfs.sh

IDEA第三章----idea常用配置

前两章讲解了idea的git.maven.jdk.tomcat.编码等基本配置,可以让你的项目正常运行,这一章将讲解idea的一些常用设置,这些也正是idea可爱之处,大大提高了开发的效率. 第一节:idea常用配置 显示行数.显示方法分割线 Windows环境下debug速度更快 代码自动提示(忽略大小写) 光标行背景颜色 代码检查等级 修改文件后父文件夹颜色改变 设置导入Java包几个变为* 设置编辑的tab可以打开几个 设置注释默认单词开头而不是行头 选中的单词高亮 Maven自动导入源码

第三章 jQuery中的DOM操作

DOM(Document Object Model)文档对象模型,每张网页都能用DOM表示出来,每一份DOM都能看成一颗DOM树. jQuery继承了JavaScript对DOM对象操作的特性,使开发人员能方便地操作DOM对象. 1.查找节点 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional

常用的HDFS操作

一.Hadoop提供的Shell命令完成相同任务: 在本地Linux文件系统的"/home/hadoop/"目录下创建一个文件txt,里面可以随意输入一些单词. 在本地查看文件位置(ls) 在本地显示文件内容 使用命令把本地文件系统中的"txt"上传到HDFS中的当前用户目录的input目录下. 查看hdfs中的文件(-ls) 显示hdfs中该的文件内容 删除本地的txt文件并查看目录 从hdfs中将txt下载地本地原来的位置. 从hdfs中删除txt并查看目录 c

熟悉常用的HBase操作,编写MapReduce作业

1. 以下关系型数据库中的表和数据,要求将其转换为适合于HBase存储的表并插入数据: 学生表(Student)(不包括最后一列) 学号(S_No) 姓名(S_Name) 性别(S_Sex) 年龄(S_Age) 课程(course) 2015001 Zhangsan male 23   2015003 Mary female 22   2015003 Lisi male 24 数学(Math)85 2. 用Hadoop提供的HBase Shell命令完成相同任务: 列出HBase所有的表的相关信

熟悉常用的HBASE 操作

1.查看所有表 package cn.edu.zucc.hbase; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.HTableDescriptor; import org.apache.hadoop.hbase.client.Admi

『Python』Numpy学习指南第三章__常用函数

感觉心情渐渐变好了,加油! np.eye(2)np.savetxt('eye.txt',i2)c,v = np.loadtxt('data.csv', delimiter=',', usecols=(6,7), unpack=True) 1 # __*__coding=utf-8__*__ 2 3 import numpy as np 4 5 # 单位矩阵生成 6 i2 = np.eye(2) 7 print(i2) 8 9 # 保存为txt 10 np.savetxt('eye.txt',i2

熟悉常用的Linux操作

请按要求上机实践如下linux基本命令. cd命令:切换目录 (1)切换到目录 /usr/local cd /usr/local (2)去到目前的上层目录 cd ... (3)回到自己的主文件夹 cd ~ ls命令:查看文件与目录 (4)查看目录/usr下所有的文件 Ls /usr mkdir命令:新建新目录 (5)进入/tmp目录,创建一个名为a的目录,并查看有多少目录存在 Cd /tmp Mkdir a (6)创建目录a1/a2/a3/a4 Mkdir –p a1/a2/a3/a4 rmdi