Hadoop学习之第二章节:Hadoop命令

常用Hadoop命令:

hadoop dfs -mkdir /tmp/input                   在HDFS上新建文件夹

hadoop dfs -put input1.txt /tmp/input    把本地文件input1.txt传到HDFS的/tmp/input目录下

Hadoop dfs -get  input1.txt /tmp/input/input1.txt    把HDFS文件拉到本地

hadoop dfs -ls /tmp/output                    列出HDFS的某目录

hadoop dfs -cat /tmp/ouput/output1.txt            查看HDFS上的文件

hadoop dfs -rmr /home/less/hadoop/tmp/output        删除HDFS上的目录

hadoop dfsadmin -report        查看HDFS状态,比如有哪些datanode,每个datanode的情况

hadoop dfsadmin -safemode leave                离开安全模式

hadoop dfsadmin -safemode enter                进入安全模式

hadoop jar  /usr/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar  wordcount /usr/input /usr/output

参考网址:

http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html

时间: 2024-08-07 08:42:31

Hadoop学习之第二章节:Hadoop命令的相关文章

Hadoop学习总结之五:Hadoop的运行痕迹

Hadoop学习总结之五:Hadoop的运行痕迹 Hadoop 学习总结之一:HDFS简介 Hadoop学习总结之二:HDFS读写过程解析 Hadoop学习总结之三:Map-Reduce入门 Hadoop学习总结之四:Map-Reduce的过程解析 在使用hadoop的时候,可能遇到各种各样的问题,然而由于hadoop的运行机制比较复杂,因而出现了问题的时候比较难于发现问题. 本文欲通过某种方式跟踪Hadoop的运行痕迹,方便出现问题的时候可以通过这些痕迹来解决问题. 一.环境的搭建 为了能够跟

Hadoop学习笔记_4_实施Hadoop集群 --伪分布式安装

实施Hadoop集群 --伪分布式安装 准备与配置安装环境 安装虚拟机和linux,虚拟机推荐使用vmware,PC可以使用workstation,服务器可以使用ESXi,在管理上比较方便.ESXi还可以通过拷贝镜像文件复制虚拟机,复制后自动修改网卡号和ip,非常快捷.如果只是实验用途,硬盘大约预留20-30G空间. 以Centos为例,分区可以选择默认[如果想要手动分区,请参考博客:http://blog.csdn.net/zjf280441589/article/details/175485

Hadoop学习笔记_8_实施Hadoop集群 --分布式安装Hadoop

实施Hadoop集群 --分布式安装Hadoop 说明: 以Ubuntu配置为例,其中与CentOS不同之处会给出详细说明 现有三台服务器:其IP与主机名对应关系为: 192.168.139.129 master #NameNode/JobTrackerr结点 192.168.139.132 slave01 #DataNode/TaskTracker结点 192.168.139.137 slave02 #DataNode/TaskTracker结点 一.配置ssh实现Hadoop节点间用户的无密

Hadoop学习笔记0003——从Hadoop URL读取数据

Hadoop学习笔记0003--从Hadoop URL读取数据 从HadoopURL读取数据   要从Hadoop文件系统中读取文件,一个最简单的方法是使用java.net.URL对象来打开一个数据流,从而从中读取数据.一般的格式如下: InputStream in = null; try { in = new URL("hdfs://host/path").openStream(); // process in } finally { IOUtils.closeStream(in);

Hadoop学习之第一章节:Hadoop配置安装

一.配置虚拟机三台 1.网络配置 虚拟化软件: Vmware Workstations  10.7z Linux系统:  Centos 6.5-x86_64 采用4台安装Linux环境的机器来构建一个小规模的分布式集群. 集群机器详细信息 1.虚拟化的网络配置方式:桥接网络 2.IP地址设置为固定IP地址 3.主机名配置,需要修改一下地方 (1)配置vi  /etc/hostname (2)配置vi /etc/sysconfig/network (3)配置vi /etc/hosts 4.关闭防火

Hadoop学习(二) Hadoop配置文件参数详解

Hadoop运行模式分为安全模式和非安全模式,在这里,我将讲述非安全模式下,主要配置文件的重要参数功能及作用,本文所使用的Hadoop版本为2.6.4. etc/hadoop/core-site.xml 参数 属性值 解释 fs.defaultFS NameNode URI hdfs://host:port/ io.file.buffer.size 131072 SequenceFiles文件中.读写缓存size设定 范例: <configuration> <property> &

Hadoop学习笔记之一:Hadoop介绍

在学习Hadoop之前,先了解一下大数据相关的知识:         1.             大数据背景 大数据的产生:众所周知,随着信息社会的快速发展,信息量以爆发式的速度增长,这些信息包括来自互联网的大数据.大量传感器的机器数据.行业的内容数据.这些数据的特征表现为数据量大,一般为TB级或PB级甚至更大.数据类型多,可以是结构化的表单.半结构化的文本.视频.图像.语音.及非结构话的文件. 大数据的挑战:如何对这些数据进行高效存储,如何对这些数据进行分析和处理,以获取更多有价值的信息.大

Hadoop学习(一) Hadoop是什么

Hadoop是什么? Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用Java语言实现开源软件框架,实现在大量计算机组成的集群中对海量数据进行分布式计算. Hadoop框架中最核心设计就是:HDFS和MapReduce.HDFS提供了海量数据的存储,MapReduce提供了对数据的计算. Hadoop的优点 Hadoop是一个能够对大量数据进行分布式处理的软件框架. Hadoop 以一种可靠.高效.可伸缩的方式进行数据处理. Hadoop是可靠的,因为它假设计算元素和

Hadoop学习---第三篇Hadoop的第一个Mapreduce程序

Mapreducer程序写了好几个了,但是之前一直都没有仔细的测试过本地运行和集群上运行的区别,今天写了一个Mapreduce程序,在此记录下来. 本地运行注意事项有以下几点: 1.本地必须配置好Hadoop的开发环境 2.在src里不加入配置文件运行,或者如果本地的src里有mapred-site.xml和yarn-site.xml配置文件,那么mapreduce.framework.name=local以及yarn.resourcemanager.hostname=local 测试说明:sr