hadoop命令

Usage: hadoop [--config confdir] [--loglevel loglevel] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS]

Hadoop Common Commands

`archive`

`checknative`

`classpath`

`distcp`

`fs`

This command is documented in the File System Shell Guide. It is a synonym for hdfs dfs when HDFS is in use.

`jar`

Usage: hadoop jar <jar> [mainClass] args...

Runs a jar file.

Use yarn jar to launch YARN applications instead.

`key`

`trace`

`version`

`CLASSNAME`

Administration Commands

`daemonlog`

hadoop daemonlog -getlevel <host:httpport> <classname>
hadoop daemonlog -setlevel <host:httpport> <classname> <level>

http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/CommandsManual.html

时间： 2024-08-06 16:07:44

hadoop命令的相关文章

一步一步跟我学习hadoop(3)----hadoop命令手册

上节我们学习了hadoop的eclipse插件安装和wordcount程序的运行,本篇对hadoop命令进行一个系统的了解 hadoop的命令通过HADOOP_HOME\bin\hadoop命令触发,我们可以在命令行执行 hadoop --help 来提示用户的命令输入. hadoop命令分为两大类:用户命令和管理命令,以下是hadoop命令的详细解读本篇博客是摘自官网http://hadoop.apache.org/docs/r1.0.4/cn/commands_manual.html 0概

【转】Hadoop命令大全

Hadoop命令大全本节比较全面的向大家介绍一下Hadoop命令,欢迎大家一起来学习,希望通过本节的介绍大家能够掌握一些常见Hadoop命令的使用方法.下面是Hadoop命令的详细介绍. 1.列出所有HadoopShell支持的命令 $bin/hadoopfs-help 2.显示关于某个命令的详细信息 $bin/hadoopfs-helpcommand-name 3.用户可使用以下命令在指定路径下查看历史日志汇总.这条命令会显示作业的细节信息,失败和终止的任务细节. $bin/hadoopjo

Hadoop命令参数说明

namenode(hdfs)+jobtracker(mapreduce)可以放在一台机器上,datanode+tasktracker可以在一台机器上,辅助namenode要单独放一台机器,jobtracker通常情况下分区跟datanode一样(目录最好分布在不同的磁盘上,一个目录对应一个磁盘),namenode存储目录需要格式化,datanode存储目录不需要格式化,启动时自动创建同一个datanode上的每个磁盘上的块不会重复,不同datanode之间的块才可能重复一些文件的说明: 1.

[hadoop]命令行编译并运行hadoop例子WordCount

首先保证JDK.Hadoop安装设置成功可以参考[linux]ubuntu下安装hadoop [linux]ubutnu12.04 下安装jdk1.7 使用hadoop版本为1.2.1,jdk为1.7 在hadoop-1.2.1\src\examples\org\apache\hadoop\examples找到WordCount.java 源码如下: 1 /** 2 * Licensed under the Apache License, Version 2.0 (the "License&q

【源】从零自学Hadoop(12)：Hadoop命令中

阅读目录序 HDFS Commands User Commands Administration Commands Debug Commands 引用系列索引本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序上一篇,我们对Hadoop命令进行了简略的列举,但是Hadoop命令特多,还有一部分没有列举完,官网基本都是英文的,所以只能拙略的翻译下,妄大家见谅. 下面,我们就开始对Hadoo

【源】从零自学Hadoop(11)：Hadoop命令上

阅读目录序概述 Hadoop Common Commands User Commands Administration Commands File System Shell 引用系列索引本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序上一篇,我们从发展历程,架构,MapReduce等方面对比了Hadoop1.x与Hadoop2.x,特别是这这几年,2.x的发展已经可以适合很多的应用

hadoop命令报错：权限问题

root用户执行hadoop命令报错: [[email protected] conf]# hadoop fs -ls /user/ [INFO] 17:50:42 main [RetryInvocationHandler]Exception while invoking getFileInfo of class ClientNamenodeProtocolTranslatorPB over vmocdp127.test.com/172.16.145.127:8020. Trying to fa

Hadoop学习之第二章节：Hadoop命令

常用Hadoop命令: hadoop dfs -mkdir /tmp/input 在HDFS上新建文件夹 hadoop dfs -put input1.txt /tmp/input 把本地文件input1.txt传到HDFS的/tmp/input目录下 Hadoop dfs -get input1.txt /tmp/input/input1.txt 把HDFS文件拉到本地 hadoop dfs -ls /tmp/output

大数据测试之hadoop命令大全

大数据测试之hadoop命令大全 1.列出所有Hadoop Shell支持的命令 $ bin/hadoop fs -help2.显示关于某个命令的详细信息 $ bin/hadoop fs -help command-name3.用户可使用以下命令在指定路径下查看历史日志汇总 $ bin/hadoop job -history output-dir这条命令会显示作业的细节信息,失败和终止的任务细节.4.关于作业的更多细节,比如成功的任务,以及对每个任务的所做的尝试次数等可以用下面的命令查看

Hadoop命令手册

Hadoop 命令手册 1. 用户命令 1.1 archive 1.1.1 什么是Hadooparchives Hadoop的归档文件,每个文件以块方式存储,块的元数据存储在名称节点的内存里,此时存储一些小的文件,HDFS会较低效.因此,大量的小文件会耗尽名称节点的大部分内存.(注意,相较于存储文件原始内容所需要的磁盘空间,小文件所需要的空间不会更多.例如,一个1 MB的文件以大小为128 MB的块存储,使用的是1 MB的磁盘空间,而不是128 MB.) Ha