Hadoop 执行 hdfs 命令烦人的警告信息

问题描述：

安装完 hadoop，执行 hdfs dfs -ls 命令时，报警告如下：

2017-07-04 16:32:57,664 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

解决方法：

1、根据你 hadoop 的版本，来http://dl.bintray.com/sequenceiq/sequenceiq-bin/ 下载一个对应版本的 hadoop-native-64 包

2、解压压缩包，覆盖到 HADOOP_HOME/lib/native/ 目录下即可！

[[email protected] ~]$ hdfs dfs -ls /
Found 1 items
drwxr-xr-x - hadoop supergroup 0 2017-07-04 16:32 /user

# 如果没有对应版本就下载个最接近的也行，我这个测试环境 hadoop 3.0，下载的 2.7.0 没有问题。

时间： 2024-10-25 14:11:19

Hadoop 执行 hdfs 命令烦人的警告信息的相关文章

介绍hadoop中的hadoop和hdfs命令

有些hive安装文档提到了hdfs dfs -mkdir ,也就是说hdfs也是可以用的,但在2.8.0中已经不那么处理了,之所以还可以使用,是为了向下兼容. 本文简要介绍一下有关的命令,以便对hadoop的命令有一个大概的影响,并在想使用的时候能够知道从哪里可以获得帮助. 概述 在$HADOOP_HOME/bin下可以看到hadoop和hdfs的脚本. hdfs的相当一部分的功能可以使用hdoop来替代(目前),但hdfs有自己的一些独有的功能.hadoop主要面向更广泛复杂的功能. 本文介绍

hadoop执行hdfs文件到hbase表插入操作(xjl456852原创)

本例中需要将hdfs上的文本文件,解析后插入到hbase的表中. 本例用到的hadoop版本2.7.2 hbase版本1.2.2 hbase的表如下: create 'ns2:user', 'info' hdfs上的文本文件如下[data/hbase_input/hbase.txt] 1,xiejl,20 2,haha,30 3,liudehua,40 4,daoming,41 可以通过命令查看hadoop的classpath现在包含哪些jar包: [[email protected] ~]$

Hadoop之HDFS命令

概述 所有的HDFS命令都调用bin/hdfs脚本文件,如果运行hdfs脚本没有带任何参数的话,则打印所有命令的描述. 使用: hdfs [SHELL_OPTIONS] COMMAND [GENERIC_OPTIONS] [COMMAND_OPTIONS] Hadoop是一个参数解析框架,采用解析泛型选项以及运行类. 命令参数 描述 --config --loglevel 指定一个默认的配置文件目录,默认值是: ${HADOOP_PREFIX}/conf. 重载Log级别.有效的日志级别包含:F

Hadoop之——HDFS命令

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/45769573 1.对hdfs操作的命令格式是hadoop fs 1.1 -ls        <path>    表示对hdfs下一级目录的查看 1.2 -lsr    <path>    表示对hdfs目录的递归查看 1.3    -mkdir    <path>    创建目录 1.4 -put    <src>    <des&g

hadoop的hdfs命令

[[email protected] conf]# hadoop fs -ls /     ls和linux命令差不多 Warning: $HADOOP_HOME is deprecated. Found 1 items drwxr-xr-x   - root supergroup          0 2016-07-05 15:55 /user [[email protected] conf]# [[email protected] conf]# hadoop fs -mkdir /user

ERROR: While executing gem ... (Encoding::UndefinedConversionError) U+7CFB to IBM437 in conversion from UTF-16LE to UTF-8 to IBM437，当你执行gem 命令时，提示如上信息解决方案如下。

when you  use  gem install package ,the result:ERROR: While executing gem ... (Encoding::UndefinedConversionError) U+7CFB to IBM437 in conversion from UTF-16LE to UTF-8 to IBM437 解决方法: 去本地路径下修改编码,这么提示是因为编码不一致导致的. 修改registry 文件中的编码: 修改后就没有问题了.

tp框架报“mysql_connect(): The mysql extension is deprecated and will be removed in the future: use mysqli or PDO instead” 警告信息

警告信息是“mysql_connect(): The mysql extension is deprecated and will be removed in the future: use mysqli or PDO instead……\ThinkPHP\Library\Think\Db\Driver\Mysql.class.php 第 52 行.” 就是建议你用mysqli或者pdo连连接数据库,因为mysql_connect()在未来将要被移除: 这只是一个警告信息,当做没看见也阔以,去p

hadoop之 HDFS fs 命令总结

版本:Hadoop 2.7.4 -- 查看hadoop fs帮助信息[[email protected] sbin]# hadoop fsUsage: hadoop fs [generic options][-appendToFile <localsrc> ... <dst>][-cat [-ignoreCrc] <src> ...][-checksum <src> ...][-chgrp [-R] GROUP PATH...][-chmod [-R] &l

linux中去掉敲命令时 发出烦人的“铛铛铛“的声音

在linux下可能tab命令键应该是大家平时工作中用的最多一个按键了.在使用ls,cd等命令时使用tab可以帮我们减少很多键盘输入,比如我们要进入一个很长目录名的目录下,可能只需要敲入前几个字符,然后使用tab,这时整个目录名都帮补充出来了. 但是如果有几个前面都相同的字符,它也会提示出来,并且还会发出"铛铛铛"的响声,白天还好,当你夜晚或者戴着耳机听音乐时...苦不堪言啊! 用vi 编辑 /etc/inputrc 文件, 去掉 "set bell-style none&qu