hdfs显示、查看、下载、上传、删除文件操作

linux环境

假设hdfs安装路径（例如是）： /usr/hdp/hadoop/bin/hdfs

1. -ls 列出当前目录下的文件、文件夹

/usr/hdp/hadoop/bin/hdfs dfs -ls /apps/hive/warehouse/my_home

2. 查看文件，例如hive表的内容

/usr/hdp/hadoop/bin/hdfs dfs -text /apps/hive/warehouse/my_home/table_test/pa*
/usr/hdp/hadoop/bin/hdfs dfs -cat /apps/hive/warehouse/my_home/table_test/pa*

3. 下载文件到本地 /root目录下

/usr/hdp/hadoop/bin/hdfs dfs -get hdfs://host:port/apps/hive/warehouse/my_home/my_text.txt /root

4. 上传文件或文件夹到hdfs的某个目录

/usr/hdp/hadoop/bin/hdfs dfs -put /root/my_test.txt ./
/usr/hdp/hadoop/bin/hdfs dfs -put /root/my_dir ./

5. 删除文件夹 my_dir

/usr/hdp/hadoop/bin/hdfs dfs -rm -r /apps/spark/my_dir

原文地址：https://www.cnblogs.com/qi-yuan-008/p/12210023.html

时间： 2024-10-29 08:32:20

hdfs显示、查看、下载、上传、删除文件操作的相关文章

PHP文件上传和文件操作案例

<?php /* *文件配置变量$dirname是目录名称 */ session_start(); $dirname = 'upload'; $fileClass = new fileClass($dirname); $fileClass -> fileCMM();/*文件重命名操作*/ $fileClass -> fileDelete();/*文件删除操作*/ ?> <!DOCTYPE html> <html> <head> <mate

C#FTP操作类含下载上传删除获取目录文件及子目录列表等等

ftp登陆格式  : ftp://[帐号]:[密码]@[IP]:[端口] ftp://用户名:密码@FTP服务器IP或域名:FTP命令端口/路径/文件名 直接上代码吧,根据需要选择函数,可根据业务自己修改,如日志记录,提示等等 using System; using System.Collections.Generic; using System.Text; using System.IO; using System.Net; using System.Windows.Forms; using

Eclipse 上传 删除 下载 分析 hdfs 上的文件

本篇讲解如何通过Eclipse 编写代码去操作分析hdfs 上的文件. 1.在eclipse 下新建Map/Reduce Project项目.如图:  项目建好后,会默认加载一系列相应的jar包. 下面还有很多包. 2.我们新建Java 类就可以了.代码如下: package org.hadoop.examples; import java.io.BufferedInputStream; import java.io.FileInputStream; import java.io.IOExcep

利用Java API通过路径过滤上传多文件至HDFS

在本地文件上传至HDFS过程中,很多情况下一个目录包含很多个文件,而我们需要对这些文件进行筛选,选出符合我们要求的文件,上传至HDFS.这时就需要我们用到文件模式. 在项目开始前,我们先掌握文件模式 1.文件模式 在某个单一操作中处理一系列文件是很常见的.例如一个日志处理的MapReduce作业可能要分析一个月的日志量.如果一个文件一个文件或者一个目录一个目录的声明那就太麻烦了,我们可以使用通配符(wild card)来匹配多个文件(这个操作也叫做globbing). Hadoop提供了两种方法

通用类库-FTPClient帮助类，实现文件上传，目录操作，下载等动作

直接上代码,这个也是我在网上找到的,自己测试修改后才公布出来的,大家可以放心使用,好的东西要分享,随时记录下来,好记性不如烂笔头,这个非常适合工作的. 1 //------------------------------------------------------------------------------------- 2 // All Rights Reserved , Copyright (C) 2016 , ZTO , Ltd . 3 //--------------------

Ubuntu下Filezilla 无法上传某些文件或者已经上传的文件名显示为乱码

Ubuntu下使用Filezilla与Windows文件服务器传输文件出现无法上传某些文件或者已经上传的文件名显示为乱码的情况,还有以前遇到过 用filezilla从自设的windows远程机上上传下载文件,可是在远程机上明明存在的一些文件却无法显示,通过网上搜索才知道更准确的说法是"FileZilla无法显示中文文件名",当文件多时也许会出现这样的规律. 解决方案是设置字符,将默认的自动检测更改为使用自定义的字符集gb2312: FileZilla无法显示中文文件名该如何设置(图)

文件上传(多文件上传)/下载

通常我们会涉及到上传文件和下载文件,在没接struts2框架之前,我们都是使用apache下面的commons子项目的FileUpload组件来进行文件的上传,但是那样做的话,代码看起来比较繁琐,而且不灵活,在学习了struts2后,struts2为文件上传下载提供了更好的实现机制,在这里我分别就文件下载和多文件上传的源代码进行一下讲 文件上传 首先先创建jsp页面(用于多文件上传) <%@ page language="java" import="java.util.

从Linux服务器下载上传文件

首先要确定好哪两种的连接:Linux常用的有centors和unbantu两种版本,PC端Mac和Windows 如果在两个Linux之间传输,或Linux和Mac之间传输可以使用scp命令,类似于ssh连接 无论从本地复制到远程还是远程复制到本地,命令都是在本地书写的 不同的Linux之间copy文件常用有3种方法: 第一种就是ftp,也就是其中一台Linux安装ftp Server,这样可以另外一台使用ftp的client程序来进行文件的copy. 第二种方法就是采用samba服务,类似Wi

Javascript Fromdata 与jQuery 实现Ajax文件上传以及文件的删除

前端HTML代码: <!DOCTYPE html> <html> <head> <title>ajax</title> <script type="text/javascript" src="js/jquery.js"></script> <meta charset="utf-8" /> <style type="text/css&qu