HDFS文件与本地文件的交互操作

1.在HDFS中创建一个新的文件夹，用于保存weblog_entries.txt

hadoop fs -mkdir /data/weblogs

2.将weblog_entries.txt文件从本地文件系统复制到HDFS刚创建的新文件夹下

cd /home/data

hadoop fs -copyFromLocal weblog_entries.txt /data/weblogs

3.列出HDFS上weblog_entries.txt文件的信息：

hadoop fs –ls /data/weblogs/weblog_entries.txt

4.将HDFS上的weblog_entries.txt文件复制到本地系统的当前文件夹下

cd /home/data_download

hadoop fs -copyToLocal /data/weblogs/weblog_entries.txt ./weblog_entries.txt

最后用 ls 命令检验下时候将weblog_entries.txt 下载到本地

时间： 2024-08-03 06:25:48

HDFS文件与本地文件的交互操作的相关文章

微信企业号上传媒体文件之本地文件上传

微信企业号上传媒体文件之本地文件上传企业在使用接口时,对多媒体文件.多媒体消息的获取和调用等操作,是通过media_id来进行的. 通过接口https://qyapi.weixin.qq.com/cgi-bin/media/upload?access_token=ACCESS_TOKEN&type=TYPE,企业可以上传多媒体文件. 注意,每个多媒体文件(media_id)会在上传到微信服务器3天后自动删除,以节省服务器资源. 通常文件上传是通过html表单进行的,通过HttpURLConne

chrome浏览器调试线上文件映射本地文件

通过ReRes让chrome拥有路径映射的autoResponse功能. 前端开发过程中,经常会有需要对远程环境调试的需求.比如,修改线上bug,开发环境不在本地等等.我们需要把远程css文件或者js映射到本地的文件上,通过修改本地文件进行调试和开发.通常我们可以通过以下方法来实现映射: 1.修改host文件——只能把域名映射到IP 2.使用Apache或者nginx搭建反向代理——需要装环境,配置相对繁琐 3.使用Fiddler中的AutoRespnose功能——不支持目录映射,mac.lin

hive导出查询文件到本地文件的2种办法

通过HQL语句可以将hive 中表的数据生成到指定的目录. 有时候我们可以利用hive来生成统计的中间文件(比源文件小的多的) 方法有如下2种: 1.INSERT OVERWRITE LOCAL DIRECTORY 将结果输出到指定的目录: 生成的文件数和redurcer的数目的一样的在hive下面执行 INSERT OVERWRITE LOCAL DIRECTORY '/hive_dat/package_name' select package_name,count(1) from

Jquery的load加载本地文件出现跨域错误的解决方案

如果用原生的AJAX是加载本地文件就不会出现错误.当然,这个jquery的load放在服务器上通过http加载还是支持的.也有例外比如在firefox和ie浏览器使用$.ajax加载本地html或txt文件时,不会报错. 当其他浏览器控制台弹出下面报错,表明这个不支持跨域浏览本地文件: Access to XMLHttpRequest at 'file:///F:/%E4%BB%A3%E7%A0%81/Jquery/a.txt' from origin 'null' has been block

转发：centos彻底删除文件夹、文件命令（centos 新建、删除、移动、复制等命令）

http://blog.csdn.net/lpdx111/article/details/16877725 centos彻底删除文件夹.文件命令(centos 新建.删除.移动.复制等命令: 1.新建文件夹 mkdir 文件名新建一个名为test的文件夹在home下 view source1 mkdir /home/test 2.新建文本在home下新建一个test.sh脚本 vi /home/test.sh 3.删除文件或文件夹 1.删除home目录下的test目录 rm /home/te

**linux实用命令之如何移动文件夹及文件下所有文件

http://www.linuxde.net/2013/02/12448.html 格式: mv [选项(option)] 源文件或目录目标文件或目录使用命令: mv webdata /bin/usr/ 可以延伸一下: mv /usr/lib/* /zone 是将 /usr/lib/下所有的东西移到/zone/中. mv /usr/lib/*.txt /zone 是将lib下以txt结尾的所有文件移到/zone中. 其他类型,以此类推. 具体说明如下: 作用 mv命令来为文件或目录改名或将文

centos彻底删除文件夹、文件命令（centos 新建、删除、移动、复制等命令）

centos彻底删除文件夹.文件命令(centos 新建.删除.移动.复制等命令: 1.新建文件夹 mkdir 文件名新建一个名为test的文件夹在home下 view source1 mkdir /home/test 2.新建文本在home下新建一个test.sh脚本 vi /home/test.sh 3.删除文件或文件夹 1.删除home目录下的test目录 rm /home/test 2.这种不带参数的删除方法经常会提示无法删除,因为权限不够. rm -r /home/test 3.-

Linux(centos)新建，删除，移动文件夹和文件的命令

1.新建文件夹 mkdir 文件名新建一个名为test的文件夹在home下 view source1 mkdir /home/test 2.新建文本在home下新建一个test.sh脚本 vi /home/test.sh 3.删除文件或文件夹 1.删除home目录下的test目录 rm /home/test 2.这种不带参数的删除方法经常会提示无法删除,因为权限不够. rm -r /home/test 3.-r是递归的删除参数表中的目录及其子目录. 目录将被清空并且删除. 当删除目录包含的具

PHP下载远程文件及获取文件内容

/** * 获取远程文件的内容 * @parma $url URL * @return 获得内容 * **/ public static function getContent($url){ $flag = 0; do { $hCurl = curl_init(); curl_setopt($hCurl, CURLOPT_HEADER, 0); curl_setopt($hCurl, CURLOPT_RETURNTRANSFER, 1); cur