HDFS简单的shell操作--大数据纪录片第二记

一、基本语法: bin/hadoop fs -具体命令

二、部分简单命令操作

  1、显示命令的参数:  help ls

  

  2、显示该目录下所有文件:  ls 目录

  

  3、在hdfs上创建目录:  mkdir 目录

  

  4、从本地剪切到hdfs上:  moveFromLocal 本地位置 hdfs上位置

  

  5、追加一个文件A到已存在文件B末尾:  appendToFile A B

  

  

  

  6、显示文件内容:  cat 文件

  

  7、显示文件末尾:  tail 文件所在位置

  

  其实hdfs上的shell命令和linux下差不多,不继续列举,有用到直接查。

  

 

原文地址:https://www.cnblogs.com/qugemingzihaonan13/p/9850901.html

时间: 2024-11-07 08:02:50

HDFS简单的shell操作--大数据纪录片第二记的相关文章

HDFS体系结构及shell操作

一.hadoop1.1.0的介绍 hadoop是适合大数据的分布式存储和计算的平台 hadoop核心组成由hdfs和mapreduce组成 hdfs是主从式结构,主节点只有一个,是namenode:从节点有很多个 分布式文件系统与HDFS (HDFS体系结构与基本概念) Distributed File System 数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,因此迫切需要一种系统来管理多台机器上  的文件,这就是分布式文件管理

HDFS的基本shell操作

(1)分布式文件系统 随着数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,因此迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统 .它是一种允许文件通过网络在多台主机上分享的文件系统,可让多机器上的多用户分享文件和存储空间. 而它最主要的特性就是通透性.让实际上是通过网络来访问文件的动作,由程序与用户看来,就像是访问本地的磁盘一般.即使系统中有某些节点脱机,整体来说系统仍然可以持续运作而不会有数据损失 分布式文件管理系

Shell在大数据的魅力时代:从一点点思路百度大数据面试题

供Linux开发中的同学们,Shell这可以说是一个基本功. 对于同学们的操作和维护.Shell也可以说是一种必要的技能,Shell.对于Release Team,软件配置管理的同学来说.Shell也起到了非常关键的数据.尤其是分布式系统发展的如火如荼,非常多开源项目都开展的如火如荼(好像不是分布式的系统都不好意思拿出来说事).分布式系统的配置.管理,Shell也起到了非常关键的数据,尽管仅仅是简单的文件拷贝,可是谁让Shell天生是做这些的呢? 当然了,以上不是本文的主题.本文的主题是Shel

Java读取操作大数据excel

工作需要,读取大数据量的excel.用Apache poi的普通模式读取,会抛内存溢出.查询文档得知有另外一种模式--用户模式.该模式不会一下子整个文件load进来放在内存里,而是一行一行的读取,这样就能避免内存溢出了. 上码: package com.ism.excel.pkg07; import java.io.InputStream; import java.sql.SQLException; import java.util.ArrayList; import java.util.Ite

python财经数据接口包Tushare pro的入门及简单使用方式(大数据,股票数据接口)

最近在做一个项目,需要用到股票的数据,我在网上查了很久,最终发现在股票数据上面还是tushare比较专业,而且对于将来做金融行业的大数据这一块的,tushare绝对是你的一个好帮手,所以下面我就简单介绍一下. 一.Tushare Pro简介 Tushare旧的版本运行了三年,在旧的版本运行了三年之后,Tushare Pro被发布,相对于之前的版本,它更加稳定质量更好,而且有了前三年的运行经验,Pro用起来更加流畅,而且将数据扩大到了股票.基金.期货.债券.外汇.行业大数据等区块链的数据,数据量更

Hadoop之HDFS(概述和Shell操作)

HDFS概述 HDFS组成架构 HDFS文件块大小   HDFS的Shell操作(开发重点) 1.基本语法 bin/hadoop fs 具体命令   OR  bin/hdfs dfs 具体命令 dfs是fs的实现类. 2.命令大全 $ bin/hadoop fs [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <src> ...] [-chgrp [-

年薪50万的大数据分析师养成记【摘抄】

以下是一位在数据分析领域打滚了N年后,写下的一些体会,一定能给新人一些借鉴的地方.(总结的不错,大家可以借鉴学习哦) 一.数据分析师有哪些要求? 1.理论要求及对数字的敏感性,包括统计知识.市场研究.模型原理等. 2.工具使用,包括挖掘工具.数据库.常用办公软件(excel.PPT.word.脑图)等. 3.业务理解能力和对商业的敏感性.对商业及产品要有深刻的理解,因为数据分析的出发点就是要解决商业的问题,只有理解了商业问题,才能转换成数据分析的问题,从而满足部门的要求. 4.汇报和图表展现能力

年薪50万的大数据分析师养成记

以下是一位在数据分析领域打滚了N年后的分析师写下的一些总结和体会大家可以借鉴学习! 一.成为数据分析师有哪些要求? 1.理论知识要宽泛,涉及数学.市场和技术.要求及对数据敏感,包括统计知识.市场研究.模型原理等. 2.常规分析工具的使用,包括数据库.数据挖掘.统计分析工具,常用办公软件(Excel.PPT.思维导图)等等. 3.有一定的业务理解能力,能理解业务背后的商业逻辑.因为只有理解了商业问题,才能转换成数据分析的问题,从而满足部门的要求. 4.数据报告和数据可视化的能力.数据分析得再好,如

【若泽大数据实战第二天】Linux命令基础

Linux基本命令: 查看IP: ifconfig 或者 hostname -i(需要配置文件之后才可以使用) ipconfig(Windows) 关闭防火墙: Service iptables status chkconfig iptables off 配置静态IP地址: vi /etc/sysconfig/network-scripts/ifcfg-eth0 ONBOOT=yes NM_CONTROLLED=no BOOTPROTO="static" IPADDR=192.168.