hadoop - 基础操作

查看文件;
[[email protected] hadoop]# hadoop fs -lsr /
drwxr-xr-x - root supergroup 0 2016-12-27 10:49 /home
drwxr-xr-x - root supergroup 0 2016-12-27 10:49 /home/hadoop
drwxr-xr-x - root supergroup 0 2016-12-27 10:49 /home/hadoop/tmp
drwxr-xr-x - root supergroup 0 2016-12-27 10:49 /home/hadoop/tmp/mapred
drwx------ - root supergroup 0 2016-12-27 10:49 /home/hadoop/tmp/mapred/system
-rw------- 1 root supergroup 4 2016-12-27 10:49 /home/hadoop/tmp/mapred/system/jobtracker.info
[[email protected] hadoop]# hadoop fs -ls /
Found 1 items
drwxr-xr-x - root supergroup 0 2016-12-27 10:49 /home
[[email protected] hadoop]#

HDFS
HDFS 的web 接口访问
http://hadoop:50070
可以查看 namenode 状态;
http://hadoop:50075
可以查看 datanode 状态;

活动方式 体系结构
分布式文件管理系统 HDFS 一次写入 多次查询 不支持并发写/ 小文件不合适
容错 节点脱机 仍可以运作 (因为是多台节点 、分布式系统不会宕 数据不确定)
多机器多用户分享文件 和存储空间;
通透性 通过网络访问文件动作 由程序和用户访问;

hdsf 操作语法:操作方式 hadoop fs xxx
hadoop fs -ls hdfs://hadoop:9000/
### *** 查找目录
查询目录结构 :hadop fs -ls / 根目录
[[email protected] ~]# hadoop fs -lsr /
Warning: $HADOOP_HOME is deprecated.
类别权限 副本 用户 组 大小
drwxr-xr-x - root supergroup 0 2016-12-12 14:04 /home
drwxr-xr-x - root supergroup 0 2016-12-12 14:04 /home/hadoop
drwxr-xr-x - root supergroup 0 2016-12-12 14:04 /home/hadoop/tmp
drwxr-xr-x - root supergroup 0 2016-12-12 14:39 /home/hadoop/tmp/mapred
drwx------ - root supergroup 0 2016-12-12 14:39 /home/hadoop/tmp/mapred/system
-rw------- 1 root supergroup 4 2016-12-12 14:39 /home/hadoop/tmp/mapred/system/jobtracker.info
[[email protected] ~]#
-- ( 上面文件的 "1" 表示副本;而文件夹没有 、文件只是组织管理 。 )

创建文件 hadoop fs mkdir /

HDFS 主要是用于 上传数据 部署FTP 服务器上传文件;一次写多次读
(默认 不能重复;上传时目录不存在时 如果上传文件的目的目录不存在时则上传文件默认为目录名)

hadoop fs -text <hdfs > 查看文件内容
配置文件
hadoop 环境变量脚本
hadoop-env.sh

hadoop 核心配置文件
core-site.xml 配置hadoop 的运行临时文件的主目录 和 HDFS 的访问路径
fs.default.name

hdfs 核心配置文件 可以配置副本集数
hdfs-site.xml 存储的副本数

MapReduce 的配置文件
mapred-site.xml Jobtracker 的访问路径;

(源数据在运行时 是放在内存中)
*/tmp/dfs/name/in_use.lock 表示这个目录已经被 namenode 使用;
*/tmp/dfs/name/current namenode 写入文件;
HA 解决方案 冷备份;不支持热备
从 namenode 上下载元数据信息(fsimage、edits) 然后把二者合并生成新的fsimage;保存本地 并将其推送到namenode上;重置namenode和edits

Datanode 提供真实数据的存储服务
文件块 block 最基础的存储单位
HDFS 默认block大小是64M ,以一个256M文件 共有256/64=4个block
# stat / 和windows 系统文件 簇的一样是存储单位;(但当不到一个block大小,就会占用文件实际大小 )
.meta 校验文件;
-rw-r--r-- 1 root root 4 Dec 12 16:10 blk_1423469742724759577
-rw-r--r-- 1 root root 11 Dec 12 16:10 blk_1423469742724759577_1025.meta

hdfs 根目录: hadoop fs -ls/
文件block块的 位置设置文件主目录;
我默认设置的 /home/hadoop/tmp/dfs/data/current
" SQL 文件结构化数据 "

默认是3个副本 ;副本越多越好 但是 占用磁盘控件 ;

使用Java 操作hadoop 操作的是 fileSystem

单一节点namenode 备份block 文件  也会有一部分数据丢失 ;有一个是高可用行 HA

3、RPC (remote procedure call)
不同Java进程间的对象方法的调用 (不同Java进程间的对象调用;)
一方称作服务端 server 一方称作客户端 client (CS 模式)
server 端提供对象 供客户端调用 、被调用的对象的方法的执行发生在server 端;
RPC 是hadoop 框架运行的基础。运行在框架之上的 ;

原文地址:https://www.cnblogs.com/sharesdk/p/8992162.html

时间: 2024-11-10 13:56:28

hadoop - 基础操作的相关文章

指导手册03:Hadoop基础操作

指导手册03:Hadoop基础操作 Part 1:查看Hadoop集群的基本信息1.查询存储系统信息(1)在WEB浏览器的地址栏输入http://master:50070/ 请查看自己的Hadoop集群填写下表 Configured Capacity:己配置的文件系统存储总量 DFS Remaining :可使用的DFS存储总量 Non DFS Used 被非DFS的应用所占用的存储总量 DFS Used:己使用的 DFS存储总量 Live Nodes: 在线的数据节点:   (2)显示数据节点

《Hadoop基础教程》之初识Hadoop

Hadoop一直是我想学习的技术,正巧最近项目组要做电子商城,我就开始研究Hadoop,虽然最后鉴定Hadoop不适用我们的项目,但是我会继续研究下去,技多不压身. <Hadoop基础教程>是我读的第一本Hadoop书籍,当然在线只能试读第一章,不过对Hadoop历史.核心技术和应用场景有了初步了解. Hadoop历史 雏形开始于2002年的Apache的Nutch,Nutch是一个开源Java 实现的搜索引擎.它提供了我们运行自己的搜索引擎所需的全部工具.包括全文搜索和Web爬虫. 随后在2

【甘道夫】Sqoop1.99.3基础操作--导入Oracle的数据到HDFS

第一步:进入客户端Shell [email protected]:~$ sqoop.sh client Sqoop home directory: /home/fulong/Sqoop/sqoop-1.99.3-bin-hadoop200 Sqoop Shell: Type 'help' or '\h' for help. sqoop:000> set server --host FBI003 --port 12000 --webapp sqoop Server is set successfu

《Hadoop基础教程》之初识Hadoop 【转】

Hadoop一直是我想学习的技术,正巧最近项目组要做电子商城,我就开始研究Hadoop,虽然最后鉴定Hadoop不适用我们的项目,但是我会继续研究下去,技多不压身. <Hadoop基础教程>是我读的第一本Hadoop书籍,当然在线只能试读第一章,不过对Hadoop历史.核心技术和应用场景有了初步了解. Hadoop历史 雏形开始于2002年的Apache的Nutch,Nutch是一个开源Java 实现的搜索引擎.它提供了我们运行自己的搜索引擎所需的全部工具.包括全文搜索和Web爬虫. 随后在2

【Hadoop基础教程】9、Hadoop之倒排索引

开发环境 硬件环境:Centos 6.5 服务器4台(一台为Master节点,三台为Slave节点) 软件环境:Java 1.7.0_45.hadoop-1.2.1 1.倒排索引 倒排索引是文档检索系统中最常用的数据结构,被广泛用于全文搜索引擎.它主要是用来存储某个单词(或词组)在一个文档或一组文档的存储位置的映射,即提供了一种根据内容来查找文档的方式.由于不是根据文档来确定文档所包含的内容,而是进行了相反的操作(根据关键字来查找文档),因而称为倒排索引(Inverted Index).通常情况

Hadoop基础学习(一)分析、编写并运行WordCount词频统计程序

前面已经在我的Ubuntu单机上面搭建好了伪分布模式的HBase环境,其中包括了Hadoop的运行环境. 详见我的这篇博文:http://blog.csdn.net/jiyiqinlovexx/article/details/29208703 我的目的主要是学习HBase,下一步打算学习的是将HBase作为Hadoop作业的输入和输出. 但是好像以前在南大上学时学习的Hadoop都忘记得差不多了,所以找到以前上课做的几个实验:wordCount,PageRank以及InversedIndex.

《Hadoop基础教程》之初识Hadoop(转载)

转载自博主:上善若水任方圆http://blessht.iteye.com/blog/2095675 Hadoop一直是我想学习的技术,正巧最近项目组要做电子商城,我就开始研究Hadoop,虽然最后鉴定Hadoop不适用我们的项目,但是我会继续研究下去,技多不压身. <Hadoop基础教程>是我读的第一本Hadoop书籍,当然在线只能试读第一章,不过对Hadoop历史.核心技术和应用场景有了初步了解. Hadoop历史 雏形开始于2002年的Apache的Nutch,Nutch是一个开源Jav

[转载] 《Hadoop基础教程》之初识Hadoop

转载自http://blessht.iteye.com/blog/2095675 Hadoop一直是我想学习的技术,正巧最近项目组要做电子商城,我就开始研究Hadoop,虽然最后鉴定Hadoop不适用我们的项目,但是我会继续研究下去,技多不压身. <Hadoop基础教程>是我读的第一本Hadoop书籍,当然在线只能试读第一章,不过对Hadoop历史.核心技术和应用场景有了初步了解. Hadoop历史 雏形开始于2002年的Apache的Nutch,Nutch是一个开源Java 实现的搜索引擎.

Hadoop实习操作练习1(Hive与HBase初探)

Chapter 1:     引言 近期电信集团公司举办了大数据技术培训课,按照要求,Hadoop小白的我对两者作完对比,进行实际操作做一个练习记录吧,嘿嘿... 两者的共同点: 1.hbase与hive都是架构在hadoop之上的.都是用hadoop作为底层存储 两者的区别: 2.Hive是建立在Hadoop之上为了减少MapReduce jobs编写工作的批处理系统,HBase是为了支持弥补Hadoop对实时操作的缺陷的项目 . 3.想象你在操作RMDB数据库,如果是全表扫描,就用Hive+