查看文件;
[[email protected] hadoop]# hadoop fs -lsr /
drwxr-xr-x - root supergroup 0 2016-12-27 10:49 /home
drwxr-xr-x - root supergroup 0 2016-12-27 10:49 /home/hadoop
drwxr-xr-x - root supergroup 0 2016-12-27 10:49 /home/hadoop/tmp
drwxr-xr-x - root supergroup 0 2016-12-27 10:49 /home/hadoop/tmp/mapred
drwx------ - root supergroup 0 2016-12-27 10:49 /home/hadoop/tmp/mapred/system
-rw------- 1 root supergroup 4 2016-12-27 10:49 /home/hadoop/tmp/mapred/system/jobtracker.info
[[email protected] hadoop]# hadoop fs -ls /
Found 1 items
drwxr-xr-x - root supergroup 0 2016-12-27 10:49 /home
[[email protected] hadoop]#
HDFS
HDFS 的web 接口访问
http://hadoop:50070
可以查看 namenode 状态;
http://hadoop:50075
可以查看 datanode 状态;
活动方式 体系结构
分布式文件管理系统 HDFS 一次写入 多次查询 不支持并发写/ 小文件不合适
容错 节点脱机 仍可以运作 (因为是多台节点 、分布式系统不会宕 数据不确定)
多机器多用户分享文件 和存储空间;
通透性 通过网络访问文件动作 由程序和用户访问;
hdsf 操作语法:操作方式 hadoop fs xxx
hadoop fs -ls hdfs://hadoop:9000/
### *** 查找目录
查询目录结构 :hadop fs -ls / 根目录
[[email protected] ~]# hadoop fs -lsr /
Warning: $HADOOP_HOME is deprecated.
类别权限 副本 用户 组 大小
drwxr-xr-x - root supergroup 0 2016-12-12 14:04 /home
drwxr-xr-x - root supergroup 0 2016-12-12 14:04 /home/hadoop
drwxr-xr-x - root supergroup 0 2016-12-12 14:04 /home/hadoop/tmp
drwxr-xr-x - root supergroup 0 2016-12-12 14:39 /home/hadoop/tmp/mapred
drwx------ - root supergroup 0 2016-12-12 14:39 /home/hadoop/tmp/mapred/system
-rw------- 1 root supergroup 4 2016-12-12 14:39 /home/hadoop/tmp/mapred/system/jobtracker.info
[[email protected] ~]#
-- ( 上面文件的 "1" 表示副本;而文件夹没有 、文件只是组织管理 。 )
创建文件 hadoop fs mkdir /
HDFS 主要是用于 上传数据 部署FTP 服务器上传文件;一次写多次读
(默认 不能重复;上传时目录不存在时 如果上传文件的目的目录不存在时则上传文件默认为目录名)
hadoop fs -text <hdfs > 查看文件内容
配置文件
hadoop 环境变量脚本
hadoop-env.sh
hadoop 核心配置文件
core-site.xml 配置hadoop 的运行临时文件的主目录 和 HDFS 的访问路径
fs.default.name
hdfs 核心配置文件 可以配置副本集数
hdfs-site.xml 存储的副本数
MapReduce 的配置文件
mapred-site.xml Jobtracker 的访问路径;
(源数据在运行时 是放在内存中)
*/tmp/dfs/name/in_use.lock 表示这个目录已经被 namenode 使用;
*/tmp/dfs/name/current namenode 写入文件;
HA 解决方案 冷备份;不支持热备
从 namenode 上下载元数据信息(fsimage、edits) 然后把二者合并生成新的fsimage;保存本地 并将其推送到namenode上;重置namenode和edits
Datanode 提供真实数据的存储服务
文件块 block 最基础的存储单位
HDFS 默认block大小是64M ,以一个256M文件 共有256/64=4个block
# stat / 和windows 系统文件 簇的一样是存储单位;(但当不到一个block大小,就会占用文件实际大小 )
.meta 校验文件;
-rw-r--r-- 1 root root 4 Dec 12 16:10 blk_1423469742724759577
-rw-r--r-- 1 root root 11 Dec 12 16:10 blk_1423469742724759577_1025.meta
hdfs 根目录: hadoop fs -ls/
文件block块的 位置设置文件主目录;
我默认设置的 /home/hadoop/tmp/dfs/data/current
" SQL 文件结构化数据 "
默认是3个副本 ;副本越多越好 但是 占用磁盘控件 ;
使用Java 操作hadoop 操作的是 fileSystem
单一节点namenode 备份block 文件 也会有一部分数据丢失 ;有一个是高可用行 HA
3、RPC (remote procedure call)
不同Java进程间的对象方法的调用 (不同Java进程间的对象调用;)
一方称作服务端 server 一方称作客户端 client (CS 模式)
server 端提供对象 供客户端调用 、被调用的对象的方法的执行发生在server 端;
RPC 是hadoop 框架运行的基础。运行在框架之上的 ;
原文地址:https://www.cnblogs.com/sharesdk/p/8992162.html