1、什么是分布式文件系统?
是一种允许文件通过网络在多台主机上分享的文件系统,可让多机器上的多用户分享文件和存储空间。
2、为什么会有分布式文件系统?
数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,因此迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统 。
3、分布式文件系统的优势
1)通透性
2)容错性(因为有副本机制,即使有些节点脱机,整体也不会造成数据损失)
3)不适合小文件(因为hdfs每一个文件都会在namenode中生成对应文件的源信息,如果小文件过多时,会导致源文件过大,namenode的压力太大。)
HDFS:
分为Namenode和Datanode
1、Namenode
维护整个文件系统的文件目录树,文件、目录的源信息和每个文件对应的数据列表。接收用户的操作请求。
文件包括:
1):fsimage:元数据镜像文件,存储某一时段的NameNode内存源数据的信息
2):edits:操作日志文件
3):fstime:文件最后一次的修改时间
2、Datanode
以文件块(block块)的形式存储真实数据。
block块:
默认128MB,最大128M,如果是200M的文件,会分成一个128M和一个72M的文件。
Replication:
为了安全,采用副本机制。默认副本为3个
3、dfsadmin
1)bin/hdfs dfsadmin -setQuota 10 lisi
限制用户最大的文件(目录)数,方便多用户操作
2)安全模式:bin/hdfs dfsadmin –safemode
4、副本存放策略
第一个副本放在客户端所在的datanode节点上(如果客户端不在集群范围内,则这第一个节点是随机选的,不过系统会选择负载较少且离得近的节点)
第二个副本放在与第一个副本不同机架的任意节点上
第三个副本与第二个副本同一机架,任意节点上
5、hdfs操作命令:
1)上传文件:
bin/hdfs dfs -put 文件名 hdfs://主机名或ip:9000/
相当于将文件传到hdfs上
2)下载文件:
bin/hdfs dfs -get hdfs://主机名或ip:9000/aa cd ./
下载到当前目录下
3)移动或重命名(远程到远程)
bin/hdfs dfs -mv hdfs://主机名或ip:9000/aa hdfs://主机名或ip:9000/tmp
6、hadoop操作文件命令
#hadoop fs -ls / 查看HDFS根目录
#hadoop fs -mkdir /test 在根目录创建一个目录test
#hadoop fs -mkdir /test1 在根目录创建一个目录test1
#echo -e ‘hadoop second lesson‘ >test.txt
#hadoop fs -put ./test.txt /test
或#hadoop fs -copyFromLocal ./test.txt /test
#cd ..
#hadoop fs -get /test/test.txt .
或#hadoop fs -getToLocal /test/test.txt .
#hadoop fs -cp /test/test.txt /test1
#hadoop fs -rm /test1/test.txt
#hadoop fs -mv /test/test.txt /test1
#hadoop fs -rmr /test1
#hadoop fs -appendToFile