gpfs 修改 副本数

gpfs默认创建的文件系统副本数的

Default number of data replicas 1
Default number of metadata replicas 1
Maximum number of data replicas 2
Maximum number of metadata replicas 2

最大副本数在创建文件系统后是不能修改,默认副本数可以修改,但不能超过最大副本数

1、查看当前文件系统的副本数

[[email protected] ~]# mmlsfs gpfs -rmRM
flag                value                    description
------------------- ------------------------ -----------------------------------
 -r                 2                        Default number of data replicas
 -m                 2                        Default number of metadata replicas
 -R                 2                        Maximum number of data replicas
 -M                 2                        Maximum number of metadata replicas

2、查看当前文件的副本数

[[email protected] ~]# mmlsattr /gpfs/a
  replication factors
metadata(max) data(max) file    [flags]
------------- --------- ---------------
      2 (  2)   2 (  2) /gpfs/a

3、修改文件系统的副本数

mmchfs gpfs -m 1

4、修改无数据的副本数

mmchfs gpfs -r 1

5、修改副本数后,原有的文件的副本数不会自动改变,新建的文件将会拥有新的副本数,若需要将原有的文件的副本数改为新设置后的副本数可以执行下面的命令

mmrestripefs gpfs  -R

6、执行上面的命令后,文件的flags可能会显示为unblance

[[email protected] ~]# mmlsattr /gpfs/a
  replication factors
metadata(max) data(max) file    [flags]
------------- --------- ---------------
      1 (  2)   1 (  2) /gpfs/a    [unbalanced]

执行下面的命令可以清除unbalanced

mmrestripefs gpfs  -b
时间: 2024-10-02 05:37:17

gpfs 修改 副本数的相关文章

ES集群修改index副本数报错 :index read-only / allow delete

ES集群修改index副本数,报错 :index read-only / allow delete (api) 原因: es集群数据量增速过快,导致个别es node节点磁盘使用率在%80以上,接近%90 ,由于ES新节点的数据目录data存储空间不足,导致从master主节点接收同步数据的时候失败,此时ES集群为了保护数据,会自动把索引分片index置为只读read-only. 故障处理办法: 1:集群加节点,简单粗暴: 2:降低集群index副本数量: 3:其它:增加磁盘.删除历史数据等:

【大数据系列】使用api修改hadoop的副本数和块大小

package com.slp.hdfs; import org.apache.commons.io.output.ByteArrayOutputStream; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FSDataOutputStream; import org.apache.hadoop.fs.F

Hadoop副本数配置

一个文件,上传到hdfs上时指定的是几个副本就是几个.修改了副本数(dfs.replications),对已经上传了的文件也不会起作用.当然可以在上传文件的同时指定创建的副本数hadoop dfs -D dfs.replication=2 -put abc.txt /tmp可以通过命令来更改已经上传的文件的副本数:hadoop fs -setrep -R 2 / 查看当前hdfs的副本数hadoop fsck -locations某个文件的副本数,可以通过ls中的文件描述符看到hadoop df

设置hdfs和hbase副本数。hadoop2.5.2 hbase0.98.6

hdfs副本和基本读写. core-site.xmlhdfs-site.xml 从/etc/hdfs1/conf下拷贝到工作空间 import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.

HDFS上文件块的副本数设置

一.使用 setrep 命令来设置 # 设置 /javafx-src.zip 的文件块只存三份 hadoop fs -setrep 3 /javafx-src.zip 二.文件块在磁盘上的路径 # 设置的 hdfs 目录为/opt/hadoop-tmp/ # hdfs 文件块的路径为 /opt/hadoop-tmp/dfs/data/current/BP-362764591-192.168.8.136-1554970906073/current/finalized/subdir0/subdir0

设置elasticsearch的默认分区数和副本数

日志是从logstash传输给ES的,但是logstash配置中只能配置host和index,所以只能在es中进行配置 但是在es配置文件中配置,也就是新增如下参数的话会报错:node settings must not contain any index level settings index.number_of_shards: 1 index.number_of_replicas: 0 所以采用索引模板的方式进行设置 POST /_templates/index_patterns { "o

gpfs 修改 failure group

1.查看nsd 的failure group [[email protected] ~]# mmlsdisk gpfs disk         driver   sector     failure holds    holds                            storage name         type       size       group metadata data  status        availability pool -----------

PG 选不出足够的副本数导致创建 EC 池失败的问题

ceph osd getcrushmap -o crush crushtool -d crush -o crush.txt sed -i 's/tunable choose_total_tries 50/tunable choose_total_tries 150/g' crush.txt crushtool -c crush.txt -o crush.new ceph osd setcrushmap -i crush.new 大集群的场景下创建pool失败解决方法: ceph tell mon

HDFS追本溯源:租约,读写过程的容错处理及NN的主要数据结构

1.      Lease 的机制: hdfs支持write-once-read-many,也就是说不支持并行写,那么对读写的互斥同步就是靠Lease实现的.Lease说白了就是一个有时间约束的锁.客户端写文件时需要先申请一个Lease,对应到namenode中的LeaseManager,客户端的client name就作为一个lease的holder,即租约持有者.LeaseManager维护了文件的path与lease的对应关系,还有clientname->lease的对应关系.LeaseM