Hbase配置文件从Master到Slave同步

对于其中使用的rsync ,参见:rsync 的基本使用

#!/bin/bash
# Rsyncs HBase files across all slaves. Must run on master.
Assumes
# all files are located in /usr/local
if [ "$#" != "2" ]; then
echo "usage: $(basename $0) <dir-name> <ln-name>"
echo " example: $(basename $0) hbase-0.1 hbase"
exit 1
fi
SRC_PATH="/usr/local/$1/conf/regionservers"
for srv in $(cat $SRC_PATH); do
echo "Sending command to $srv...";
# –v 表示复杂的输出信息 ; -a 表示权限保存模式,相当于 -rlptgoD 参数.很快速的保存几乎所有的权限设定,除了硬式连接 ;-z 表示压缩
# 指定排除一个不需要传输的文件匹配模式  
rsync -vaz --exclude=‘logs/*‘ /usr/local/$1
$srv:/usr/local/
ssh $srv "rm -fR /usr/local/$2 ; ln -s /usr/local/$1
/usr/local/$2"
done
echo "done."

同样的功能,下面的简单些

#!/bin/bash
# Rsync‘s HBase config files across all region servers. Must
run on master.
for srv in $(cat /usr/local/hbase/conf/regionservers); do
echo "Sending command to $srv..."; 
#  ––delete    删除那些接收端还有而发送端已经不存在的文件 
rsync -vaz --delete --exclude=‘logs/*‘ /usr/local/hadoop/
$srv:/usr/local/hadoop/
rsync -vaz --delete --exclude=‘logs/*‘ /usr/local/hbase/
$srv:/usr/local/hbase/
done
echo "done."
时间: 2024-07-28 19:37:38

Hbase配置文件从Master到Slave同步的相关文章

rocketmq集群部署(多master多slave异步)

一.最近公司在做队列的技术选型,经过调研,决定使用rocketmq作为整个架构的队列层,我们之前的公司是用RabbitMQ,集群部署参考我之前的文章:RabbitMQ集群部署:rocketmq集群由NameServer和Broker两种角色组成,NameServer是无状态的可以横向部署多台达到消除单点的目的:Broker分多master.多master多slave同步.多master多slave异步这三种部署方案,一般生产环境都使用的是多master多slave异步这种方案,关于这三种方案的优

故障案例:主从同步报错Fatal error: The slave I/O thread stops because master and slave have equal MySQL server

场景一:因为数据量非常,大概有1.4T,需要在原先master1-slave1的情况下再创建一个库slave2,并且挂在slave1下,即master1-slave1-slave2的结构.为了方便,当时停掉从库salve1,show master status记录状态,开启log_slave_updates,并且关闭salve1,然后将这个从库的data文件夹直接copy到新的从库,结果在创建slave2和slave1的主从关系时报错 Fatal error: The slave I/O thr

RocketMQ多Master多Slave模式部署

每个 Master 配置一个 Slave,有多对Master-Slave,HA采用同步双写方式,主备都写成功,向应用返回成功. 优点:数据与服务都无单点,Master宕机情况下,消息无延迟,服务可用性与数据可用性都非常高.缺点:性能比异步复制模式略低,大约低10%左右,发送单个消息的RT会略高.目前主宕机后,备机不能自动切换为主机,后续会支持自动切换功能. ### 先启动 NameServer### 在机器 A,启动第一个 Master### 在机器 B,启动第二个 Master### 在机器

MySQL主(Master)从(Slave)备份;

实验环境: CentOS release 6.6 (Final) 32位 Master:10.10.10.11 Slave1:10.10.10.7 Slave2:10.10.10.8 1) MySQL 安装 (分别在Master,Slave1,Slave2 运行如下命令) [[email protected] ~]# yum install mysql-server mysql -y [[email protected] ~]# service mysqld start 2)配置my.cnf [

mysql5.5.44 主从复制master and slave have equal MySQL server ids

mysql5.5.44  主从复制配置 注:mysql从5.1.7以后开始就不支持my.cnf中"master-host"类似的参数; 必须在slave 的mysql中执行以下命令(最后的pos没有引号): mysql> change master to master_host='192.168.137.100', master_user='tongbu', master_password='123456', master_log_file='mysql-bin.000014',

zookeeper学习系列:三、构建一个分布式master、slave系统

之前只理解zk可以做命名,配置服务,现在学习下他怎么用作构建master-slave模式的分布式系统. 为什么叫Zoo?“因为要协调的分布式系统是一个动物园”. ZooKeeper是一个中性化的Service,用于管理配置信息.命名.提供分布式同步,还能组合Service.所有这些种类的Service都会在分布式应用程序中使用到.每次编写这些Service都会涉及大量的修bug和竞争情况.正因为这种编写这些Service有一定难度,所以通常都会忽视它们,这就使得在应用程序有变化时变得难以管理应用

Hadoop配置文件与HBase配置文件

本Hadoop与HBase集群有1台NameNode, 7台DataNode 1. /etc/hostname文件 NameNode: node1 DataNode 1: node2 DataNode 2: node3 ....... DataNode 7: node8 2. /etc/hosts文件 NameNode: 127.0.0.1 localhost #127.0.1.1 node1 #-------edit by HY(2014-05-04)-------- #127.0.1.1 n

mysql主从复制 master和slave配置的参数大全

master所有参数1 log-bin=mysql-bin 1.控制master的是否开启binlog记录功能: 2.二进制文件最好放在单独的目录下,这不但方便优化.更方便维护. 3.重新命名二进制日志很简单,只需要修改[mysqld]里的log_bin选项,如下例子:要重新调整logbin的路径为"/home/mysql/binlog"[mysqld]log_bin=/home/mysql/binlog/binlog.log ll /home/mysql/binlog-rw-rw--

配置MySQL主从复制报错Last_IO_Error: Fatal error: The slave I/O thread stops because master and slave have equal MySQL server ids; these ids must be different for replication to work

配置MySQL主从复制报错 Last_IO_Error: Fatal error: The slave I/O thread stops because master and slave have equal MySQL server ids; these ids must be different for replication to work (or the --replicate-same-server-id option must be used on slave but this do