大数据迁移之DRBD扩容

扩容主/备物理数据盘:

[[email protected] ~]# drbdadm down data

[[email protected] ~]# mount /dev/sdb1 /mnt/

[[email protected] ~]# df -h

Filesystem      Size  Used Avail Use% Mounted on

/dev/sda3       7.2G  1.9G  5.0G  28% /

tmpfs           242M     0  242M   0% /dev/shm

/dev/sda1       194M   57M  128M  31% /boot

/dev/sdb1       380M   11M  350M   3% /mnt    # 可以看到备节点磁盘利用率只有380M

[[email protected] ~]# parted /dev/sdb p

Model: Msft Virtual Disk (scsi)

Disk /dev/sdb: 2147MB

Sector size (logical/physical): 512B/512B

Partition Table: msdos

Number  Start   End    Size   Type     File system  Flags

1      32.3kB  814MB  814MB  primary  ext4    # 然而备节点真实大小为814M

2      814MB   979MB  165MB  primary

[[email protected] ~]# umount /mnt/

[[email protected] ~]# e2fsck -f /dev/sdb1     # 查看分区大小

e2fsck 1.41.12 (17-May-2010)

Pass 1: Checking inodes, blocks, and sizes

Pass 2: Checking directory structure

Pass 3: Checking directory connectivity

Pass 4: Checking reference counts

Pass 5: Checking group summary information

/dev/sdb1: 38/100744 files (0.0% non-contiguous), 22971/401409 blocks

[[email protected] ~]# resize2fs /dev/sdb1    # 重新分配分区(扩容)

resize2fs 1.41.12 (17-May-2010)

Resizing the filesystem on /dev/sdb1 to 795184 (1k) blocks.

The filesystem on /dev/sdb1 is now 795184 blocks long.

[[email protected] ~]# mount /dev/sdb1 /mnt/

[[email protected] ~]# df -h

Filesystem      Size  Used Avail Use% Mounted on

/dev/sda3       7.2G  1.9G  5.0G  28% /

tmpfs           242M     0  242M   0% /dev/shm

/dev/sda1       194M   57M  128M  31% /boot

/dev/sdb1       752M   11M  703M   2% /mnt    # 备节点磁盘空间已增加至最大

[[email protected] ~]# ls /mnt/

时间: 2024-10-05 21:29:22

大数据迁移之DRBD扩容的相关文章

利用Tsunami UDP将大数据迁移至云中

当你的数据规模达到PB级别的时候,想要移动这样大规模数据时就会变的费时费力,这也是企业在利用AWS规模化和弹性优势处理分析任务时面临的最大挑战之一.本文主要介绍了加速文件传输协议,谈到如何利用Tsunami DUP实现将大规模数据迁移到云中,其中利用UDP处理数据传输,TCP负责连接控制. 值得一提的是,与SCP.FTP或者HTTP等纯粹基于TCP的协议不同,这些混合型UDP/TCP协议处理数据的吞吐量更加出色,它可以充分利用当前的可用带宽的情况下,不易受到网络延迟的影响,这些特性使其成为远距离

大数据迁移

由于服务器调整,需要把服务器A上面约2T的数据库表空间文件迁移到同网段的另一台服务器B. 具体来说,就是N个32G的表空间文件(注意,是单个文件32G) 局域网传输文件的工具很多,但是没想到的是,一旦处理起这么大的文件,基本全部歇菜.. 先试了FeiQ,传输速度是很快,1000M网卡下速度可以达到90M/s,但是,文件传输到5280M的时刻就出错了,试了N次也不行. 然后在服务器B上架上FTP服务,在A上面用FTP软件往上上传,但是FTP软件看到这么大的单文件也歇菜了,连文件大小都显示成了负的.

大数据(hdfs的扩容兼容及其高可用HA)

HDFS的集群扩容,减容 [了解] 热扩容,减容 减容 1. 创建一个新的文件 位置 名字 随便host.exclusionhadoop22. 配置 hdfs-site.xmldfs.hosts.exclude 文件的位置 (不加 file://)<property>     <name>dfs.hosts.exclude</name>     <value>/opt/install/hadoop-2.5.2/host.exclusion</value

Tsunami 跨机房大数据迁移【ubuntu】

一.Tsunami 安装 1.首先确保系统已经安装automake和autoconfapt-get install automake autoconf (linux 系统:yum -y install automake autoconf ) git clone git://github.com/rriley/tsunami-udp.git cd tsunami-udp ./recompile.sh (在ubuntu 构建出错,原因是automake失敗了.需要修改recompile.sh把aut

Mycat生产实践---数据迁移与扩容实践

1 离线扩容缩容 工具目前从mycat1.6开始支持. 一.准备工作 1.mycat所在环境安装mysql客户端程序 2.mycat的lib目录下添加mysql的jdbc驱动包 3.对扩容缩容的表所有节点数据进行备份,以便迁移失败后的数据恢复 二.扩容缩容步骤 1.复制schema.xml.rule.xml并重命名为newSchema.xml.newRule.xml放于conf目录下 2.修改newSchema.xml和newRule.xml配置文件为扩容缩容后的mycat配置参数(表的节点数.

数据库分库分表(sharding)系列(五) 一种支持自由规划无须数据迁移和修改路由代码的Sharding扩容方案

作为一种数据存储层面上的水平伸缩解决方案,数据库Sharding技术由来已久,很多海量数据系统在其发展演进的历程中都曾经历过分库分表的Sharding改造阶段.简单地说,Sharding就是将原来单一数据库按照一定的规则进行切分,把数据分散到多台物理机(我们称之为Shard)上存储,从而突破单机限制,使系统能以Scale-Out的方式应对不断上涨的海量数据,但是这种切分对上层应用来说是透明的,多个物理上分布的数据库在逻辑上依然是一个库.实现Sharding需要解决一系列关键的技术问题,这些问题主

细说Mammut大数据系统测试环境Docker迁移之路

欢迎访问网易云社区,了解更多网易技术产品运营经验. 前言 最近几个月花了比较多精力在项目的测试环境Docker迁移上,从最初的docker"门外汉"到现在组里的同学(大部分测试及少数的开发)都可以熟练地使用docker环境开展测试工作,中间也积累了一些经验和踩过不少坑,借此2017复盘的机会,总结一下整个环境的搭建过程,希望可以给其他有志于向docker迁移的项目提供些许参考,同时也想跟其他docker的老司机们一起探讨改进方式. Docker迁移的必要性 这篇文章不对docker的基

oracle 的一个大数据表 快速迁移到 Sqlserver2008数据库

"-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> oracle 的一个大数据表 快速迁移到 Sqlserver2008数据库 - HappyBinhaer的专栏 - 博客频道 - CSDN.NET HappyBinhaer的专栏 目录视图 摘要视图 订阅 [活动]2017 CSDN博客专栏评选 &nbsp [5月书讯

[转]一种可以避免数据迁移的分库分表scale-out扩容方式

原文地址:http://jm-blog.aliapp.com/?p=590 目前绝大多数应用采取的两种分库分表规则 mod方式 dayofweek系列日期方式(所有星期1的数据在一个库/表,或所有?月份的数据在一个库表) 这两种方式有个本质的特点,就是离散性加周期性. 例如以一个表的主键对3取余数的方式分库或分表: 那么随着数据量的增大,每个表或库的数据量都是各自增长.当一个表或库的数据量增长到了一个极限,要加库或加表的时候, 介于这种分库分表算法的离散性,必需要做数据迁移才能完成.例如从3个扩