Git 迁移之痛

OSChina 的 Git 平台一直在云平台上,今年年中的时候数据增长迅猛,特别是在存储的容量上成倍的增长。我们跟几个云平台的深入聊过,目前的环境下没有解决方案,难以在容量和性能上都同时满足。于是才做出建立独立服务器的决定。然后是几个月的硬件准备和软件架构的准备,特别是在 Ceph 存储上的研究花了很长时间。很不幸的是,当我们开始迁移并迁移结束后的第一个高峰期到来时,因为存储的对各种大小文件处理性能奇差导致系统访问故障。于是紧急上线独立存储设备,将 Ceph 上的数据拷贝到独立存储设备上。希望在拷贝完成之后暂停使用 Ceph。

可是数据尚未完全拷贝完成的时候 Ceph 挂了! Ceph 输出的块设备无法正常的 mount 到文件系统中。直接导致尚未拷贝到独立存储的项目无法访问。寻求了一些有丰富 Ceph 应用经验的人士后并没有什么快速的解决办法。

为了不影响正常项目的访问,我们决定先把服务启动,确保已迁移的项目可以正常访问。然后再花时间恢复数据。

一位大师说过,存储是云计算的基石!经此一劫,更加深以为然。接下来我们会完全采用可靠的硬件来解决存储的问题,暂且搁置集群文件存储。目前在 Git 上做的任何更新、提交等等,数据都是存储在做了 RAID 的专用存储服务器上。

说心里话,遇到这样的问题,不敢指望大家能理解和体谅,只能尽最大的努力让受影响的部分项目尽快恢复。如果你的项目有任何问题,可以随时 @红薯 或者 @zoker

崩溃的时候,巨大的压力让自己偶尔会萌生退意,可清醒过来还得全力以赴,不为别的,就因为深深的爱着 OSC!

这两天 Git 项目组的同事们,你们辛苦了!

时间: 2024-10-10 03:36:49

Git 迁移之痛的相关文章

代码托管SVN到Git迁移(使用小乌龟工具)

1.环境信息 Git   Server     华为软件开发云   代码托管 SVN Server    本地SVN服务器   Windows Server2012 R2 本地主机       Windows7 SP1 2.必要安装的软件 Git-2.7.2, 这个是Git客户端,可以在Git的官方网站上下载: SVN客户端,只有安装了SVN客户端才能利用Tortoisegit访问SVN服务端,如果不装那就只能访问Git的服务器了: Tortoisegit , 这个工具为Windows用户提供了

将项目的版本控制从Vss迁移到Git

之前在Vs2008上一直使用的是Vss版本控制,现在将版本控制更改为Git 迁移原因是其他公司想要在我们公司开发的一个CRM系统做一些定制(个性化需求,将软件上的公司名称和链接更改为他们的或一些跟我们CRM不同的功能) 但又不能影响我们公司CRM正常的开发流程,之前是复制一副源代码然后再处理(之前的一家OEM就是这样处理的,复制的项目并没有添加到版本控制) 但现在又不一家公司需要OEM,难道还要再复制,更改?而且之前的代码如果发现问题怎么办?修改N份?? 之前一直知道Git,但由于之前使用的Vs

[转载] 使用Gitolite来对Git的repository实现权限控制

我们项目组打算从svn向git迁移,前几天我搭建了git环境,把代码从svn转移过来,然后所有成员都通过server上的git账号来做pull和push,一切都安置妥当,没有问题.但是后来其它项目组也打算使用这个git server,那么问题来了,之前那种授权的方式肯定是不够的,因为只要能连上server,那么他对这个server上所有的repository都有完全的读写权限,这显然是不可接受的. 所以打算使用Gitolite这个组件来做权限控制,搜索了下,找到的文章貌似都是老版本的,所以有了写

痛客平台大数据技术助推贵阳“一企一策”

痛客平台大数据技术助推贵阳"一企一策" 当前中国,正在实施供给侧结构性改革,将经济增长动力点由消费者需求回归于企业方的供给.在这样的背景下,贵州省贵阳市正在实施"一企一策"工作.针对贵阳市的工业领域企业,开展相关企业的转型升级工作,落实国家供给侧结构性改革. "一企一策"工作旨在明确企业转型升级的重点方向,编制转型升级方案.而痛客平台致力于用众包方式解决各行业企业痛点,突破技术瓶颈.引领企业升级.在供给侧结构性改革的大背景下,痛客平台与"

使用Gitolite来对Git的repository实现权限控制

我们项目组打算从svn向git迁移,前几天我搭建了git环境,把代码从svn转移过来,然后所有成员都通过server上的git账号来做pull和push,一切都安置妥当,没有问题.但是后来其它项目组也打算使用这个git server,那么问题来了,之前那种授权的方式肯定是不够的,因为只要能连上server,那么他对这个server上所有的repository都有完全的读写权限,这显然是不可接受的. 所以打算使用Gitolite这个组件来做权限控制,搜索了下,找到的文章貌似都是老版本的,所以有了写

开源分布式版本控制工具 —— Git 之旅

转自:http://www.ibm.com/developerworks/cn/opensource/os-cn-tourofgit/ Git 主张的分布式代码库与文件快照的设计思想,相对于传统 CVS.SVN 等集中式.文件差异式版本控制工具是一种挑战与颠覆.Git 带来了离线提交.轻量级分支等诸多便利.不过,也有人质疑 Git 的复杂性,并由此拔高了学习成本,某种程序上影响了开发者使用或者迁移 Git 的项目进度,笔者同样感同身受,这也是本文的出发点. 不同于各种 Git 用法指南,本文在介

各大公司容器云的技术栈对比

郑昀编著于2015/10/20 目前来看,几家历史包袱较重的公司都选择不让上层应用感知到底层是 VM 还是容器,所以都改了 docker 内核,如360.点评.汽车之家.最后附上我们的容器私有云技术栈以及系统截图. 点评容器技术栈 2014年启动基于 docker 搭建私有云,之前谈不上使用过私有云 运维工具:Puppet NATS+Nginx+Zookepper: 组件之间的交互使用了 NATS,通过消息的『发布-订阅』模型,将各个组件之间的耦合最小化 对于Web类型的应用,通过和 Nginx

将SpringCloud ConfigServer持久化存储改为MySQL

原文发布于:http://www.gufeng.tech/ 1.背景 SpringCloud的ConfigServer默认是持久化使用的是git.git有它天然的优势,比如多版本管理.分支管理.提交审核策略等等,但是如果相对其中存储的数据做细粒度的权限控制,就力不从心了.当然,也可以改变使用方式以适应这种特点,但是今天我们要做的是将持久化从git迁移到MySQL上. 2.查询配置信息 ConfigServer有个接口:org.springframework.cloud.config.server

SVN如何迁移到Git?

最近在使用华为软件开发云进行开发项目管理,目前华为软件开发云支持500M的免费项目空间,而且还可以在线编译和构建,不用担心开发环境和生产环境的不同,很好的体现了DevOps的开发理念. 之前一直是用svn做代码管理,而华为软件开发云是使用目前国外比较流行的Git进行代码版本控制.在网上查询了迁移方式,发现Git本身有命令可以直接克隆SVN的代码库,而且迁移后能保持原SVN的提交记录.以下是总结的SVN代码库向华为软件开发云迁移的过程. 主要步骤 1.通过git svn clone命令将SVN代码