两次服务器灾难事故的反思

假期真快,这都是第5天了,开始整合服务器版本的linux.其实可不必使用ubuntu service,使用Cent OS系统已经几年了,用着很稳定,也顺手;但近期二次没有必要的人为原因的宕机,不得不重新考虑现实情况.

本来8台服务器好好地跑着,没有什么问题;开发队伍中,有人抱怨不给root密码,不好部署程序,我管理上忙些,就把root密码给出了,这下子"灾难"来了,两个哥们动了系统配置文件,本意可能是开机启动程序,但在SSH下,直接拷贝了网页上的内容,粘贴进去了,事后我相当无语了,最后更让我无语的是,系统故障后,没有第一时间报告,私自改了N多东西,最严重后果,这台客户端服务器宕机,造成无法给客户演示系统.我是相当的无语,考虑不是故意的,加上这件事,在项目管理流程上出了问题,没有追责.

第二次的系统故障,更让我无语了,编译服务器直接死掉,究其原因,有人想升级编译器,导致系统死掉,话说回来:就算升级成功了,编译器版本和工程服务上不一致,程序也不能运行呀.不懂又在瞎搞,是一种工作态度问题.这次事件,更加显露了项目管理上的严重漏洞.反思良久,更改掉了所有系统的密码,规定,所有程序模块只要在开发机稳定运行,就算成功,往工程服务器上部署时,由专业人员统一部署与管理.

公司研发队伍初创,还不能和大公司的研发管理相比.

加之项目开发中,所有程序员的开发机使用ubuntu 14.04桌面版,为了更好适应这个现实情况,把部分服务器系统换成ubuntu server,主要是降低开发难度,建立一个完整的开发生态链:利用ubuntu简单,易用的特点,整合资源,建立一个上手快的开发环境.

更换了服务器系统后,由于些许的不同,必然面临一些新问题,程序打包,系统的克隆,这又减慢了项目的开发进度.管理流程不好,很致命的.再加上刚初建的研发队伍,人员之间需要磨合,项目风险加大了很多,不改革就会死掉,今年这个小长假,让我时间反思项目上的种种问题:

1.致命拖沓的采购,导致硬件不能生产调试,无法和软件联调.

2.软件人员的自我修养与业务技能低下问题.

3.项目总体进度缓慢的问题.

4.最致命的是公司不能按时发工资,人员积极性不高的问题.

5.公司过多申请项目材料整理,导致无效工作的问题.

6.整个公司对研发部门的重要性全然不知,基本上以做贸易的思想管理公司.

能解决的都是技术问题,其它公司层面的问题是个人无法解决的,人员离职率必然较大,种种原因说明,项目已经很危险了.做为一个项目的管理者,好提前预防这个风险,全力思考中.

时间: 2024-10-10 08:16:33

两次服务器灾难事故的反思的相关文章

linux下两台服务器文件实时同步方案设计和实现

转:http://blog.csdn.net/5iasp/article/details/13630927 假设有如下需求: 假设两个服务器: 192.168.0.1 源服务器  有目录 /opt/test/ 192.168.0.2 目标服务器  有目录 /opt/bak/test/ 实现的目的就是保持这两个服务器某个文件目录保持实时同步 实现方式: 通过rsync+inotify-tools结合来实现 需要安装软件: 1.  rsync 同步软件 在 源服务器 和 目标服务器 都需要安装 源服

两台服务器网卡工作方式不同,网络异常

公司有台服务器,svn更新代码的时候直接卡死.最后发现是两台服务器网卡的全双工/半双工方式不同导致. [email protected]/2 #  mii-tool eth0 eth0: negotiated 100baseTx-FD, link ok 另一台: [email protected]/0 #  mii-tool  bond0    bond0: 10 Mbit, half duplex, link ok 修改: [email protected]/2 # ethtool -s et

linux两台服务器间复制文件scp

换服务器或添加服务器时常会用到两台服务器之间复制文件,这个时候就可以使用scp命令. scp是secure copy的简写,用于在Linux下进行远程拷贝文件的命令,和它类似的命令有cp,不过cp只是在本机进行拷贝不能跨服务器,而且scp传输是加密的.可能会稍微影响一下速度. 两台主机之间复制文件必需得同时有两台主机的复制执行帐号和操作权限. scp一般有六种使用方法: 本地复制远程文件:(把远程的文件复制到本地) scp [email protected]:/val/test/test.tar

使用GlusterFs在两台服务器间搭建共享目录

生产中两台web目录需要保持目录一致,不然老是会读取不到图片文件.想过用sersync,想过用NFS,最后还是决定用GlusterFs. 两台服务器IP: centos6.7    192.168.0.101    web1 centos6.7    192.168.0.103    web3 第一步:配置环境 GlusterFs 3.6的版本,已经整合到Centos了直接yum安装就好 yum install centos-release-gluster36yum --enablerepo=c

Centos 6.5 rsync+inotify 两台服务器文件实时同步

rsync和inotify是什么我这里就不在介绍了,有专门的文章介绍这两个工具. 1.两台服务器IP地址分别为: 源服务器:192.168.1.2 目标服务器:192.168.1.3 @todo:从源服务器(192.168.1.2)的/www/目录下的所有的文件实时同步到目标服务器(192.168.1.3)的/www_bak/目录下 源服务器下需要安装rsync和inotify,源服务器做为server端,实时的向目标服务器client端发送数据 2.安装 rsync 一般centos6.5下都

rsync同步两台服务器

需求:两台服务器(A.B),在服务器A上存放着大量的图片,需要在每天夜里三点同步到服务器B,源目录和目的目录都是/image 启用程序:rsync 服务器A上的配置: 1./etc/rsyncd.conf uid = nobody gid = nobody use chroot = no max connectionts = 6 read only = yes hosts allow = 192.168.95.0/24 pid file = /var/run/rsyncd.pid lock fi

服务器断电引发的反思(简版)

好不容从做地铁的人潮大军中澎湃出来,回到公司发现整栋大楼全部停电: 九点左右,内容测试服务器,SVN服务器,文件共享服务器,结果可想而知: 算了,没时间整理,只是记录下来 1)整栋大楼,无应急断电解决方案吗?必须等维修电工前来解决问题 2)公司机房服务器本身的,服务器电源冗余 3)文件服务器RAID电源冗余 4)数据的备份问题 5)亡羊补牢的关于服务器电源管理的解决方案 服务器断电引发的反思(简版)

两台服务器如何互相做nginx负载均衡

环境介绍 192.168.127.131  nginx负载均衡 兼web服务器 192.168.127.130  nginx负载均衡 兼web服务器 每台服务器上面有两个web站点分别是 www.123.com www.hu.com 说明: 准备用dns轮询解析来实现负载均衡,并且在两台server上面还同时启用了Nginx负载均衡,两台服务器是互为负载.前提是两台web服务端的网站内容一致. 配置过程: 在130负载均衡上面的操作: 在 上面编辑一个配置文件 vi /usr/local/ngi

两台服务器通过网线互联

在公司安装测试环境:平台系统和数据库,分别在两台服务器上安装,一台装平台,一台装数据库,由于蛋疼的公司实行全加密,暂时无法申请IP地址,只能用网线连接两个服务器实现通信.具体操作是,分别设置两台服务器的IP地址,网口eth0为192.168.1.108和192.168.1.109,网关分别设为192.168.1.109和192.168.1.108(也就是把IP地址互换过来了),子网都为255.255.255.0.这里要注意找对服务器的网口位置,不然是无法ping通的,可以用ifdown eth2