4-22日 19:48分,在等女儿跳舞下课的时候,在“多看”进入大刘等人的《毁灭之城:地球碎块》,读到了“诅咒 3.0”病毒出现的时候,阿里云发来短信“尊敬的用户,您的云服务器x.x.x.x存在对外DDOS攻击,请您务必尽快参考云账号邮箱中邮件进行处理,逾期将关停云服务器【阿里云】”。用“gmail”打开邮件,没有太多有用的内容:“经检测您的云服务器(x.x.x.x)存在恶意发包行为,需要您尽快排查您的安全隐患。如恶意发包行为持续12小时候我们会下发脚本策略封禁您对外发包端口。且不会影响您正常对外业务及应用。如发现此类恶意发包行为持续将视为之前封禁动作无效。36小时后我们将关停您的主机,请您务必重视。谢谢。”
马上联系金蝶外包公司DC技术人员AL(之前该系统由其配置、实施),打了数次电话都被拒绝,后来发了短信给他,他的回复:“我在开会,稍后回复。”、“如果是服务器问题,可以联系下阿里的服务解决”。后来,就没有后来了……
最后还是要靠自己来处理。回到家先登录进阿里云网站,阿里的云盾提示“密码破解拦截(7天)45次,由于您的密码设置过于简单,已被成功破解1次,建议修改密码。”之前AL同学设置的密码的确比较简单,想不到就出事了。不过阿里的云盾也很傻X,只是傻乎乎的拦截,没有禁用对方的IP,结果就给别人暴力破解了。而且“密码破解拦截”的报警设置默认居然是“短信”、“邮箱”都没有勾选上。网络监控图中出网图已经是高高的山峰。
先用ssh连服务器,连不上。还好这是云服务器,不然就只能跑机房了,现在可以通过管理终端连上去。连上去后,重启sshd服务 /etc/init.d/sshd restart,stop的时候失败,估计是给骇客停止了。重启后ssh可以连上。然后用netstat -an 、top 命令查看可疑进程。结果发现有不明进程syn很活跃。用 ps afx|grep syn 找出syn进程的位置,在/root目录下。杀掉syn进程,ping该云服务器马上恢复正常了。然后删除syn文件,但是过了一会,syn文件又自动出现、自动运行。还是杀掉syn进程,但是这次不删除syn文件了,只是去掉它的可执行权限:chmod u-x ./syn 这个方式貌似凑效了。但是母体程序还在,还是要继续处理才行。
用lsof命令查syn,得到下面的结果:
lsof -p 3439
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
syn 3439 root cwd DIR 202,1 4096 655361 /root
syn 3439 root rtd DIR 202,1 4096 2 /
syn 3439 root txt REG 202,1 1223123 655842 /root/syn
syn 3439 root 0u CHR 1,3 0t0 3866 /dev/null
syn 3439 root 1u CHR 1,3 0t0 3866 /dev/null
syn 3439 root 2u CHR 1,3 0t0 3866 /dev/null
syn 3439 root 3uW REG 202,1 4 403182 /tmp/gates.lod
syn 3439 root 4u raw 0t0 16175174 00000000:0011->00000000:0000 st=07
syn 3439 root 5u IPv4 16175175 0t0 TCP 112.124.39.48:44550->183.56.173.59:entp (ESTABLISHED)
syn 3439 root 6u raw 0t0 16189523 00000000:0006->00000000:0000 st=07
查看.bash_history,惊奇的发现骇客的命令历史还在(同时也发现byobu里面输入的命令没有记录下来的):
./syn &
killall syn
./syn &
killall sshd
继续查看系统的登录日志:more /var/log/secure |grep Accepted,有两条可疑的日志:
Apr 22 19:24:47 iZ238bx2fk5Z sshd[20073]: Accepted password for root from 222.186.21.154 port 3504 ssh2
Apr 22 19:38:56 iZ238bx2fk5Z sshd[20599]: Accepted password for root from 183.56.173.96 port 3452 ssh2
222.186.21.154这个ip和云盾里面的记录是一致的,应该是攻击ip无疑。通过ip.cn网站查询:
查询的 IP:222.186.21.154 来自:江苏省镇江市 电信
查询的 IP:183.56.173.96 来自:广东省潮州市 电信
查询的 IP:183.56.173.59 来自:广东省潮州市 电信
不过用last命令查,就只查到
root pts/5 183.56.173.96 Wed Apr 22 19:38 - 19:40 (00:01)
猜测222.186.21.154是用来做暴力攻击的肉鸡(24分攻破),攻击成功后发送信息给183.56.173.96(38分就连上来)。syn运行后继续跟183.56.173.*连接,接受真正的攻击指令,对目标发起DDOS攻击。
用Google搜索“linux 自动复制文件 木马”,找到这篇文章“ 一次linux删除文件后又自动生成就是中木马的情况的解决过程”(http://dadloveu.blog.51cto.com/715500/1579168),得到提示,在系统中也找到 /usr/bin/.sshd这个伪装进程,而且日期也是4-22的。
用find /usr -ctime -1 命令还找到好些伪装程序出来。干掉.sshd之后,再删除syn,syn终于不会原地复活。
继续用 "/usr/bin/.sshd" sync conf.n 搜索,找到这篇“centos netstat和ps感染木马解决方案(http://crx.xmspace.net/netstat_ps_trojan_clean.html)”,有很多吻合的地方,估计这次就是中了这个木马了。基本照着清理,最后一步强制重新安装三个软件包,是先yum -y install yum-utils,再通过yumdownloader 来下载rpm包。
rpm -q net-tools
net-tools-1.60-110.el6_2.x86_64
yumdownloader net-tools
rpm -ivh net-tools-1.60-110.el6_2.x86_64.rpm --force --nodeps
rpm -q procps
procps-3.2.8-25.el6.x86_64
yumdownloader procps
rpm -ivh procps-3.2.8-30.el6.x86_64.rpm --force --nodeps
rpm -q lsof
lsof-4.82-4.el6.x86_64
yumdownloader lsof
rpm -ivh lsof-4.82-4.el6.x86_64.rpm --force --nodeps
以上都处理完之后,修改sshd端口,修改root密码为复杂字串,装上denyhosts扼杀暴力攻击于萌芽状态。
世界那么大,恶意者总不会少,服务器放在公网上还是要多加小心。之前自己配置的服务器都很谨慎,这次因为是第三方公司配置的,而且由于种种原因那台服务器很少介入就出了篓子。以后自己还是要多留意,关键时刻外部公司未必靠得住。
原文链接:http://ivan.iteye.com/blog/2205402