Linux运维常见故障排查和处理的33个技巧汇总

作为linux运维,多多少少会碰见这样那样的问题或故障,从中总结经验,查找问题,汇总并分析故障的原因,这是一个Linux运维工程师良好的习惯。每一次技术的突破,都经历着苦闷,伴随着快乐,可我们还是执着的继续努力,从中也积累了更多的经验,这就是实践给予我们的丰厚回报。

下面汇总了我做项目过程可能出现的故障及解决方法,看看是否与你有共鸣,并对你有帮助?



第一:常见问题解决集锦

 

1.shell脚本不执行
    问题:某天研发某同事找我说帮他看看他写的shell脚本,死活不执行,报错。我看了下,脚本很简单,也没有常规性的错误,报“:badinterpreter:Nosuchfileordirectory”错。
    看这错,我就问他是不是在windows下编写的脚本,然后在上传到linux服务器的……果然。
    原因:在DOS/windows里,文本文件的换行符为rn,而在*nix系统里则为n,所以DOS/Windows里编辑过的文本文件到了*nix里,每一行都多了个^M。
    解决:
    1)重新在linux下编写脚本;
    2)vi:%s/r//g:%s/^M//g(^M输入用Ctrl+v,Ctrl+m)
    附:sh-x脚本文件名,可以单步执行并回显结果,有助于排查复杂脚本问题。

 2.crontab输出结果控制

问题:
    /var/spool/clientmqueue目录占用空间超过100G
    原因:
    cron中执行的程序有输出内容,输出内容会以邮件形式发给cron的用户,而sendmail没有启动所以就产生了/var/spool/clientmqueue目录下的那些文件,日积月累可能撑破磁盘。
    解决:
    1)直接手动删除:ls|xargsrm-f;
    2)彻底解决:在cron的自动执行语句后加上>/dev/null2>&1

   3.telnet很慢/ssh很慢
    问题:
    某天研发某同事说10.50访问10.52memcached服务异常,让我们检查下看网络/服务/系统是否有异常。检查发现系统正常,服务正常,10.50ping10.52也正常,但10.50telnet10.52很慢。同时发现该机器的namesever是不起作用的。
    原因:
    becauseyourPCdoesn’tdoareverseDNSlookuponyourIPthen…whenyoutelnet/ftpintoyourlinuxbox,it’lldoadnslookuponyou。
    解决:
    1)修改/etc/hosts使hostname和ip对应;
    2)在/etc/resolv.conf注释掉nameserver或者找一个“活的”nameserver。

    4.Read-onlyfilesystem
    问题:
    同事在mysql里建表建不成功,提示如下:
    mysql>createtablewosontest(colddname1char(1));
    ERROR1005(HY000):Can’tcreatetable‘wosontest’(errno:30)
    经检查mysql用户权限以及相关目录权限没问题;用perror30提示信息为:OSerrorcode30:Read-onlyfilesystem
    可能原因:
    1)文件系统损坏;
    2)磁盘又坏道;
    3)fstab文件配置错误,如分区格式错误错误(将ntfs写成了fat)、配置指令拼写错误等。
    解决:
    1)由于是测试机,重启机器后恢复;
    2)网上说用mount可解决。

    5.文件删了磁盘空间没释放
    问题:
    某天发现某台机器df-h已用磁盘空间为90G,而du-sh/*显示所有使用空间加起来才30G,囧。
    原因:
    可能某人直接用rm删除某个正在写的文件,导致文件删了但磁盘空间没释放的问题
    解决:
    1)最简单重启系统或者重启相关服务。
    2)干掉进程
    /usr/sbin/lsof|grepdeleted
    ora25575data33uREG65,654294983680/oradata/DATAPRE/UNDOTBS009.dbf(deleted)
    从lsof的输出中,我们可以发现pid为25575的进程持有着以文件描述号(fd)为33打开的文件/oradata/DATAPRE/UNDOTBS009.dbf。在我们找到了这个文件之后可以通过结束进程的方式来释放被占用的空间:echo>/proc/25575/fd/33
    3)删除正在写的文件一般用cat/dev/null>file

    6.find文件提升性能
    问题:
    在tmp目录下有大量包含picture_*的临时文件,每天晚上2:30对一天前的文件进行清理。之前在crontab下跑如下脚本,但是发现脚本效率很低,每次执行时负载猛涨,影响到其他服务。
    #!/bin/sh
    find/tmp-name“picture_*”-mtime+1-execrm-f{};
    原因:
    目录下有大量文件,用find很耗资源。
    解决:
    #!/bin/sh
    cd/tmp
    time=`date-d“2dayago”“+%b%d”`
    ls-l|grep“picture”|grep“$time”|awk‘{print$NF}’|xargsrm-rf

    7.获取不了网关mac地址
    问题:
    从2.14到3.65(映射地址2.141)网络不通,但是从3端的其他机器到3.65网络OK。
    原因:
    #arp
    AddressHWtypeHWaddressFlagsMaskIface
    192.168.3.254etherincompletCMbond0
    表面现象是机器自动获取不了网关MAC地址,网络工程师说是网络设备的问题,具体不清。
    解决:
    arp绑定,arp-ibond0-s192.168.3.25400:00:5e:00:01:64

    8.http服务无法启动一例
    问题:某天研发某同事说网站前端环境http无法启动,我上去看了下。报如下错:
    /etc/init.d/httpdstart
    Startinghttpd:[SatJan2917:49:002011][warn]moduleantibot_moduleisalreadyloaded,skipping
    Useproxyforwardasremoteip:true.
    Antibotexcludepattern:.*.[(js|css|jpg|gif|png)]
    Antibotseedcheckpattern:login
    (98)Addressalreadyinuse:make_sock:couldnotbindtoaddress[::]:7080
    (98)Addressalreadyinuse:make_sock:couldnotbindtoaddress0.0.0.0:7080
    nolisteningsocketsavailable,shuttingdown
    Unabletoopenlog[FAILED]
    原因:
    1)端口被占用:表面看是7080端口被占用,于是netstat-npl|grep7080看了下发现7080没有占用;
    2)在配置文件中重复写了端口,如果在以下两个文件同时写了Listen7080
    /etc/httpd/conf/http.conf
    /etc/httpd/conf.d/t.10086.cn.conf
    解决:
    注释掉/etc/httpd/conf.d/t.10086.cn.conf的Listen7080,重启,OK。

    9.toomanyopenfile
    问题:
    报toomanyopenfile错误
    解决:
    终极解决方案
    echo“”>>/etc/security/limits.conf
    echo“*softnproc65535″>>/etc/security/limits.conf
    echo“*hardnproc65535″>>/etc/security/limits.conf
    echo“*softnofile65535″>>/etc/security/limits.conf
    echo“*hardnofile65535″>>/etc/security/limits.conf
    echo“”>>/root/.bash_profile
    echo“ulimit-n65535″>>/root/.bash_profile
    echo“ulimit-u65535″>>/root/.bash_profile
    最后重启机器或者执行ulimit-u655345&&ulimit-n65535

    10.ibdata1和mysql-bin致磁盘空间问题
    问题:
    2.51磁盘空间报警,经查发现ibdata1和mysql-bin日志占用空间太多(其中ibdata1超过120G,mysql-bin超过80G)
    原因:
    ibdata1是存储格式,在INNODB类型数据状态下,ibdata1用来存储文件的数据和索引,而库名的文件夹里的那些表文件只是结构而已。
    innodb存储引擎有两种表空间的管理方式,分别是:
    1)共享表空间(可拆分为多个小的表空间文件),这个是我们目前多数数据库使用的方法;
    2)独立表空间,每一个表有一个独立的表空间(磁盘文件)
    对于两种管理方式,各有优劣,具体如下:
    ①共享表空间:
    优点:可以将表空间分成多个文件存放到不同的磁盘上(表空间文件大小不受表大小的限制,一个表可以分布在不同步的文件上)
    缺点:所有数据和索引存放在一个文件中,则随着数据的增加,将会有一个很大的文件,虽然可以把一个大文件分成多个小文件,但是多个表及索引在表空间中混合存储,这样如果对于一个表做了大量删除操作后表空间中将有大量空隙。对于共享表空间管理的方式下,一旦表空间被分配,就不能再回缩了。当出现临时建索引或是创建一个临时表的操作表空间扩大后,就是删除相关的表也没办法回缩那部分空间了。
    ②独立表空间:在配置文件(my.cnf)中设置:innodb_file_per_table
    特点:每个表都有自已独立的表空间;每个表的数据和索引都会存在自已的表空间中。
    优点:表空间对应的磁盘空间可以被收回(Droptable操作自动回收表空间,如果对于删除大量数据后的表可以通过:altertabletbl_nameengine=innodb;回缩不用的空间。
    缺点:如果单表增加过大,如超过100G,性能也会受到影响。在这种情况下,如果使用共享表空间可以把文件分开,但有同样有一个问题,如果访问的范围过大同样会访问多个文件,一样会比较慢。如果使用独立表空间,可以考虑使用分区表的方法,在一定程度上缓解问题。此外,当启用独立表空间模式时,需要合理调整innodb_open_files参数的设置。
    解决:
    1)ibdata1数据太大:只能通过dump,导出建库的sql语句,再重建的方法。
    2)mysql-binLog太大:
    ①手动删除:
    删除某个日志:mysql>PURGEMASTERLOGSTO‘mysql-bin.010′;
    删除某天前的日志:mysql>PURGEMASTERLOGSBEFORE’2010-12-2213:00:00′;
    ②在/etc/my.cnf里设置只保存N天的bin-log日志
    expire_logs_days=30//BinaryLog自动删除的天数



二、故障排查汇总表

 


序号


故障点


分析与解决


1


Linux系统安装初始状态时,找不到硬盘,并无法进入下一步安装


进入COMS设置,找到硬盘设置的相关选项,并设置为兼容模式


2


Linux系统安装时,在硬盘分区完成后,无法继续安装


硬盘分区不符合安装要求,你可能忘记创建根分区或swap交换分区了,这一点与Windows系统的安装有区别


3


Linux系统安装时,制定安装中,软件包的选择感觉困惑,安装完成后发现不符合我们的要求,有些组件没有安装,而不需要的组件却装上了


对Linux系统的了解还太少,反复安装多次后,自然掌握自如


4


代理服务器的配置过程中,发现有些过滤规划未起作用


(1)先检查对应的功能模块是否加载成功(2)默认策略是否设置恰当(3)iptables命令语法是否有错(4)过滤规划顺序可能不当,需调整


5


代理服务器和防火墙的配置完成后,启动服务,可以访问Internet,但不能访问DMZ区的服务


(1)关闭iptables服务,看是否可以访问,如果不能,检查连通性,若能访问,说明iptables规则有问题,集中检查过滤规则的配置与顺序


6


再次配置好iptables过滤规则后,重启iptables服务后,发现原有的规则全部丢失


(1)修改/etc/sysconfig/iptables-config配置文件,将IPTABLES_SAVE_ON_RESTART=”no”改为yes(2)用iptables-save > /etc/sysconfig/iptables命令保存


7


在交换机上划分VLAN后,不能访问外网


VLAN的网关未设置或设置不正确


8


在配置DNS服务中,named服务无法启动


造成问题可能性:(1)/etc/named目录下缺少必要文件(2)/var/named目录下缺少必要文件(3)named账户权限问题。解决方法:缺少的文件必须复制到位,启动文件必须将权限设置为named账户和组账户


9


在配置DNS服务中,无法正确解析域名或IP地址


(1)检查并修改/var/named下的正向解析区文件和反向解析区文件中的语法与记录设置(2)检查/etc/named.conf配置中的zone区域声明编写是否有误(3)检查是否安装了bind-chroot软件包,如安装了,区域数据库文件应在/var/named/chroot/var/named目录中(4)检查/etc/resolv.conf配置文件是否设定了正确的nameserver


10


dhcpd服务启动时,提示“No subnet declaration for eth0(10.10.10.2)”


说明eth0的IP地址设置不对,不在dhcp服务的作用域范围内,必须将eth0的IP设置为作用域范围内的IP地址


11


在配置DHCP服务时,配置了多个作用域,结果只有一个作用域的地址可以分配,其他不能分配成功


说明主机的网络接口卡只有一个,如有3个作用域,需配置3个网卡接口eth0、eth1和eth2,分别对应3个作用域。这是使用超级作用域的一种配置方法


12


MySQL数据库的安装不能成功,总是提示软件的依赖关系,造成所要安装的软件包不能顺利安装


说明所要安装的软件包需要其他组件或共享库的支持,MySQL的rpm包安装方式本身就繁琐一些,要求安装的软件包比较多,包之间的依赖关系非常明显,根据提示找到需要的组件包并安装,安装时要注意软件包顺序


13


测试Web服务,访问主站点时,无网页出现,但已经连接上服务器


在httpd.conf主配置文件中的“DocumentRoot”选项的设置不当,如/var/www/html/,最后的“/”不能加


14


远程客户端无法访问samba共享目录,共享目录在本地测试成功


关闭iptables服务


15


Samba的smb服务已经启动成功,访问samba某个共享目录时,提示错误信息“NT_STATUS_BAD_NETWORK_NAME”


说明共享目录没有创建或不存在


16


Samba的smb服务已经启动成功,提示错误信息“NT_STATUS_ACCESS_DENIED”


提示访问被拒绝,可能是登录的用户名或密码有误,或是iptables启动了,关闭防火墙


17


Samba的smb服务已经启动成功,提示错误信息“NT_STATUS_LOGON_FAILURE”


不允许当前用户访问当前共享目录,说明此共享目录设置只允许特定用户访问


18


FTP服务配置了本地用户上传,但在上传数据到对应目录时,提示被拒绝


可能该用户账户对上传目录没有写权限


19


配置允许本地账户登录FTP后,root账户无法登录,并提示“500 OOPS:cannot change directory:/root”的错误信息,而其他本地账户可以登录FTP


检查是否启用了SELinux安全系统,并禁止SELinux,可以编辑/etc/selinux/config文件,将配置项SELINUX=enforcing改为disabled


20


使用邮件客户端可以发送邮件,但不能接收邮件


检查pop3服务是否启动


21


mount命令挂载NFS服务的共享目录,很久也没有响应,NFS服务是正常的


portmap服务没有启动,必须启动该服务


22


本地测试mount挂载NFS共享成功,但在其他客户主机mount连接时不成功


关闭iptables服务,再测试

原文地址:https://www.cnblogs.com/hystj/p/8502812.html

时间: 2024-10-10 09:59:25

Linux运维常见故障排查和处理的33个技巧汇总的相关文章

Linux运维常见基础面试练习题(1)

Linux运维常见基础面试练习题(1) 1 创建目录/data/oldboy,并且在该目录下创建文件oldboy.txt,然后在文件oldbot.txt里写入内容"inet addr:10.0.0.8 Bcast:10.0.0.225 Mask:255.255.255.0"不包含引号 方法一 [[email protected] /]# mkdir /data/oldboy -p [[email protected] /]# cd /data/oldboy/ [[email prote

Linux运维常见基础面试练习题(2)

Linux运维常见基础面试练习题(2) 11 如何查看占用端口8080的进程. 方法一 [[email protected] data]# ps -ef|grep 8080 root       3886   3804  0 17:11 pts/1    00:00:00 grep 8080 [[email protected] data]# 12 Linux所有服务的启动脚本都存放在(/etc/rc.d/init.d )目录中. A /etc/rc.d/init.d  B /etc/init.

Linux运维常见基础面试练习题(4)- 提升

Linux运维常见基础面试练习题(4)- 提升 1 (ZZ)命令是在vi编辑器中执行存盘退出 A :q    B ZZ    C :q!   D :WQ 2 用虚拟机安装了一台Linux系统,突然想克隆一台服务器,克隆后发现无法上网,如何解决? 1 删除linux网卡 eth0的uuid  Mac地址 2 清空 /etc/udev/rules.d/70-persistent-net.rules 3 reboot 3 常用网络检测命令及参数列举说明 1  ping 2  telnet 3  net

Linux运维常见基础面试练习题(3)

Linux运维常见基础面试练习题(3) 38 简述raid0.1.5的特点和优点. raid  0  需要硬盘 1块以上  容量n块数量之和  性能最高  冗余没有 raid  1  必须两块硬盘  容量是%50   性能 读不变 写较低  冗余 %100 raid  5  最少 4块  容量n块数量之和  性能 读写较低    冗余 %100 39 简要介绍:常用磁盘阵列方案及优缺点 raid  0  需要硬盘 1块以上  容量n块数量之和  性能最高  冗余没有 raid  1  必须两块硬

论运维之故障排查思路与方法

运维故障思路剖析: 1.出了问题冷静分析,仔细听通告者描述的问题,勿要慌张理清思路 2.根据描述问题查看相应的服务有没有端口.后台是否有运行的程序.防火墙的策略.网络问题.报错日志 3.如若有些开源软件需要连接至数据库,在看数据库的端口.后台运行的程序,是否能登录 4.一般到了这一步就是疑难问题啦!仔细分析报错日志的提示方向,范围想的广一些,若一些网页访问不到, 表面上没报类似于404,403之类的错误,而是直接访问错误,排除host绑定,nginx代理问题后,就要把故障定位到数据库啦! 因为应

linux运维常见英文报错中文翻译(菜鸟必知)

linux常见英文报错中文翻译(菜鸟必知) 1.command not found   命令没有找到 2.No such file or directory   没有这个文件或目录 3.Permission denied   权限不足 4.No space left on device   磁盘没有剩余空间 5.File exists   文件已经存在 6.Is a directory   这是1个目录 7.Not a directory   不是1个目录 8.Warning: Changing

51CTO学习笔记--Linux运维故障排查思路与系统调优技巧视频课程(高俊峰)

51CTO学习笔记--Linux运维故障排查思路与系统调优技巧视频课程 第一课 Linux运维经验分享与思路 1.一般把主机名,写到hosts下    127.0.0.1    hostname,因为很多应用要解析到本地.oracle没有这个解析可能启动不了. 2.注释掉UUID以及MAC地址,需要绑定网卡的时候,这个可能会有影响. 3.磁盘满了无法启动,  var下木有空间,无法创创建PID等文件,导致文件无法启动,按e   进入single  然后b  重启进入单用户模式. 4.ssh登陆系

AD常见故障排查---运维笔记

在维护AD的时候会经常出现一些故障,良好的问题解决方法,可以在尽可能短时间内解决问题. 一·常见故障类型 (1)域连接失败:加入域时,提示找不到域. (2)域无法登陆:登录时密码不正确或登录后访问不了共享资源. (3)域登录缓慢:登录时非常缓慢 . (4)组策略部署失败:组策略未生效,或只对部分部分用户账户生效. (5)域控制器之间复制失效:AD数据或DNS记录不能同步更新. 二·AD常见故障排查思路 (1)确认单一用户账户的的故障:在于控制器中查找用户账户的所有信息点去判断故障点及其原因. (

备起来!Linux安全运维常见命令小贴士

备起来!Linux安全运维常见命令小贴士 常用命令 1. 查找关键词并统计行数 cat 2015_7_25_test_access.log | grep "sqlmap" | wc -l 2. 删除含有匹配字符的行 sed -i '/Indy Library/d' 2015_7_25_test_access.log 3. 查找所有日志中的关键词 find ./ -name "*.log" |xargs grep "sqlmap" |wc -l 4