故障处理及故障记录
接收报障:
需要故障发生时的双向MTR截图和ping数据,此动作可与直接报给供应商同步进行,并及时记录故障发生时的时间,然后仔细查看mtr的路径和丢包情况,判断分析是哪个地市出现的问题,并督促IDC及时联系运营商介入处理。如遇到重大,波及面广的故障及时报障给孙嘉。
报障处理:
遇到故障及时登陆交换机,检测平台内部网络情况,查看相应服务器对应的设备接口情况,诸如:光模块收发光情况,端口error情况,光纤链路问题,查看syslog,查看交换机性能情况(CPU、内存、温度、电源、健康检查)。相应traceroute判断问题节点,作为凭证再次报给IDC,加快定位故障和处理速度。
故障完成:
大多数故障需要当即处理完成,记录处理恢复时间,及详细的故障处理过程(储备故障处理经验),如果为IDC问题,需要IDC的盖章函件作为故障报告的凭证发邮件到netgroup,如果为ISP问题,则需要ISP盖章加IDC盖章的函件发至邮箱。函件中的时间和我们记录的时间需要沟通协调一致。
记录:网路部汇总表.xlsx 汇总记录故障处理情况
机房设备统计
凡是在IDC机房的所有设备及硬件(交换机、服务器、光纤、模块),均为我们固定资产,要求IDC妥善保管,如果有坏件要打上相应问题的标签(模块无发光,丢包,error包,光弱等问题的描述),要求机房不得擅自丢失和遗弃任何硬件。
记录:网路部汇总表.xlsx 汇总记录硬件信息
机房设备上架下架
新增选点机房,和采购部确认发货数量,确认硬件包括:交换机、服务器数量及类型、光纤、模块。并且同时督促尽快办理相应实施工单,包括但不限于施工工单,设备上架工单,设备加电工单,接收设备收货人等信息,尽可能避免设备延期上架使用。上架后开机进行一系列测试方可交给业务部门。
机房设备下架需要对比发货数量,核对后通知IDC人员进行下架操作,下架后对相应设备进行包装避免运输中对设备有损坏的危险,发货地址和采购部进行确认,并且得到快递单号后及时反馈给采购部。
机房对设备操作后需要填写回执单,我们核对无误后留存。
记录:网路部汇总表.xlsx 汇总记录ip资源信息
设备验收检查
按照业务的要求,检查设备是否可以正常使用,硬件是否满足额度要求,需对服务器进行相应排查:
服务器硬件检验的同时,检查所有设备的配置情况,包括ip、掩码、端口描述、设备命名等,测试网络环境,诸如ping、traceroute到公网ip、三线资源是否有问题。无问题后方可使用。
网络巡检
利用监控系统,查看每日流量使用情况,24小时为一周期(9:00),结合syslog查看每日的故障报告,和端口状态等信息。
利用zabbix微信故障提醒功能,可实时监控平台主机情况,问题发现后及时处理解决。
周期性观察流量增长(下降)情况,预先获得趋势信息,可在必要时采取行动。
流量统计可以更直观也会更可观的说明问题,了解平台每日out峰值可得知高峰时段用户使用情况,也可根据95计费原则对平台流量进行重规划,分摊流量。
机房信息 | 端口数量 | 保底带宽M | In最大9.13 | In平均值9.13 | Out最大9.13 | Out平均值9.13 | In环比增长 | Out环比增长 | 使用率9.13 |
黑龙江哈尔滨联通 | 10G | 1000 | 14.4 | 5.77 | 8.6 | 0.35 | 1.41% | -0.58% | 0.860% |
辽宁盘锦联通 | 10G | 1000 | 34 | 9.16 | 26.6 | 1.15 | 136.11% | 315.63% | 2.660% |
广东中山联通 | 10G | 1000 | 694 | 7.11 | 42.2 | 0.9 | 5238.46% | 435.53% | 4.220% |
河南周口联通 | 10G | 1000 | 208 | 82 | 236 | 101 | -8.33% | -4.76% | 23.600% |
河南商丘联通 | 10G | 1000 | 38.4 | 6.7 | 31.6 | 1.35 | 74.55% | 97.50% | 3.160% |
湖南长沙联通 | 10G | 1000 | 30.5 | 4.46 | 34.4 | 1.6 | 30.90% | 93.26% | 3.440% |
福建福州联通 | 10G | 1000 | 18.31 | 3.29 | 12.11 | 0.43 | 6.83% | 41.80% | 1.211% |
重庆联通 | 10G | 3000 | |||||||
陕西宝鸡联通 | 10G | 3000 | |||||||
河北廊坊联通 | 10G | 1000 | 35.79 | 8 | 31 | 2.73 | -1.24% | 9.08% | 3.100% |
天津联通 | 10G | 1000 | 34.65 | 12.6 | 23.43 | 1.81 | -94.58% | -22.16% | 2.343% |
山西朔州联通 | 10G*2 | 2000 | 15.49 | 3 | 15.7 | 0.42 | 23.92% | 65.26% | 0.785% |
山东泰安联通 | 10G | 1000 | 202.5 | 83.44 | 771 | 100 | -14.34% | -29.91% | 77.100% |
山东青岛联通 | 10G | 1000 | 26.7 | 6.48 | 22.52 | 1.1 | -4.64% | 1.08% | 2.252% |
吉林联通 | 10G | 1000 | 3.8 | 1.64 | 0.188 | 0.1 | -70.08% | -98.47% | 0.019% |
浙江台州联通 | 10G | 1000 | 37 | 4.96 | 33.8 | 2.7 | 2.95% | -0.59% | 3.380% |
湖南岳阳电信 | 10G | 1000 | |||||||
浙江丽水电信 | 10G | 1000 | 27.43 | 14.64 | 22.8 | 1.2 | -52.27% | -51.59% | 2.280% |
浙江湖州电信 | 10G | 3000 | 86.04 | 43.33 | 98.9 | 55.18 | 3.297% | ||
福建福州电信 | 10G | 1000 | 95 | 29.5 | 79.3 | 9 | 7.930% | ||
广东佛山电信 | 10G | 3000 | 70 | 35.15 | 83.4 | 47.9 | -41.67% | -47.22% | 2.780% |
四川乐山电信 | 10G | 1000 | 35 | 30.4 | 84.6 | 42.7 | -47.62% | -89.61% | 8.460% |
陕西宝鸡电信 | 10G | 1000 | 19 | 7.11 | 11 | 0.26 | -88.62% | 2240.43% | 1.100% |
江苏盐城电信 | 10G | 3000 | 973 | 345 | 972 | 345 | -0.10% | -3.76% | 32.400% |
云南昆明电信 | 10G | 1000 | 14 | 7 | 156 | 1.2 | 27.27% | 3527.91% | 15.600% |
陕西咸阳电信 | 10G | 1000 | 72 | 8 | 13 | 0.86 | -87.82% | -53.57% | 1.300% |
广东中山电信 | 10G | 1000 | 45 | 32 | 16 | 2 | 800.00% | 220.00% | 1.600% |
湖北鄂州电信 | 10G | 2000 | 2070 | 612 | 3140 | 967 | 30.19% | 18.49% | 157.000% |
山东济南三线 | 10G | 1000 | 1060 | 243 | 1150 | 284 | 3.92% | 6.48% | 115.000% |
山东济南电信 | 10G | 1000 | 10 | 7 | 4 | 0.5 | -23.08% | -60.00% | 0.400% |
河南洛阳电信 | 10G | 1000 | 88 | 16 | 79 | 3.6 | -23.48% | -34.17% | 7.900% |
重庆电信 | 10G | 1000 | 21 | 15 | 7.5 | 0.1 | 23.53% | -25.00% | 0.750% |
太原移动 | 10G | 2000 | 7 | 0.3 | 250 | 2 | 16.67% | 1150.00% | 12.500% |
武汉长宽 | 10G | 5 | 0.08 | 4 | 0.08 | -61.54% | -69.23% | ||
上海长宽 | 10G | 12 | 0.13 | 26 | 0.15 | -33.33% | 36.84% | ||
南昌移动 | 10G | 2000 | 26 | 2.5 | 31 | 3 | 30.00% | 93.75% | 1.550% |
扬州电信IDC | 10G | 1000 | 110 | 29 | 97 | 16.8 | -15.38% | -33.56% | 9.700% |
天津电信 | 10G | 1000 | 27 | 8.5 | 165 | 1.85 | -96.08% | 292.86% | 16.500% |
石景山BGP机房 | 20M | 20 | 1 | 0.05 | 0.25 | 0.03 | 1566.67% | -39.02% | 1.250% |
广东佛山三线 | 1000 | 1070 | 487 | 1210 | 610 | 7.75% | 9.01% | 121.000% | |
北京长宽 | 10G | 0.8 | 0.1 | 18 | 0.3 | 566.67% | 0.00% | ||
武汉联通 | 10G | 1000 | 347 | 114 | 446 | 136 | -11.03% | 4.69% | 44.600% |
淮南移动 | 10G | ||||||||
机房总带宽使用 | 7684.81 | 2325.4 | 9453.898 | 2746.35 | -7.82% | 1.68% |
统计每日流量使用率,可以得知平台流量上升(下降)情况,根据此数据适当调整IDC保底带宽值,主要作为预警功能使用。
机房名称 | 使用率9.8 | 使用率9.9 | 使用率9.10 | 使用率9.11 | 使用率9.12 | 使用率9.13 |
黑龙江哈尔滨联通 | 0.66% | 2.76% | 0.40% | 1.30% | 0.87% | 0.86% |
辽宁盘锦联通 | 1.67% | 1.56% | 1.96% | 14.30% | 0.64% | 2.66% |
广东中山联通 | 1.68% | 1.60% | 2.16% | 0.79% | 0.79% | 4.22% |
河南周口联通 | 11.50% | 67.50% | 0.13% | 29.00% | 24.78% | 23.60% |
河南商丘联通 | 2.20% | 5.50% | 2.10% | 3.60% | 1.60% | 3.16% |
湖南长沙联通 | 45.50% | 37.40% | 24.09% | 1.60% | 1.78% | 3.44% |
福建福州联通 | 1.25% | 1.35% | 1.10% | 0.68% | 0.85% | 1.21% |
重庆联通 | 0.00% | 0.00% | 0.00% | |||
陕西宝鸡联通 | 0.00% | 0.00% | 0.00% | |||
河北廊坊联通 | 2.50% | 1.91% | 2.64% | 2.60% | 2.84% | 3.10% |
天津联通 | 15.50% | 12.85% | 3.97% | 3.30% | 3.01% | 2.34% |
山西朔州联通 | 0.28% | 0.69% | 0.90% | 1.20% | 0.95% | 0.79% |
山东泰安联通 | 12.10% | 10.65% | 95.82% | 10.60% | 110.00% | 77.10% |
山东青岛联通 | 3.80% | 3.00% | 5.67% | 2.90% | 2.23% | 2.25% |
吉林联通 | 0.78% | 0.43% | 1.77% | 0.58% | 1.23% | 0.02% |
浙江台州联通 | 7.60% | 3.04% | 2.87% | 3.60% | 3.40% | 3.38% |
湖南岳阳电信 | 0.00% | 0.00% | 0.00% | 0.00% | ||
浙江丽水电信 | 12.16% | 2.30% | 4.16% | 4.80% | 4.71% | 2.28% |
浙江湖州电信 | 0.00% | 0.00% | 0.00% | 0.00% | 0.00% | 3.30% |
福建福州电信 | 0.00% | 0.00% | 0.00% | 0.00% | 0.00% | 7.93% |
广东佛山电信 | 4.03% | 3.50% | 11.86% | 10.67% | 5.27% | 2.78% |
四川乐山电信 | 7.87% | 1.50% | 6.55% | 2.48% | 81.44% | 8.46% |
陕西宝鸡电信 | 0.00% | 0.00% | 0.00% | 5.40% | 0.05% | 1.10% |
江苏盐城电信 | 82.60% | 75.30% | 90.20% | 94.80% | 33.67% | 32.40% |
云南昆明电信 | 1.20% | 1.05% | 1.21% | 0.70% | 0.43% | 15.60% |
陕西咸阳电信 | 0.00% | 0.00% | 0.00% | 0.00% | 2.80% | 1.30% |
广东中山电信 | 76.50% | 65.20% | 2.16% | 77.40% | 0.50% | 1.60% |
湖北鄂州电信 | 0.00% | 0.00% | 0.00% | 0.00% | 265.00% | 157.00% |
山东济南三线 | 56.00% | 110.00% | 99.63% | 0.00% | 108.00% | 115.00% |
山东济南电信 | 1.20% | 1.30% | 1.03% | 1.50% | 1.00% | 0.40% |
河南洛阳电信 | 36.20% | 11.40% | 6.62% | 11.20% | 12.00% | 7.90% |
重庆电信 | 1.60% | 1.00% | 1.02% | 0.40% | 1.00% | 0.75% |
太原移动 | 0.00% | 0.00% | 0.00% | 8.65% | 1.00% | 12.50% |
武汉长宽 | 0.00% | |||||
上海长宽 | 0.00% | |||||
南昌移动 | 0.00% | 0.00% | 0.00% | 0.90% | 0.80% | 1.55% |
扬州电信IDC | 10.00% | 8.50% | 12.78% | 80.80% | 14.60% | 9.70% |
天津电信 | 1.94% | 2.70% | 2.78% | 2.20% | 4.20% | 16.50% |
石景山BGP机房 | 2.75% | 2.30% | 0.22% | 2.00% | 2.05% | 1.25% |
广东佛山三线 | 254.00% | 151.00% | 100.10% | 114.00% | 111.00% | 121.00% |
北京长宽 | 0.00% | 0.00% | 0.00% | 0.00% | ||
武汉联通 | 0.00% | 0.03% | 38.37% | 47.10% | 42.60% | 44.60% |
淮南移动 | 0.00% |