高并发下linux系统、业务结构性能优化——index(不断更新)

工作中零零散散写了些博客,总结了些知识,当然是从运维的角度。东西一多就乱,闲时突发奇想,这些东西能不能打在一个点上,如果能有一个东西把所有内容串起来并且有一个主题岂不妙哉,也方便查阅和阅读,就像一个网站有了内容后需要一个index主页一样,哈哈,然后就有了这篇置顶博文。

对于主题,我喜欢研究业务架构和大并发相关知识,就定为“高并发下linux系统、业务结构性能优化”了,现有目录结构是根据工作经验进行的梳理,以后会动态修改。我的知识非常有限,不乏有些错误认识,不管怎样抛砖引玉分享出来,希望能对同行从业人员有一点帮助,有理解不对的地方也请指正,我会更新并署名。

先谈谈linux系统、业务结构性能调优的方法论,简单来说整体大原则是“木桶原理”,换言之一个业务结构或一台单独的服务器能跑多大的量,取决于所有环节的短板。

更新中。。。。。。。。。。。。。

================================目  录==============================================

一、linux系统性能优化

    1.1 系统IO性能优化

    1.2 tcp内核参数性能优化

      1.2.1 大并发下TCP内存消耗优化小记(86万并发业务正常服务)

      1.2.2 TCP之TIME_WAIT调整优化(含TCP回收)

二、nginx性能优化

    2.1 作为cache加速

      2.1.1 Nginx/tengine做cache加速缓存策略配置调优

    2.2 作为负载均衡

      2.2.1 Nginx/tengine里的那些timeout时间优化

    2.3 作为web服务器

三、CDN的cache节点性能优化

    3.1 CDN的业务结构模型

3.1.1 CDN内容分发网络深入简出图解

    3.2 CDN的cache节点结构调整优化

      3.2.1 CDN的cache节点结构调整优化

    3.3 cache——ATS性能优化

      3.3.1 ATS缓存工作机制流程图

      3.3.2 不影响业务前提下ATS缓存策略优化配置

      3.3.3 ATS服务动态域名缓存策略优化

四、工作中部分故障排查

    4.1 十几万连接几M的流量,吓死“宝宝”了

    4.2 ATS通过header头重写解决HIT/502故障

五、工作中写过的部分脚本

    5.1 mysql互主自动化配置脚本

    5.2 linux下PXE无人值守环境自动安装脚本

    5.3 爬取域名一级页面元素并判断其可缓存性

    5.4 ATS日志处理机制及相关脚本

===========================================================================================

时间: 2024-10-07 14:09:43

高并发下linux系统、业务结构性能优化——index(不断更新)的相关文章

【杂谈】BI系统的前端性能优化

近一年,由于笔者团队的一些变化,笔者开始承担一个BI系统的前端应用的维护和迭代,一年中,围绕着这个BI系统,发生了不少令人啼笑皆非和醍醐灌顶的故事.最近,终于有时间把它们一点点的沉淀写来,以文字的形式呈现出来. 首先,简单介绍下笔者维护的这个BI系统,和常规的BI(Business Intelligence)系统一样,笔者的BI系统同样可以分为三层: 数据层:这一层其实主要是ETL的过程,即将业务数据库的数据通过抽取(Extract).转换(transform).加载(Load)到新的数据库中,

Linux系统各发行版镜像下载(持续更新)

Linux系统各发行版镜像下载(持续更新) http://www.linuxidc.com/Linux/2007-09/7399.htm Linux系统各发行版镜像下载(2014年10月更新),如果直接下载不了,请使用迅雷下载.并且注意,我的下载地址,在  迅雷 里才起作用. 包括Ubuntu,Fedora,SUSE,Red Hat Enterprise Linux,CentOS等. 中国大陆开源镜像站汇总 1.企业贡献: 搜狐开源镜像站:http://mirrors.sohu.com/网易开源

高并发情况下Linux系统及kernel参数优化

众所周知在默认参数情况下Linux对高并发支持并不好,主要受限于单进程最大打开文件数限制.内核TCP参数方面和IO事件分配机制等.下面就从几方面来调整使Linux系统能够支持高并发环境. Iptables相关 如非必须,关掉或卸载iptables防火墙,并阻止kernel加载iptables模块.这些模块会影响并发性能. 单进程最大打开文件数限制 一般的发行版,限制单进程最大可以打开1024个文件,这是远远不能满足高并发需求的,调整过程如下: 在#号提示符下敲入: # ulimit–n 6553

Linux系统CPU的性能监控及调优

前言: 性能优化是一个老生常谈的话题,典型的性能问题如页面响应慢.接口超时,服务器负载高.并发数低,数据库频繁死锁等.尤其是在“糙快猛”的互联网开发模式大行其道的今天,随着系统访问量的日益增加和代码的臃肿,各种性能问题开始纷至沓来. 在系统层面能够影响应用性能的一般包括三个因素:CPU.内存和IO,今天,我们先谈谈CPU性能的监控以及调优. CPU性能监控 当程序响应变慢的时候,首先使用top.vmstat.ps等命令查看系统的cpu使用率是否有异常,从而可以判断出是否是cpu繁忙造成的性能问题

redmine在linux上的mysql性能优化方法与问题排查方案

iredmine的linux服务器mysql性能优化方法与问题排查方案 问题定位: 客户端工具: 1. 浏览器inspect-tool的network timing工具分析 2. 浏览器查看 response header, 分析http server 与 web server.       服务器工具:   0. nmon 查看各类系统负载, rrdtool 查看网络状况.   1. uptime看cpu负载;    free看内存;  mem ; cat /proc/meminfo以及  i

shell脚本监控内嵌linux系统业务、CPU、内存等

定制板卡中bash无法使用,使用标准sh完成对系统及业务监控 #! /bin/sh #Process_Name="/guard /aps /sa /zyguard" Process_Name="/mp /mcu" #获取主机IP地址 ip=`ifconfig eth0 |grep "inet addr"| cut -f 2 -d ":"|cut -f 1 -d " "` gstr="/guard&

用vmstat来监控linux系统的整体性能

vmstat是一个相当全面的性能分析工具,可以用来观察系统的进程状态.内存使用情况. 虚拟内存的使用情况.磁盘的I/O.系统的中断以及上下文切换.cpu的使用情况等性能信息. 主要用法: vmstat  delay count 其中 delay是输出的时间间隔,count是输出的次数 例如: 各个性能字段中各参数的说明: procs: r:等待运行的进程数 b:处在非中断睡眠状态的进程数 memory: swpd:虚拟内存的使用量,单位为KB free:空闲的内存,单位为KB buff:被用来作

Linux 系统常用的性能监测命令工具

top:查看进程活动状态以及一些系统状况. vmstat:查看系统状态.硬件和系统信息等. iostat:查看CPU 负载,硬盘状况. sar:综合工具,查看系统状况. mpstat:查看多处理器状况. netstat:查看网络状况. iptraf:实时网络状况监测. tcpdump:抓取网络数据包,详细分析. mpstat:查看多处理器状况. tcptrace:数据包分析工具. netperf:网络带宽工具. dstat:综合工具,综合了 vmstat, iostat, ifstat, net

JAVA架构师大型分布式高并发电商项目实战,性能优化,集群,亿级高并发,web安全,缓存架构实战

现任58到家技术委员会主席,高级技术总监,负责企业,支付,营销.客户关系等多个后端业务部门.本质,技术人一枚.互联网架构技术专家,"架构师之路"公众号作者.曾任百度高级工程师,58同城高级架构师,58同城技术委员会主席,58同城C2C技术部负责人. 内容介绍 1.大数据量时,数据库架构设计原则 2.数据库水平切分架构设计方向 3.用户中心,帖子中心,好友中心,订单中心水平切分架构实践 下面是58沈剑老师的演讲实录 大家好,我是58沈剑,架构师之路的小编,后端程序员一枚,平时比较喜欢写写