linux服务端并发优化

Mysql优化方面:

1.sql语句优化

创建索引: CREATE INDEX idx_user_openid_ptid ON tb_pt_user (openid,ptid);

2.服务器配置优化,主要优化缓存

配置文件位置 :  /etc/my.cnf

[mysqld]

datadir=/var/lib/mysql

socket=/var/lib/mysql/mysql.sock

user=mysql

# Disabling symbolic-links is recommended to prevent assorted security risks

innodb_buffer_pool_size = 1G

innodb_additional_mem_pool_size = 64M

innodb_thread_concurrency = 8

innodb_flush_log_at_trx_commit = 1

innodb_log_buffer_size = 128M

innodb_log_file_size = 512M

innodb_log_files_in_group = 2

innodb_max_dirty_pages_pct = 90

innodb_lock_wait_timeout = 60

# SAFETY #

max-allowed-packet             = 16M

max-connect-errors             = 1000000

skip-name-resolve

sysdate-is-now                 = 1

# CACHES AND LIMITS #

tmp-table-size                 = 32M

max-heap-table-size            = 32M

query-cache-type               = 0

query-cache-size               = 0

max-connections                = 15000

thread-cache-size              = 50

open-files-limit               = 65535

table-definition-cache         = 1024

table-open-cache               = 2048

[mysqld_safe]

log-error=/var/log/mysqld.log

pid-file=/var/run/mysqld/mysqld.pid

[client]

port = 3306

default-character-set=utf8

Nginx优化

配置文件位置 :/etc/nginx/nginx.conf

# For more information on configuration, see:

#   * Official English Documentation: http://nginx.org/en/docs/

#   * Official Russian Documentation: http://nginx.org/ru/docs/

user              nginx;

worker_processes  8;   #1; the server 172.16.30.201 has 8 CPUs, modified by Shao Xiaoling

worker_cpu_affinity 00000001 00000010 00000100 00001000 00010000 00100000 01000000 10000000; # the server 172.16.30.201 has 8 CPUs, modified by Shao Xiaoling

worker_rlimit_nofile 150000;

error_log  /var/log/nginx/error.log;

#error_log  /var/log/nginx/error.log  notice;

#error_log  /var/log/nginx/error.log  info;

pid        /var/run/nginx.pid;

events {

worker_connections 150000;

multi_accept on;

use   epoll;             #epoll是多路复用IO(I/O Multiplexing)中的一种方式,但是仅用于linux2.6以上内核,可以大大提高nginx的性能; modified by Shao Xiaoling

}

http {

include       /etc/nginx/mime.types;

default_type  application/octet-stream;

log_format  main  ‘$remote_addr - $remote_user [$time_local] "$request" ‘

‘$status $body_bytes_sent "$http_referer" ‘

‘"$http_user_agent" "$http_x_forwarded_for"‘;

access_log  /var/log/nginx/access.log  main;

sendfile        on;

tcp_nopush     on;

tcp_nodelay    on;

#keepalive_timeout  0;

keepalive_timeout  30;

keepalive_requests 100000;

reset_timedout_connection on;

client_body_timeout 10;

send_timeout 2;

#gzip  on;

gzip  on;  #modified by Shao Xiaoling

#the following gzip parameters added by shao Xiaoling

gzip_min_length 1k;

gzip_buffers    4 16k;

gzip_comp_level 6;

gzip_types text/html text/plain text/css text/javascript application/json application/javascript application/x-javascript application/xml;

gzip_vary on;

# Load config files from the /etc/nginx/conf.d directory

# The default server is in conf.d/default.conf

include /etc/nginx/conf.d/*.conf;

}

Tcp协议栈优化

1.安装服务:

yum  -y  install  netperf  iperf

2.修改配置文件

文件位置: /etc/sysctl.conf

kernel.sysrq = 0

kernel.panic = 20

kernel.softlockup_panic=1

kernel.core_uses_pid = 1

kernel.msgmnb = 65536

kernel.msgmax = 65536

kernel.shmmax = 25769803776

kernel.shmall = 4294967296

kernel.shmmni = 4096

kernel.sem = 250 32000 100 128

kernel.hung_task_timeout_secs = 0

kernel.core_pattern = core

fs.file-max = 655350

net.ipv4.ip_forward = 0

net.ipv4.conf.default.rp_filter = 1

net.ipv4.conf.default.accept_source_route = 0

net.ipv4.tcp_syncookies = 1

net.ipv4.tcp_fin_timeout = 3

net.ipv4.tcp_tw_reuse = 1

net.ipv4.tcp_tw_recycle = 1

net.ipv4.tcp_timestamps = 0

net.ipv4.ip_local_port_range = 2000 65000

net.ipv4.tcp_max_syn_backlog = 3240000

net.ipv4.tcp_max_tw_buckets = 1440000

net.ipv4.route.gc_timeout = 100

net.ipv4.tcp_syn_retries = 2

net.ipv4.tcp_synack_retries = 2

net.ipv4.tcp_sack = 1

net.nf_conntrack_max = 2048576

net.netfilter.nf_conntrack_max = 2048576

net.netfilter.nf_conntrack_tcp_timeout_established = 60

net.netfilter.nf_conntrack_tcp_timeout_time_wait = 30

net.netfilter.nf_conntrack_tcp_timeout_close_wait = 30

net.netfilter.nf_conntrack_tcp_timeout_fin_wait = 30

net.ipv4.tcp_window_scaling = 1

net.ipv4.tcp_mem = 3097431 4129911 6194862

net.ipv4.tcp_rmem = 4096 87380 16777216

net.ipv4.tcp_wmem = 4096 65536 16777216

net.ipv4.tcp_congestion_control = cubic

net.ipv4.tcp_max_orphans = 3276800

net.ipv4.tcp_keepalive_time = 30

net.ipv4.tcp_keepalive_probes = 2

net.ipv4.tcp_keepalive_intvl = 15

net.ipv6.conf.all.disable_ipv6 = 1

net.ipv6.conf.default.disable_ipv6 = 1

net.ipv6.conf.lo.disable_ipv6 = 1

net.bridge.bridge-nf-call-ip6tables = 0

net.bridge.bridge-nf-call-iptables = 0

net.bridge.bridge-nf-call-arptables = 0

net.core.wmem_default = 8388608

net.core.rmem_default = 8388608

net.core.rmem_max = 16777216

net.core.wmem_max = 16777216

net.core.netdev_max_backlog = 262144

net.core.somaxconn = 3240000

vm.swappiness = 5

vm.zone_reclaim_mode = 0

vm.overcommit_memory = 1

vm.panic_on_oom = 0

vm.drop_caches = 1

vm.dirty_ratio = 30

vm.dirty_background_ratio = 30

vm.dirty_writeback_centisecs = 50000

vm.vfs_cache_pressure = 200

vm.min_free_kbytes = 256000

3.使配置文件生效

sysctl  -p  /etc/sysctl.conf

在mysql ,nginx 修改配置文件时先stop服务再重新启动服务

查看mysql服务状态   /etc/init.d/mysqld   status

查看nginx服务状态   /etc/init.d/nginx     status

启动mysql服务状态   /etc/init.d/mysqld   start

启动nginx服务状态   /etc/init.d/nginx     start

Mysql命令

{start|stop|status|restart|condrestart|try-restart|reload|force-reload}

Nginx命令

{start|stop|reload|configtest|status|force-reload|upgrade|restart|reopen_logs}

配置文件备份是按照加上日期。

列如:my.cnf    my.cnf.20160425        2016年4月25日备份版本1

my.cnf.20160425_02     2016年4月25日备份版本2

时间: 2024-10-02 13:48:44

linux服务端并发优化的相关文章

linux服务端的网络编程

常见的Linux服务端的开发模型有多进程.多线程和IO复用,即select.poll和epoll三种方式,其中现在广泛使用的IO模型主要epoll,关于该模型的性能相较于select和poll要好不少,本文也主要讨论该模型而忽略另外两种IO复用模型. 多线程相较于多进程开销比较小,但是要主要主线程往子线程传递数据的时候要注意变量互斥访问来保证线程安全. epoll模型在Linux2.6内核中引入的,改进了select中的一些明显设计上的缺点,具有更高的效率.主要体现在以下几个方面: 1. epo

如何提高Web服务端并发效率的异步编程技术

作为一名web工程师都希望自己做的web应用能被越来越多的人使用,如果我们所做的web应用随着用户的增多而宕机了,那么越来越多的人就会变得越来越少了,为了让我们的web应用能有更多人使用,我们就得提升web应用服务端的并发能力.那么我们如何做到这点了,根据现有的并发技术我们会有如下选择: 第一个做法:为每个客户端发送给服务端的请求都开启一个线程,等请求处理完毕后该线程就被销毁掉,这种做法很直观,但是在现代的web服务器里这种做法已经很少使用了,原因是新建一个线程,销毁一个线程的开销(开销是指占用

TCP协议下的服务端并发,GIL全局解释器锁,死锁,信号量,event事件,线程q

TCP协议下的服务端并发,GIL全局解释器锁,死锁,信号量,event事件,线程q 一.TCP协议下的服务端并发 ''' 将不同的功能尽量拆分成不同的函数,拆分出来的功能可以被多个地方使用 TCP服务端实现并发 1.将连接循环和通信循环拆分成不同的函数 2.将通信循环做成多线程 ''' # 服务端 import socket from threading import Thread ''' 服务端 要有固定的IP和PORT 24小时不间断提供服务 能够支持并发 ''' server = sock

进程池与线程池、协程、协程实现TCP服务端并发、IO模型

进程池与线程池.协程.协程实现TCP服务端并发.IO模型 一.进程池与线程池 1.线程池 ''' 开进程开线程都需要消耗资源,只不过两者比较的情况下线程消耗的资源比较少 在计算机能够承受范围内最大限度的利用计算机 什么是池? 在保证计算机硬件安全的情况下最大限度的利用计算机 池其实是降低了程序的运行效率,但是保证了计算机硬件的安全 (硬件的发展跟不上软件的速度) ''' from concurrent.futures import ThreadPoolExecutor import time p

这些年看过的Linux服务端开发的书籍推荐

这些年看过的Linux相关书籍推荐 计算机类图书相对感觉还是比较贵的,但是我是一个比较喜欢买纸质版书籍的人,所以我通常都会在京东618等活动买书,相对会便宜很多.大四开始看计算机相关的书籍,有的时候师弟们让推荐书籍,我就总结在这里了.不管你是大一还是研一,想必都有你需要的书籍吧. 相应的电子版我会总结到文末,哎我就是最亮的仔!! 1 编程语言书籍 想必大部分小伙伴刚进入大学校园,开设的第一门专业课是某某语言程序设计,下面推荐如下书籍 c语言 这三本书可说是c语言中精华了,不过比较遗憾的是很多大学

MQTT协议学习及实践(Linux服务端,Android客户端的例子)

前言 MQTT(Message Queuing Telemetry Transport),是一个物联网传输协议,它被设计用于轻量级的发布/订阅式消息传输,旨在为低带宽和不稳定的网络环境中的物联网设备提供可靠的网络服务.MQTT是专门针对物联网开发的轻量级传输协议.MQTT协议针对低带宽网络,低计算能力的设备,做了特殊的优化,使得其能适应各种物联网应用场景.本文旨在研究其在消息发布/订阅/接收场景下的应用. MQTT协议中的几个重要概念 服务端 是发送消息的客户端和请求订阅的客户端之间的中介,又称

使用rsync在linux(服务端)与windows(客户端)之间同步

说明: 1.RsyncServer服务端 系统:CentOS 6.8 IP地址:192.168.247.141 2.Rsync客户端 系统:Windows10 实现目的: Rsync客户端同步服务端/data/test下的文件到E/test下 一 .在linux上安装rsync 1.#rpm -qa|grep rsync yum install rsync -y 2.vim /etc/rsyncd.conf uid=root gid=root max connections=10 log fil

FTP的主动与被动模式,及linux服务端的配置

FTP作为一种简单的明文文件传输协议,其工作过程有两个工作进程--(命令进程(默认21端口)与数据传输进程): 而数据传输进程又分为主动与被动两种模式: 主动FTP: 命令连接:客户端 >1023端口 -> 服务器 21端口 数据连接:客户端 >1023端口 < - 服务器 20端口 被动FTP: 命令连接:客户端 >1023端口 -> 服务器 21端口 数据连接:客户端 >1023端口 -> 服务器 >1023端口 可以看出两种模式最大的区别就是数据

window的vnc客户端无法访问Linux服务端的问题之一

对于网上的各种凌乱解法,我总结了一下步骤: 1)yum安装 yum -y install vnc *vnc-server* 2)修改VNCServer主配置文件 #vim /etc/sysconfig/vncservers            //安装之后会出现这个文件 复制最后两行并去掉行首注释符,然后修改为 VNCSERVERS="2:xxx"   //因为Linux系统自带远程登录,所以不能写1,其他的随便: //   xxx代表你远程用户,比如root VNCSERVERAR