Nginx+Mysql调优

使用nginx实现反向代理作用,具备负载均衡的功能。

接受客户端的请求

|

nginx(宿主机)

|

|-------------------|

web1 web2 (客户机)

原理:

与squid原理一样。对于客户端来说,nginx就像一台web服务器,客户端认为自己访问的所有内容都是来自nginx.但是nginx接受到客户端的请求,其实它是理解了请求后,自身产生新的请求,问后端的web节点索取客户端想要的内容,最后把内容返回给客户端。

客户端 ----> nginx(客户端的服务端) ------> web节点(做为nginx的服务端)

nginx

eth0 10.1.1.21

virbr5 192.168.19.1 <--- hostonly

web1

eth0 192.168.19.11

web2

eth0 192.168.19.12

www.upl.com ---> 10.1.1.21

重点掌握: 学会使用nginx实现反向代理的配置

配置模板:

upstream backend {

server backend1.example.com weight=5;

server backend2.example.com:8080;

server unix:/tmp/backend3;

}

server {

location / {

proxy_pass http://backend;

}

}

一、部署nginx,实现代理

1、安装pcre、nginx

2、配置nginx

http{

....

upstream webservs {

server 192.168.19.11 max_fails=3 fail_timeout=30s weight=1;

server 192.168.19.12 max_fails=3 fail_timeout=30s weight=1;

}

server {

listen 80;

server_name www.upl.com upl.com;

charset utf8;

access_log logs/upl.com.access.log main;

location / {

proxy_pass http://webservs; //把请求调度给webservs定义的节点

proxy_set_header X-Real-IP $remote_addr;// 能够后端节点可以知道客户端IP

}

}

...

}

二、部署后端节点

1、安装web服务以及应用

2、配置apache,让其记录真正的客户端的IP

LogFormat "%{X-Real-IP}i %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined

CustomLog logs/access_log combined <---使用combined格式记录日志

==============================================================================

使用mysql的复制技术实现对mysql架构的调优

mysql复制的常见拓扑

1、简单实现双机热备

r/w ro

| |

master -----> slave

slave起到一个在线热备份。

2、级联模式,进一步分担读压力

r/w ro ro

| | |

master ----> slave1 -----> slave2

存在“单点故障”,只要slave1出问题,slave2就无法同步到最新状态

3、一主多从 ,解决从服务器成为单点故障的问题

/-----> slave1

master --

\-----> slave2

master需要同时给后端两个节点发送日志,IO压力和网络压力都增加。

4、互为主从

master1 <------> master2

从mysql复制技术的角度来说,互为主从并不十分合理,一般都是不允许它们同时接受写请求,就算允许,也是哪些允许记录重复的应用数据。

以上的拓扑图,如果其中一个节点出故障,该如何处理?

实验1:

1、简单实现双机热备

r/w ro

| |

master2 -----> slave1

slave起到一个在线热备份。

master2

node1.upl.com

192.168.19.11

server-id=11

slave1

node2.upl.com

192.168.19.12

server-id=12

准备:

1、静态IP、FQDN主机名、hosts文件相互绑定

2、时间必须同步一致。

3、强烈要求mysql-server版本要一样。

软件:

rhel6u2

mysql-5.1 光盘自带

模拟情景:

架构初期,工程师并没有考虑到使用mysql双机热备架构,仅仅使用了一台mysql数据库服务器。

架构运作了一段时间之后,数据库的压力非常大,需要增加一台从数据库,实现双机热备,既可以降低单台数据库的读压力,又可以实现数据热备份。

考虑: 尽可能不要去关闭原来的数据库去部署双机热备,尽可能减少对原来的数据库的影响。

前提:必须原来就打开了二进制日志文件记录的功能,否则必须重启数据库

如果数据库的表使用的是innodb的存储引擎,那么一点影响都没有;如果表使用的是MyISAM等非事务类型的存储引擎,那么部署的时候,绝对会影响,至少数据库是不能正常的接受写请求。

一、部署master2数据库服务器

1、安装数据库,并且建立一些基本数据。

1)建立配置文件

注意: 考虑到后面的实验需求,必须打开二进制日志文件记录功能。

[mysqld]

user=mysql

datadir=/data

socket=/data/mysqld.sock

port=3306

skip-name-resolve ###

server-id=11 ####

log-bin=/data/mysqld-bin ###

log-bin-index=/data/mysqld-bin ###

sync-binlog=1 ###

[mysqld_safe]

log-error=/data/mysqld.err

pid-file=/data/mysqld.pid

2) 把配置文件涉及的用户、目录建立,保证权限正确

# mkdir /data/

# chown mysql:mysql /data

3)初始化数据

# mysql_install_db --datadir=/data --user=mysql

4)启动并且修改帐号密码等。

# mysqld_safe &

# mysqladmin -u root -S /data/mysqld.sock password ‘123‘

# mysql -u root -p123 -S /data/mysqld.sock

mysql> update mysql.user set password=password(‘123‘)

-> where password=‘‘;

mysql> delete from mysql.user where user=‘‘;

5) 存放一些数据,模拟数据库是运行了一段时间

mysql> create database upl default charset utf8;

mysql> use upl;

mysql> create table user (

-> id int unsigned not null primary key auto_increment,

-> name varchar(32) );

mysql> insert into user values (NULL,‘user1‘),(NULL,‘user2‘);

二、部署master2,为双机热备做好准备

前提:确定master2服务器打开了二进制日志记录、固定了server-id

1、建立帐号,授权允许进行复制二进制日志文件记录

mysql> grant replication slave on *.*

-> to [email protected]‘192.168.19.%‘

-> identified by ‘123‘;

2、开始备份数据库

备份数据库的手段:

热备份:

mysqldump (逻辑备份)

meb (物理备份)

不管使用什么的工具,只要是备份非事务的存储引擎,都是需要锁库,锁表,不允许写。

冷备份

关闭数据库,或者锁定数据库,不允许写操作,然后拷贝数据文件等

由于本数据库服务器使用的主要是myisam类型的表,所以使用以下参数: --lock-all-tables

# mysqldump -u root -p123 -S /data/mysqld.sock --all-databases --lock-all-tables --master-data=2 > ~/master2.sql

如果使用是以innodb类型的表为主

--single-transaction

# mysqldump -u root -p123 -S /data/mysqld.sock --all-databases --single-transaction

--master-data=2 > ~/master2.sql

--master-date=? 在备份数据库的时候,会把当前数据库的状态对应的二进制日志文件信息记录下来。

1 不会注释change master语句

2 在备份文件中,把change master语句注释起来

# vim master2.sql

....

....

-- CHANGE MASTER TO MASTER_LOG_FILE=‘mysqld-bin.000003‘, MASTER_LOG_POS=998;

《---在备份文件中记录了二进制日志信息

3、这个步骤并不是本次实验必须的步骤,仅仅是为了模拟数据库一直都在工作

mysql> insert into upl.user values (NULL,‘user3‘);

mysql> select * from upl.user;

+----+-------+

| id | name |

+----+-------+

| 1 | user1 |

| 2 | user2 | <---以上的记录在master2.sql备份文件中都已经有了

| 3 | user3 | <---备份后添加

+----+-------+

三、部署slave1从服务器

1、安装相同版本的数据库

2、建立配置文件、用户、目录等

[mysqld]

datadir=/data

socket=/data/mysqld.sock

user=mysql

skip-name-resolve

server-id=12 # 确保从服务器使用的是一个与其他服务器不同的id

log-bin=/data/mysqld-bin

log-bin-index=/data/mysqld-bin

sync-binlog=1

relay-log=/data/relay-log # 记录从master上下载回来的更新操作

relay-log-index=/data/relay-log

log-slave-updates # 把下载回来的更新操作同时也记录到自己二进制日志文件中

[mysqld_safe]

log-error=/var/log/mysqld.log

pid-file=/var/run/mysqld/mysqld.pid

# mkdir /data

# chown mysql:mysql /data

3、由于使用的是mysqldump备份来恢复,所以需要对服务器初始化数据目录

# mysql_install_db --datadir=/data --user=mysql

4、启动并且导出数据

# mysqld_safe &

# scp 192.168.19.11:~/master2.sql /tmp/master2.sql

导入数据

# mysql -u root -S /data/mysqld.sock < /tmp/master2.sql

强烈建议重启数据库

# mysqladmin -u root shutdown -S /data/mysqld.sock

# service mysqld start

5、设定如何连接master2

mysql> change master to

-> master_host=‘192.168.19.11‘,

-> master_user=‘slave‘,

-> master_password=‘123‘,

-> master_log_file=‘mysqld-bin.000003‘,

-> master_log_pos=998;

mysql> start slave; # stop slave;

mysql> show slave status \G;

*************************** 1. row ***************************

。。。。

Master_Log_File: mysqld-bin.000003

Read_Master_Log_Pos: 1127

Relay_Log_File: relay-log.000002

Relay_Log_Pos: 381

Relay_Master_Log_File: mysqld-bin.000003

Slave_IO_Running: Yes ##

Slave_SQL_Running: Yes ##

。。。

Exec_Master_Log_Pos: 1127

Relay_Log_Space: 530

。。。

Seconds_Behind_Master: 0

。。。

遇到故障:

1、找错误日志

2、如果是Slave_IO_Running: No

Slave_IO线程是负责连接主人,下载二进制日志记录。出问题,一般 :

1) slave帐号是否错误了,是否能够连接

2) 日志文件的名字

3、如果Slave_SQL_Running: No

一般都是master_log_pos写错

原文地址:https://www.cnblogs.com/steven9898/p/11331145.html

时间: 2024-10-26 06:51:24

Nginx+Mysql调优的相关文章

mysql调优

MySQL调优可以从几个方面来做:1. 架构层:做从库,实现读写分离: 2.系统层次:增加内存:给磁盘做raid0或者raid5以增加磁盘的读写速度:可以重新挂载磁盘,并加上noatime参数,这样可以减少磁盘的i/o; 3. MySQL本身调优:(1) 如果未配置主从同步,可以把bin-log功能关闭,减少磁盘i/o(2) 在my.cnf中加上skip-name-resolve,这样可以避免由于解析主机名延迟造成mysql执行慢(3) 调整几个关键的buffer和cache.调整的依据,主要根

MySQL调优系列基础篇

前言 有一段时间没有写博客了,整天都在忙,上班,录制课程,恰巧最近一段时间比较清闲,打算弄弄MYSQL数据库. 关于MySQL数据库,这里就不做过多的介绍,开源.免费等特性深受各个互联网行业喜爱,尤其在某些大型电商应用之后,更是将其推崇至极. 前面有一段时间我写过SQL Server数据库的一个调优系列,有兴趣的可以关注下. 从本篇起,我将开始分析关于MySQL数据库的一系列的调优内容,同样作为开篇,先就在MySQL调优中所最常用的查询计划进行解析,力图做好基础的掌握,夯实基本功!而后再谈谈整体

MySQL 调优/优化的 100 个建议

MySQL 调优/优化的 100 个建议 提交 我的评论 加载中 已评论 MySQL 调优/优化的 100 个建议 2015-07-08 数据库开发 数据库开发 数据库开发 微信号 DBDevs 功能介绍 分享数据库相关技术文章.教程和工具,另外还包括数据库相关的工作.偶尔也谈谈程序员人生 :) (点击上方蓝字,快速关注我们) (编注:本文写于 2011 年) MySQL是一个强大的开源数据库.随着MySQL上的应用越来越多,MySQL逐渐遇到了瓶颈.这里提供 101 条优化 MySQL 的建议

第 四 十 一 天:mysql 调 优 方 式

小Q:世界上最快而又最慢,最长而又最短,最平凡而又最珍贵,最易被人忽视 而又最让人后悔的就是时间.                    ----高尔基 ======================================================================= MySQL调优可以从几个方面来做: 1. 架构层: 做从库,实现读写分离: 2.系统层次: 增加内存: 给磁盘做raid0或者raid5以增加磁盘的读写速度: 可以重新挂载磁盘,并加上noatime参数

MySQL调优 —— Using temporary

DBA发来一个线上慢查询问题, SQL如下(为突出重点省略部分内容): select distinct article0_.id, 等字段 from article_table article0_, hits_table articlehit1_ where article0_.id=articlehit1_.id order by hits; EXPLAIN结果:耗时4.03S 出乎意料, 竟然会有Using temporary, order by只用到了一张表, 正常情况下不会出现借助辅助表

mysql调优 基础

MySQL调优可以从几个方面来做: 1. 架构层:做从库,实现读写分离: 2.系统层次:增加内存:给磁盘做raid0或者raid5以增加磁盘的读写速度:可以重新挂载磁盘,并加上noatime参数,这样可以减少磁盘的i/o; 3. MySQL本身调优:(1) 如果未配置主从同步,可以把bin-log功能关闭,减少磁盘i/o(2) 在my.cnf中加上skip-name-resolve,这样可以避免由于解析主机名延迟造成mysql执行慢(3) 调整几个关键的buffer和cache.调整的依据,主要

Nginx性能调优教程

性能测试之Nginx性能调优 课程观看地址:http://www.xuetuwuyou.com/course/38 课程出自学途无忧网:http://www.xuetuwuyou.com/ 课程从介绍Nginx开始,包括Nginx的安装.配置.监控.调优等方方面面,可以全面深入浅出的学习Nginx. 课时1:nginx为什么这么牛B 课时2:Linux下快速安装nginx 课时3:nginx监控分析神器 课时4:nginx关键参数分析 课时5:通过status监控nginx 课时6:静态资源优化

mysql 调优

转载:http://blog.csdn.net/yananwang/article/details/7030029 今天开始学习mysql调优啦 (偶那东一榔头西一棒子的学习历程的又一棒子) 好啦,言归正传: 首先,mysql调优有三个主要的方式,由低到高分别是: 1.硬件调优 2.修改mysql进程 3.优化mysql查询 一.硬件调优 先看看硬件调优吧.这个有两方面你可以考虑,首先对现有硬件条件进行修复,能调整的调整,能替换的替换,例如你可以把中央处理器(CPU)或磁盘速度加倍,也可以让内存

MySQL(用户管理,常用sql语句,数据库备份恢复,MySQL调优,恢复误操作数据)

一.MySQL用户管理. 一个MySQL数据库里可以跑多个库,总不能给所有人的程序员root用户,则可以给他们单独的用户访问数据库. 创建用户:(grant all on *.* to 'user1'是把所有库的权限给'user1,他的来源Ip是127.0.0.1,他的密码是lty123456') (第一个*是库名,如果你写成mysql.*那就是对mysql库的所有权限) (来源ip也可以写成 % ,表示来源的所有ip) (grant这种语句是不会记录到命令历史里去的,因为不安全.) mysql