实现LNMMP

实验平台：RHEL5.8  RHEL6.4

实验环境：node1 -- node9的内网IP分别对应10.32.9.51 -- 10.32.9.59 24位掩码

          node6 node7对应一个虚拟外网IP 100.100.100.1/32


实现功能：

1、利用iscsi协议、集群文件系统gfs2、clvm集群逻辑卷、cman集群传输层协议为web服务器提供共享存储。

2、node1 node2 node3 提供wordpress个人博客服务

3、memcached缓存php应用程序查询mysql的查询结果

4、利用keepalved实现前端nginx反向代理的高可用性



实验步骤：

一、软件安装

编译安装nginx-1.4.7

./configure   --prefix=/usr   --sbin-path=/usr/sbin/nginx   --conf-path=/etc/nginx/nginx.conf   --error-log-path=/var/log/nginx/error.log   --http-log-path=/var/log/nginx/access.log   --pid-path=/var/run/nginx/nginx.pid    --lock-path=/var/lock/nginx.lock   --user=nginx   --group=nginx   --with-http_ssl_module   --with-http_flv_module   --with-http_stub_status_module   --with-http_gzip_static_module   --http-client-body-temp-path=/var/tmp/nginx/client/   --http-proxy-temp-path=/var/tmp/nginx/proxy/   --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/   --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi   --http-scgi-temp-path=/var/tmp/nginx/scgi   --with-pcre   --with-file-aio 
make && make install

为nginx提供启动脚本，并添加运行nginx时用户nginx

#!/bin/sh
#
# nginx - this script starts and stops the nginx daemon
#
# chkconfig:   - 85 15 
# description:  Nginx is an HTTP(S) server, HTTP(S) reverse #               proxy and IMAP/POP3 proxy server
# processname: nginx
# config:      /etc/nginx/nginx.conf
# config:      /etc/sysconfig/nginx
# pidfile:     /var/run/nginx.pid
 
# Source function library.
. /etc/rc.d/init.d/functions
 
# Source networking configuration.
. /etc/sysconfig/network
 
# Check that networking is up.
[ "$NETWORKING" = "no" ] && exit 0
 
nginx="/usr/sbin/nginx"
prog=$(basename $nginx)
 
NGINX_CONF_FILE="/etc/nginx/nginx.conf"
 
[ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx
 
lockfile=/var/lock/subsys/nginx
 
make_dirs() {
   # make required directories
   user=`nginx -V 2>&1 | grep "configure arguments:" | sed ‘s/[^*]*--user=\([^ ]*\).*/\1/g‘ -`
   options=`$nginx -V 2>&1 | grep ‘configure arguments:‘`
   for opt in $options; do
       if [ `echo $opt | grep ‘.*-temp-path‘` ]; then
           value=`echo $opt | cut -d "=" -f 2`
           if [ ! -d "$value" ]; then
               # echo "creating" $value
               mkdir -p $value && chown -R $user $value
           fi
       fi
   done
}
start() {
    [ -x $nginx ] || exit 5
    [ -f $NGINX_CONF_FILE ] || exit 6
    make_dirs
    echo -n $"Starting $prog: "
    daemon $nginx -c $NGINX_CONF_FILE
    retval=$?
    echo
    [ $retval -eq 0 ] && touch $lockfile
    return $retval
}
 
stop() {
    echo -n $"Stopping $prog: "
    killproc $prog -QUIT
    retval=$?
    echo
    [ $retval -eq 0 ] && rm -f $lockfile
    return $retval
}
 
restart() {
    configtest || return $?
    stop
    sleep 1
    start
}
 
reload() {
    configtest || return $?
    echo -n $"Reloading $prog: "
    killproc $nginx -HUP
    RETVAL=$?
    echo
}
 
force_reload() {
    restart
}
 
configtest() {
  $nginx -t -c $NGINX_CONF_FILE
}
 
rh_status() {
    status $prog
}
 
rh_status_q() {
    rh_status >/dev/null 2>&1
}
 
case "$1" in
    start)
        rh_status_q && exit 0
        $1
        ;;
    stop)
        rh_status_q || exit 0
        $1
        ;;
    restart|configtest)
        $1
        ;;
    reload)
        rh_status_q || exit 7
        $1
        ;;
    force-reload)
        force_reload
        ;;
    status)
        rh_status
        ;;
    condrestart|try-restart)
        rh_status_q || exit 0
            ;;
    *)
        echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"
        exit 2
esac

yum方式安装keepalived.x86_64 0:1.2.7-3.el6

yum方式安装memcached.x86_64 0:1.4.4-3.el6

yum方式安装scsi-target-utils.x86_64

yum方式安装gfs2-utils

yum方式安装lvm2-cluster.x86_64

yum方式安装cman-2.0.115-96.el5.x86_64.rpm

通用二进制安装mysql5.5

1、创建mysql用户mysql组,安装目录/usr/local/mysql

2、创建数据目录/mydata/data 并设置数据目录的属主、属组为mysql

3、mysql目录的属组设置为root 属组设置为mysql

4、cp support-files/mysql.server /etc/init.d/mysqld 复制启动脚本

5、cp support-files/my-large.cnf /etc/my.cnf 复制配置文件

6、修改配置文件

datadir=/mydata/data

innodb_file_per_table = ON

log-bin=mysql-binlog  二进制日志存放目录，这里直接存放在数据目录中，生产环境建议分离存放

7、初始化数据库

./scripts/mysql_install_db --user=mysql --datadir=/mydata/data

8、service mysqld start 启动数据库

9、输出库文件及头文件及man page文件

库文件输出vi /etc/ld.so.conf.d/mysql  添加/usr/local/mysql/lib

头文件输出ln -s /usr/local/mysql/include/ /usr/include/mysql

man page文件输出  MANPATH /usr/local/mysql/man

编译安装php-5.4.19.tar.bz2

1、编译安装PHP

./configure --prefix=/usr/local/php --with-mysql=mysqlnd --with-openssl --with-mysqli=mysqlnd --enable-mbstring --with-freetype-dir --with-gpg-dir --with-png-dir  --with-zlib --with-libxml-dir=/usr  --enable-sockets --enable-fpm --with-mycrypt  --with-config-file-path=/etc --with-config-file-scan-dir=/etc/php.d  --with-bz2 --enable-maintainer-zts

make && make install

备注--enable-fpm使php工作在php-fpm模式下

2、配置PHP

2.1为其提供服务脚本,源码包里cp /sapi/fpm/init.d.php-fpm到相应目录

2.2cp /usr/local/php/etc/php-fpm.conf.default  /usr/local/php/etc/php-fpm.conf

为php-fpm提供配置文件并修改监听地址及启动开启的进程数、最小空闲进程、最大空闲进程

2.3复制源码包下的php.ini-production到/etc/php.ini即可成为php配置文件

3、编译安装xcache

3.1xcache源代码目录下执行/usr/local/php/bin/phpize

3.2 ./configure  --enable-xcache --with-php-config=/usr/local/php/bin/php-config

3.3 make && make install

二、实现功能

1、利用iscsi协议、集群文件系统gfs2、clvm集群逻辑卷、cman集群传输层协议为web服务器提供共享存储。


node9  提供ISCSI共享存储

编辑/etc/tgt/targets.conf 添加如下

<target iqn.2014-07.org.kernel:rack11.target1>   ---- iqn名字
   backing-store /dev/sdb>    ---- 共享设备名
        vendor_id back1
        lun 3                  ---- lun id
   </backing-store>
    incominguser store redhat     ---访问iscsi服务器的用户账户级密码
</target>

service tgtd start 启动iscsi服务

node1

编辑/etc/iscsi/initiatorname.iscsi 设置用来标示本机的iqn

InitiatorName=iqn.2014-07.org.kernel:client51

编辑/etc/iscsi/iscsid.conf 启用chap认证相关选项并设置用户名密码

node.session.auth.authmethod = CHAP

node.session.auth.username = store

node.session.auth.password = redhat

service iscsi restart 重启iscsi服务

iscsiadm -m discovery -t st -p 10.32.9.59:3260  发现服务端通过iscsi协议共享的设备

iscsiadm -m node -T iqn.2014-07.org.kernel:rack11.target1 -l登陆该设备即可看到新增的磁盘

因为基于ipsan使用共享存储，共享存储要解决同时读写的问题，就需要使用集群文件系统gfs2来实现分布式锁管理DLM,而gfs2的分布式锁管理器依赖于gfs_control dlm_control,在RHEL5中安装cman既可以自行管理，通过集群底层message layer 既cman来同步各个节点的DLM。CLVM是基于GFS2之上的集群逻辑卷

node1 node2需要能够互相解析对方主机名，因此可以编辑hosts文件后，同步双方hosts文件

ccs_tool create mycluster  创建集群，集群名字为mycluster

ccs_tool addfence metaware fence_manual  添加一个fence设备为肉键

ccs_tool addnode -n 1 -v 1 -f metaware node1.kernel.org 添加集群节点，-n为id，-v为该节点用于的票数，-f指定fence设备  node1.kernel.org为节点主机名

ccs_tool addnode -n 2 -v 1 -f metaware node2.kernel.org

而后同步 /etc/cluster/cluster.conf 至node2相同位置，双方均启动cman服务即完成了集群底层的配置，只是这个集群没有资源，而我们要用到的仅是集群的底层传输功能，启动服务后可以使用ccs_tool lsnode命令行查看集群节点

启用集群逻辑卷功能，并启动clvm服务

lvmconf --enable-cluster

service clvmd start

而后既可以创建逻辑卷

pvcreate /dev/sdb

vgcreate vg10 /dev/sdb

lvcreate -L 50G -n webstore vg10

使用集群文件系统进行格式化并挂载后既可以使用

mkfs.gfs2 -j 2 -p lock_dlm -t mycluster:node1 /dev/mapper/vg10-webstore

-j 指定日志数，这里每个集群节点需要占一个日志

-p 指定协议，这里要使用分布式锁协议

-t 指定锁名字，格式为 集群名:节点锁名

node2

编辑/etc/iscsi/initiatorname.iscsi 设置用来标示本机的iqn

InitiatorName=iqn.2014-07.org.kernel:client52

编辑/etc/iscsi/iscsid.conf 启用chap认证相关选项并设置用户名密码

node.session.auth.authmethod = CHAP

node.session.auth.username = store

node.session.auth.password = redhat

service iscsi restart  重启iscsi服务

iscsiadm -m discovery -t st -p 10.32.9.59:3260  发现服务端通过iscsi协议共享的设备

iscsiadm -m node -T iqn.2014-07.org.kernel:rack11.target1 -l登陆该设备即可看到新增的磁盘

启用集群逻辑卷功能

lvmconf --enable-cluster

service clvmd start

而后既可以看到由node1创建的集群逻辑卷，可以直接挂载使用

2、node1 node2 node3 提供wordpress个人博客服务


编辑nginx.conf，定义如下配置

http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;    sendfile功能的开启
    keepalive_timeout  65;   持久连接超时时长
    gzip  on;   开启gzip压缩功能
    server {    定义一个虚拟主机
        listen       80;     监听在80端口
        server_name  node1.kernel.org;   主机名
        charset utf8;   字符集
        location / {     定义一个目录
            root   /opt;   指定该location的根目录
            index  index.html index.htm index.php;   默认页面文件(index.php一定要加)
        }
        location ~ \.php$ {    匹配.php结尾的URI转发至127.0.0.1:9000
            root           /opt;
            fastcgi_pass   127.0.0.1:9000;
            fastcgi_index  index.php;
            fastcgi_param  SCRIPT_FILENAME  /scripts$fastcgi_script_name;
            include        fastcgi_params;
        }
    }
}

编辑/etc/nginx/fastcgi_params，将其内容更改为如下内容：

fastcgi_param  GATEWAY_INTERFACE  CGI/1.1;
fastcgi_param  SERVER_SOFTWARE    nginx;
fastcgi_param  QUERY_STRING       $query_string;
fastcgi_param  REQUEST_METHOD     $request_method;
fastcgi_param  CONTENT_TYPE       $content_type;
fastcgi_param  CONTENT_LENGTH     $content_length;
fastcgi_param  SCRIPT_FILENAME    $document_root$fastcgi_script_name;
fastcgi_param  SCRIPT_NAME        $fastcgi_script_name;
fastcgi_param  REQUEST_URI        $request_uri;
fastcgi_param  DOCUMENT_URI       $document_uri;
fastcgi_param  DOCUMENT_ROOT      $document_root;
fastcgi_param  SERVER_PROTOCOL    $server_protocol;
fastcgi_param  REMOTE_ADDR        $remote_addr;
fastcgi_param  REMOTE_PORT        $remote_port;
fastcgi_param  SERVER_ADDR        $server_addr;
fastcgi_param  SERVER_PORT        $server_port;
fastcgi_param  SERVER_NAME        $server_name;

（$都是nginx的变量  而SERVER_NAME都是php-fpm的变量，nginx把相关的变量直接传递给php）

node3上创建一个支持远程连接的mysql账号

mysql> grant all on *.* to [email protected]"10.32.9.%" identified by "redhat";

mysql> flush privileges;

接下来安装wordpress，按照网站提示步骤输入即可建立wordpress个人博客站点

（复制wp-config-sample.php wp-config.php作为配置文件并输入相关信息如数据库）

（后期实验需要这里同步node1 node2 nginx的配置文件）

3、memcached缓存php应用程序查询mysql的查询结果


为php安装memcached扩展

php与在访问时主动查询缓存，如果缓存没有则查询数据库，然后缓存到缓存，这种机制是通过php的模块memcache来实现的，这里编译安装php的这个子模块

# tar xf memcache-2.2.5.tgz    （php官方查找）

# cd memcache-2.2.5

/usr/local/php/bin/phpize

# ./configure --with-php-config=/usr/local/php/bin/php-config --enable-memcache

# make && make install

上述安装完后会有类似以下的提示：

Installing shared extensions:     /usr/local/php/lib/php/extensions/no-debug-non-zts-20090626/

②编辑php.ini在“动态模块Directory in which the loadable extensions (modules) reside.”相关的位置添加如下一行来载入memcache扩展：

extension=/usr/local/php/lib/php/extensions/no-debug-non-zts-20090626/memcache.so

提供测试php脚本

<?php
$mem = new Memcache;
$mem->connect("10.32.9.58", 11211)  or die("Could not connect");   --------- 该测试就是连接的memcache缓存服务器,如果连接成功则返回memcached版本以及存储及查询键等
$version = $mem->getVersion();
echo "Server‘s version: ".$version."<br/>\n";
$mem->set(‘hellokey‘, ‘Hello World‘, 0, 600) or die("Failed to save data at the memcached server");
echo "Store data in the cache (data will expire in 600 seconds)<br/>\n";
$get_result = $mem->get(‘hellokey‘);
echo "$get_result is from memcached server.";         
?>

可以在任意节点安装memadmin监控memcache各项参数，如

4、利用keepalved实现前端nginx反向代理的高可用性


为node6提供keepalived的配置文件

vrrp_script chk_nginx {     -----定义vrrp trace的脚本，keepalived丰富特性1就在于此，注意该脚本需要在配置文件之前，只有先定义了后面才能调用
    script "/sbin/pidof nginx" ---script 后可以是脚本也可以是命令，这里检测nginx pid文件是否存在
    interval 2   ---- 检测间隔为2s
    weight -20   ----如果script返回的1的命令状态，那么优先级-20
    fall 2  ---- 检测2次都返回1的错误命令状态才算失败
    rise 1  ---- 检测1次返回0的正确命令状态则就算成功
}
vrrp_instance VI_1 {   ----定义vrrp实例
    state MASTER       ----初始状态为”主“
    interface eth1     ----通过eth1端口发送vrrp协议报文
    virtual_router_id 51 ---这里为vrrp组ID
    priority 100  ----优先级为100，
    advert_int 1  ----每秒发送1次vrrp通告
    authentication {
        auth_type root   -- 认证账户
        auth_pass redhat  --- 认证密码
    }
    virtual_ipaddress {
        100.100.100.1/30 label eth1:1    --- 虚拟VIP的地址掩码及别名
    }
    track_script {      --- 追踪的脚本，这里调用上面定义的vrrp_scrpit
        chk_nginx
    }
    notify_backup "/etc/keepalived/restart.sh"  ---- 切换为从节点状态所执行的脚本，这里是keepalived的丰富特性2定义，可以在脚本里做邮件通知，服务重启，等等等任何想做的事。这里restart.sh由于为nginx提供高可用，因此定义当主节点成为备用节点时重新启动nginx服务，与vrrp_scrpit检测nginx服务状态相互对应
}
注意keepalived默认是工作在抢占模式，如果需要不抢占则在实例中定义nopreempt

为node7提供keepalived的配置文件

vrrp_instance VI_1 {
    state SLAVE   ----初始状态为从节点
    interface eth1
    virtual_router_id 51
    priority 90  ----优先级别小于主节点
    advert_int 1
    authentication {
        auth_type root
        auth_pass redhat
    }
    virtual_ipaddress {
        100.100.100.1/30 label eth1:1
    }
    notify_master "/etc/keepalived/check.sh" 
}

备用节点由于只是备用，且为nginx提供高可用，因此需要在切换到主节点时，确保nginx服务处于运行状态,check.sh简单脚本既实现检测服务状态，如果没有启动nginx服务则启动之。

验证主节点 node6

验证从节点node7(停止nginx服务；且尚未成为主节点既没有vip；主节点关闭接口时ifconfig发现vip已经过来既成为了主节点，此时触发了脚本检测nginx服务未运行则重新启动该服务)

未完待续..........

时间： 2024-10-14 00:55:41

实现LNMMP的相关文章

LNMMP平台搭建

拓扑 1) Nginx及的编译及安装 参考Nginx基本使用一文,同时在编译时一定要加入 2) 编译安装MariaDB #添加用户 useradd -r mysql #安装并提供配置文件和启动脚本 tar xvf mariadb-10.0.10-linux-x86_64.tar.gz -C /usr/local/ cd /usr/local/ ln -s mariadb-10.0.10-linux-x86_64/ mysql mkdir /etc/mysql scp support-files/

Web服务之LNMMP架构及动静分离实现

一.LNMMP LNMMP环境是Linux + Nginx + Memcached + MySQL + PhP,即LNMP + memcached. Memcached 是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载.它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提供动态.数据库驱动网站的速度.Memcached基于一个存储键/值对的hashmap.其守护进程(daemon )是用C写的,但是客户端可以用任何语言来编写,并通过memcached协议与守护进程通

LNMMP架构实现Web动静分离

前言 前面的文章中说过LAMP架构包括:Linux操作系统,Apache网站服务器,MySQL数据库,Perl.PHP或者Python编程语言,而今天要说的LNMMP 和LAMP类似,只是作为Web服务器的不再是Apache而是高性能的Nginx,同时引进Memcached加速缓存效率,用于加快访问速度. Memcached是一款开源.高性能.分布式内存对象缓存系统,可应用各种需要缓存的场景,其主要目的是通过降低对数据库的访问来加速Web应用程序.它是一个基于内存的"键值对"存储,用于

Lnmmp

简介 LNMMP=Linux+Nginx+MySQL+Memcache+PHP: 利用Nginx的高性能特点做前端反向代理服务器,分发用户请求,并在能够利用缓存的地方使用Memcache缓存服务,以加速缓存效率,具体架构图如下: 具体部署 代理层:Nginx 编译安装Nginx yum install gcc openssl-devel pcre-devel zlib-devel groupadd -r nginx useradd -r -g nginx -M nginx ./configure

高性能Web服务之lnmmp架构应用

Memcached是一款开源.高性能.分布式内存对象缓存系统,可应用各种需要缓存的场景,其主要目的是通过降低对Database的访问来加速web应用程序.它是一个基于内存的"键值对"存储,用于存储数据库调用.API调用或页面引用结果的直接数据,如字符串.对象等. memcached是以LiveJournal旗下Danga Interactive 公司的Brad Fitzpatric 为首开发的一款软件.现在已成为mixi.hatena.Facebook.Vox.LiveJournal等

Nginx结合memcached实现LNMMP平台搭建

Nginx ("engine x") 是一个高性能的 HTTP 和 反向代理 服务器,也是一个 IMAP/POP3/SMTP 代理服务器.由俄罗斯的程序设计师Igor Sysoev所开发,其特点是占有内存少,并发能力强,它的主要功用中还有一项是作为缓存服务器,在某些场景下,如后端的服务器是数据库服务器时,Nginx与其他就需要配合其他专门用于缓存数据库中数据的软件结合起来可以更好的完成缓存数据的功能,比如memcached,此时的Nginx作为代理服务器使用. 实验:完成LNNMP平台

实现高可用LNMMP

实验平台:RHEL5.8 RHEL6.4 实验环境:node1 ---- node9 分别对应  10.32.9.51 ---- 10.32.9.59 实验步骤: 一.软件安装 node6  node7 使用rpm安装keepalived.x86_64 0:1.2.7 node6  node7 编译安装nginx-1.4.7 ./configure   --prefix=/usr   --sbin-path=/usr/sbin/nginx   --conf-path=/etc/nginx/ngi

Centos7下LNMMP环境搭建

实验环境: Centos7_64 实验目的:在Centos7下实现源码安装nginx+mariadb+memcache+php均为最新版本 --2015.10.10 一.解决依赖关系yum install -y openssl-devel pcre-devel cmake 二.安装nginx groupadd -r nginx useradd -r -g nginx nginx tar -zxvf nginx-1.9.5.tar.gz cd nginx-1.9.5 ./configure --p

Varnish详解与实战

一.简介: Varnish 是一款高性能且开源的反向代理服务器和 HTTP 加速器,其采用全新的软件体系机构,和现在的硬件体系紧密配合,与传统的 squid 相比,varnish 具有稳定,且效率更高,资源占用更少等优点. Varnish的官网为https://www.varnish-cache.org,rpm,rpm包的下载位置为:http://repo.varnish-cache.org. 二.varnish结构特点: 1.varnish结构 三大部分,客户端,varnish处理,varni