百万PV网站大体架构

大体简介

PV(page view)即页面浏览量,或点击量,通常是衡量一个网络网站的主要指标采用四层模式实现,主要分为前端反向代理层、Web层、数据库缓存层和数据库层。前端反向代理层采用主备模式,Web层采用集群模式,数据库缓存层采用主备模式,数据库层采用主从模式。

软件 版本 简介
Keepa 1.3.5-6.el7 Keepalived的作用是检测服务器的状态,如果有一台web服务器宕机,或工作出现故障,Keepalived将检测到,并将有故障的服务器从系统中剔除,同时使用其他服务器代替该服务器的工作,当服务器工作正常后Keepalived自动将服务器加入到服务器群中,这些工作全部自动完成,不需要人工干涉,需要人工做的只是修复故障的服务器。
nginx 1:1.14.0-1.el7_4.ngx Nginx 是一个很强大的高性能Web和反向代理服务器,它具有很多非常优越的特性:在连接高并发的情况下,Nginx是Apache服务器不错的替代品
jdk 8u144-linux-x64 JDK是 Java 语言的软件开发工具包,主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心,它包含了JAVA的运行环境(JVM+Java系统类库)和JAVA工具。
tomcat apache-tomcat-8.5.23 是一款免费开源的jsp服务器。tomcat6.0具有tomcat管理和控制平台、安全域管理和tomcat阀等功能,其本身就包含了一个http服务器,也可以当作单独的web服务器看待。该软件有着性能稳定和监督易用性的特点,是它成为了使用最为广泛的jsp服务器。
MySQLDB 1:5.5.56-2.el7 由于其体积小、速度快、总体拥有成本低,尤其是开放源码这一特点
redis 3.2.10-2.el7 redis是一个key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)和zset(有序集合)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的。在此基础上,redis支持各种不同方式的排序。
主机名称 IP 安装软件
master 192.168.100.188内网 192.168.200.188外网 前端反向代理,redis缓存主机 MySQL数据主
backup 192.168.10015 前端反响代理备机,redis 缓存备机 MySQL从库
tomcat-nodel 192.168.100.9 web 服务tomcat jdk
toncat-node2 192.168.100.10 web 服务tomcat jdk
  • 先实现前端的反向代理并且进行测试

    1. 搭建keepalived nginx

      Nginx反向代理和keepalived
      -------安装带有nginx rpm软件包的源-----------主从都要做-----
      rpm -ivh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm
      ------使用centos 默认仓库完成下面的安装----
      yum install -y keepalived nginx
    2. 修改主配置文件参数
vi /etc/keepalived/keepalived.conf  //从上修改三个参数  BACKUP 从

! Configuration File for keepalived

global_defs {
    route_id NGINX_HA
}

vrrp_script nginx {         #定义脚位置
    script "/opt/shell/nginx.sh"
    interval 2
}

vrrp_instance VI_1 {
    state MASTER  #MASTER 为主 BACKUP 为从
    interface ens33  # 网卡名称
    virtual_router_id 51   # 组号
    priority 100   # 优先级 在从上面要注意
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
}

track_script {
    nginx   #调用前面定义的脚本
}

virtual_ipaddress {  # 虚拟IP
    192.168.100.188
    192.168.200.188
    }
}
mkdir /opt/shell
vi /opt/shell/nginx.sh
#!/bin/bash
k=`ps -ef | grep keepalived | grep -v grep | wc -l` #当keepalived 服务开启的时候会自动检测nginx 若keepalived 开启则开启nginx
if [ $k -gt 0 ];then
    /bin/systemctl start nginx.service
else
/bin/systemctl stop nginx.service
fi

chmod +x /opt/shell/nginx.sh


  1. 配置nginx前端调度功能
vi /etc/nginx/nginx.conf //在include 上面一行新增

 upstream tomcat_pool {
                server 192.168.100.9:8080;  # 定义web 服务主机
                server 192.168.100.10:8080;
                ip_hash;           #hash算法会话稳固功能,否则无法通过vip地址登陆
        }
        server {
                listen 80;
                server_name 192.168.100.188; #虚拟出的IP
                location / {
                        proxy_pass http://tomcat_pool;
                        proxy_set_header X-Real-IP $remote_addr;
                }
    }

nginx -t -c /etc/nginx/nginx.conf  //测试配置文件语法
systemctl start keepalived.service    //nginx启动会等待一会

-----------以上主从都要做--------------------
在keepalived服务开启状态下,关闭nginx做测试,发现每隔2秒nginx又会自动启用
测试主从漂移地址切换。

  • 搭tomcat jdk 在web服务器上搭建
---------两台都要做---------

tar xf apache-tomcat-8.5.23.tar.gz
tar xf jdk-8u144-linux-x64.tar.gz
cp -rv jdk1.8.0_144/ /usr/local/java
vi /etc/profile   # 添加环境变量
export JAVA_HOME=/usr/local/java
export JRE_HOME=/usr/local/java/jre
export PATH=$PATH:/usr/local/java/bin
export CLASSPATH=./:/usr/local/java/lib:/usr/local/java/jre/lib

source /etc/profile #立即生效
java -version #允许检测版可以看到版本信息
java version "1.8.0_144"
cp -r apache-tomcat-8.5.23 /usr/local/tomcat8

ln -s /usr/local/tomcat8/bin/startup.sh /usr/bin/tomcatup #启动脚本添加到被系统识别的命令
ln -s /usr/local/tomcat8/bin/shutdown.sh /usr/bin/tomcatdown 

tomcatup  # 开启服务
netstat -anpt | grep 8080
http://192.168.100.9:8080/  //测试默认测试页是否正常显示
http://192.168.100.10:8080/
cd /use.local/tomcat8/webapps/ROOT/ # 到tomcat 站点目录
mv index.jsp index.jsp.dk
vi index.jsp //修改默认网页内容
<h1>Server 9!!</h1>
http://192.168.100.188/  输入调度器地址,也就是虚拟地址,测试两台节点的调度情况。
cd /usr/local/tomcat8/conf/
vim server.xml //跳到行尾,在Host name下新增 148 150
<Context path="" docBase="SLSaleSystem" reloadable="true" debug="0"></Context>
日志调试信息debug为0表示信息越少,docBase指定访问目录


在主服务器上搭建MySQL主

yum install -y mariadb-server mariadb  #安装MySQL
systemctl start mariadb.service
systemctl enable mariadb.service
netstat -anpt | grep 3306
cd /usr/bin
mysql_secure_installation    //常规安全设置

mysql -uroot -p

----------导入数据库-----------

mysql -u root -p  < slsaledb-2014-4-10.sql
mysql -uroot -p
 show databases;

GRANT all ON slsaledb.* TO ‘root‘@‘%‘ IDENTIFIED BY ‘abc123‘;
flush privileges;   #给与权限


----------------以下在两台tomcat节点做----------------

tar xf SLSaleSystem.tar.gz -C /usr/local/tomcat8/webapps/
cd /usr/local/tomcat8/webapps/SLSaleSystem/WEB-INF/classes  # 导入商场环境页面

vi jdbc.properties //修改数据库IP地址是VRRP的虚拟IP,以及授权的用户名root和密码abc123。

------------网站测试------

http://192.168.100.9:8080/   //默认的用户名admin 密码:123456
http://192.168.100.10:8080/

http://192.168.175.188  //输入虚拟地址测试登录,并且关闭主再测试登录

搭建redis集群

----------在主服务器和从服务器上做-----

使用centos7.4 默认源安装
yum install -y epel-release
yum install redis -y
vi /etc/redis.conf
bind 0.0.0.0   #修改
systemctl start redis.service
netstat -anpt | grep 6379
redis-cli -h 192.168.175.128 -p 6379 //测试连接
192.168.100.9:6379> set name test  //设置name 值是test
192.168.100.10:6379> get name //获取name值
从服务器上多如下一行配置------
266 slaveof 192.168.100.188  6379 //主服务器的IP不是虚拟IP
redis-cli -h 192.168.100.188 -p 6379 //登录从,获取值,成功说明主从同步成功
192.168.100.188:6379> get name
"test"
-------------配置商城项目中连接redis的参数---
vi /usr/local/tomcat8/webapps/SLSaleSystem/WEB-INF/classes/applicationContext-mybatis.xml

38         <!--redis 配置 开始-->

  47                 <constructor-arg value="192.168.100.188"/> #虚拟IP
  48                 <constructor-arg value="6379"/>

------------以下测试缓存效果-----
redis-cli -h 192.168.100.188 -p 6379

192.168.100.188:6379> info

keyspace_hits:1  或者 keyspace_misses:2//关注这个值,命中数和未命中数

登录商城,然后反复点击需要数据库参与的操作页面,再回来检查keyspace_hits或者keyspace_misses: 值变化。

---------以下配置redis集群主从切换---只在主服务器是操作--------

redis-cli -h  192.168.175.128 info Replication //获取当前服务器的角色

vi /etc/redis-sentinel.conf

17 protected-mode no
68 sentinel monitor mymaster 192.168.175.128 6379 1 //1表示1台从 注意:修改
98 sentinel down-after-milliseconds mymaster 3000 //故障切换时间单位是毫秒

service redis-sentinel start //启动集群
netstat -anpt | grep 26379

redis-cli -h 192.168.175.128 -p 26379 info Sentinel //查看集群信息

-----------验证主从切换----
在主上

 service redis stop

redis-cli -h 192.168.100.1 -p 26379 info Sentinel //发现主变成了1

------验证数据同步情况---
redis-cli -h 192.168.175.130 -p 6379 

192.168.175.130:6379> set name2 test2
OK
192.168.175.130:6379> get name2
"test2"

service redis start //把主启动

redis-cli -h 192.168.175.128 -p 6379
192.168.175.128:6379> get name2
"test2"

MySQL主从配置


--------mysql主服务器配置-------
vi /etc/my.cnf //[mysqld]下

binlog-ignore-db=mysql,information_schema
character_set_server=utf8
log_bin=mysql_bin
server_id=1
log_slave_updates=true
sync_binlog=1

systemctl restart mariadb

netstat -anpt | grep 3306

mysql -u root
show master status; //记录日志文件名称和 位置值

grant replication slave on *.* to ‘rep‘@‘192.168.175.%‘ identified by ‘123456‘;
flush privileges;

----------mysql从服务器配置-------
vi /etc/my.cnf //[mysqld]下

server_id=2

systemctl restart mariadb

netstat -anpt | grep 3306

mysql -u root

change master to master_host=‘192.168.175.128‘,master_user=‘rep‘,master_password=‘123456‘,master_log_file=‘mysql_bin.000001‘,master_log_pos=245;

start slave;

show slave status\G;  #检测是否同步

    Slave_IO_Running: Yes
    Slave_SQL_Running: Yes

-----------以下可以测试主上操作,从同步情况-------



原文地址:http://blog.51cto.com/13660858/2152857

时间: 2024-11-05 12:07:10

百万PV网站大体架构的相关文章

在CentOS7上部署百万PV网站架构

网站架构概述 网站架构是根据客户需求分析的结果,准确定位网站目标群体,设定网站的整体架构,规划.设计网站栏目及其内容,制定网站开发流程的顺序,最大限度地进行高效资源分配与管理的设计. 百万PV网站架构 案例设计 采用四层模式实现,主要分为前端反向代理层.Web层.数据库缓存层和数据库层.前端反向代理层层采用主备模式,Web层采用群集模式,数据库缓存层采用主备模式,数据库层采用主从模式. 为了更接近生产环境,采用两台实体机部署此次环境,将前端反向代理层.数据库缓存层.数据库层部署在实体机上,只将W

【超详细】在centos7上部署百万PV网站架构

PV(Page View,页面浏览量)即点击量,通常意义上说PV的多少是衡量一个网络新闻频道或网站甚至一条网络新闻的主要指标.pv的解释是这样的:一个访问者在24小时(0点-23点)内到底看了网站的几个页面.需要注意的是:同一个人浏览网站的同一个页面,不重复计算pv量,点击100次页只算1次. 案例概述:本案例设计采用四层模型实现,主要分为前端反向代理层,web层,数据库缓存层和数据库层.前端反向代理词采用主备模式,web层采用群集模式,数据库缓存层采用主备模式,数据层采用主从模式这里我为了节省

搭建百万PV网站架构

百万PV网站构架 1.实验概述 实验例设计采用四层模式实现,主要为前端反向代理层.Web层.数据库缓存层和数据库层.前端反向代理采用主备模式,Web层采用群集模式,数据库缓存层采用主备模式,数据库层采用主从模式. 2.百万PV网站建构实验拓补图 3.实验环境 主机名 IP地址 系统 用途 master 192.168.190.130 CentOS 7 前端反向代理主机.redis缓存主机.MySQL数据库 backup 192.168.190.128 CentOS 7 前端反向代理主机.redi

用心剖析,详解如何搭建百万PV网站架构,简单易懂!!!

简介: 本项目案例结合SVN.LNMP和MySQL三种环境,部署一个社交网站,本社交网站采用PHP语言开发,搭建SVN服务器进行版本控制和集中管理PHP程序员开发的代码,以Nginx作为前端服务器,通过fastcgi协议访问后端的PHP服务器,调用PHP页面:为保证数据安全,搭建MySQL主从复制环境存储用户重要数据:另外搭建MFS分布式文件系统来存储用户照片. 1.SVN服务器:简单一点SVN就是用于多个人共同开发同一个项目,共用资源的目的 2.MFS分布式文件系统,比NFS分布式文件系统更加

手把手带你搭建百万PV网站架构

简介 PV( page view),即页面浏览量,或点击量;通常是衡量一个网络新闻频道或网站甚至一条网络新闻的主要指标.对PV的解释是,一个访问者在24小时(0点到24点)内到底看了你网站几个页面.这里需要强调:同一个人浏览你网站同一个页面,不重复计算PV量,点100次也算1次.说白了pV就是一个访问者打开了你的几个页面.PV之于网站,就像收视率之于电视,从某种程度上已成为投资者衡量商业网站表现的最重要的尺度.PV的计算:当一个访问者访问的时候,记录他所访问的页面和对应的IP,然后确定这个P今天

超详解百万PV网站架构案例部署(内附安装包)

网站架构概述 网站架构是根据客户需求分析的结果,准确定位网站目标群体,设定网站的整体架构,规划.设计网站栏目及其内容,制定网站开发流程的顺序,最大限度地进行高效资源分配与管理的设计. 网站架构分很多种,一般我们平常所说的是软件方面的架构,例如: 前端使用了什么代理服务器? web服务器用的是什么? 中间又使用了什么缓存服务器? 数据库服务器用的是什么? 代码又是基于什么框架开发的? 这个网站架构每天访问量有多少(通常所说的PV)?并发数为多少? PV(page view 页面浏览量)即点击量,通

大型网站架构——百万PV网站

实验架构: 黑线是正常情况数据的流向 红色是异常情况下数据流向 实验环境: CentOS7-1(master) 192.168.13.128 nginx反向代理(主).redis缓存处理器(主).mysql数据库(主) CentOS7-2(backup) 192.168.13.129 nginx反向代理(备).redis缓存处理器(备).mysql数据库(从) CentOS7-3(tomcat1) 192.168.13.130 tomcat(主) CentOS7-4(tomcat2) 192.1

大型网站架构之百万PV网站架构案例

一.案例概述 本案例采用四层模式实现,主要分为前端反向代理.web层.数据库缓存层和数据库层. 前端反向代理采用主备模式 web层采用群集模式 数据库缓存层采用主备模式 数据库层采用主从模式 由于实验条件限制,本次实验共打开四台虚拟机,此处实验将前端代理层.数据库缓存层.数据库层服务搭建在前两台虚拟服务器上,web层采用群集模式,用于单独放置两台虚拟机.故本次实验实际模型为了模拟实际环境,服务搭建按照如下拓扑搭建. 二.实验环境 主机名 操作系统 IP地址 用途 server1 centosx8

CentOS 7 部署百万pv项目(高可用架构)

PV简介 PV(Page View,页面浏览量)即点击量,通常意义上说PV的多少是衡量一个网络新闻频道或网站甚至一条网络新闻的主要指标.pv的解释是这样的:一个访问者在24小时(0点-23点)内到底看了网站的几个页面.需要注意的是:同一个人浏览网站的同一个页面,不重复计算pv量,点击100次页只算1次. 百万pv网站架构 本次实验设计采用四层模式实现,主要分为前端反向代理层.web层.数据库缓存层和数据库层.前端反向代理层采用主备模式,web层采用集群模式,数据库缓存层采用主备模式,数据库层采用