关于WEB集群中文件服务器的讨论

原文地址: http://blog.itpub.net/29806344/viewspace-1364778/

在WEB集群中一般都要上传和删除图片。小规模的时候,图片放在本地,再通过同步方式来保持一致。

常见的文件服务器:samba+web,ftp+web,nfs+web,rsync单向同步,分布式存储

samba+web,ftp+web这2种需要改程序代码,用的不多;rsync单向同步在小环境中用;nfs+web在中型环境用的最多;大型环境,海量文件用的是分布式存储,比如hadoop等。

一:samba+web文件服务器

存储:通过samba账号和密码来存储图片,需要修改程序代码

调取:通过文件服务器web的URL

二:ftp+web文件服务器

存储:通过ftp账号和密码来存储图片,需要修改程序代码

调取:通过文件服务器web的URL

三:rsync+inotify文件服务器

存储:保存到WEB本地,通过rsync同步到文件服务器

调取:通过文件服务器web的URL

缺点:单向同步

四:rsync+sersync+web文件服务器
和rsync+inotify相同,但是比其更快更节约资源

五:nfs+web文件服务器

存储:远程nfs文件夹挂载到本地,nfs同步

调取:1,通过文件服务器web的URL;2,直接在挂载的文件夹下取图片

实际操作如下:

NFS+WEB文件服务器:192.168.47.142

WEB1:192.168.47.143

WEB2:192.168.47.144

在NFS文件服务器上:

yum install nfs-utils -y

yum install httpd  -y

chmod 777 -R /var/www/html/upload

chkconfig nfs on

cat /etc/exports:

/var/www/html/upload   *(rw,sync,root_squash)   192.168.47.142

/var/www/html/upload    192.168.47.0/24(rw,sync,root_squash)

/etc/init.d/rpcbind restart

/etc/init.d/nfs restart

在两台WEB上:

mkdir /var/www/html/upload

chmod 777 -R  /var/www/html/upload

cat /etc/fstab:

......

proc                    /proc                   proc    defaults        0 0 192.168.47.142:/var/www/html/upload  /var/www/html/upload  nfs defaults     0 0

#注意:写入/etc/fstab中,会自动开机挂载的

mount –a

#WEB2的操作和WEB1一样即可;

注意:

当图片多了,可以把upload的功能从中分离出来,可以考虑利用URL进行hash分组,用一组机器来实现upload,另一组机器来实现浏览。进行不同的设置,可以充分利用到NFS的缓存,可以提高性能

时间: 2024-08-08 13:47:17

关于WEB集群中文件服务器的讨论的相关文章

web集群中常用的session同步解决方案及对比

随着网站的功能越来越多,用户量越来越庞大,单节点模式已经严重不能支撑整个系统的正常运作,轻则用户页面访问时间越来越慢,重则就会导致整个系统瘫痪.这时候 就需要优化或调整目前的架构,大部分人就会采用各种负载均衡软件例如nginx.hproxy.LVS等,也有的采用分布式的方式把系统根据功能拆分成很多系统,也有的根据地域 和网络不同来实现访问不同节点部署的系统,也有的大型高流量.高负载的系统把负载均衡.分布式及根据地域.网络等这些方式都整合在一起来实现系统的正常运行. 采用负载均衡软件是目前大家采取

web集群中经常使用的session同步解决方式及对照

随着站点的功能越来越多,用户量越来越庞大,单节点模式已经严重不能支撑整个系统的正常运作,轻则用户页面訪问时间越来越慢.重则就会导致整个系统瘫痪.这时候 就须要优化或调整眼下的架构,大部分人就会採用各种负载均衡软件比如nginx.hproxy.LVS等,也有的採用分布式的方式把系统依据功能拆分成非常多系统,也有的依据地域 和网络不同来实现訪问不同节点部署的系统.也有的大型高流量.高负载的系统把负载均衡.分布式及依据地域.网络等这些方式都整合在一起来实现系统的正常执行. 採用负载均衡软件是眼下大家採

Web集群实现共享存储的架构演变及MogileFS

本篇博客从Web集群中亟需解决的大容量存储问题引入,分析了几类常用的共享存储架构,重点解析了分布式存储系统的原理及配置实现: =================================================================== 1 共享存储的架构演变 2 分布式存储系统 2.1 基础知识 2.2 分类 2.3 CAP理论 2.4 协议 3 MogileFS 3.1 特性 3.2 架构 3.3 组成 3.4 服务安装及启动 3.5 配置部署 3.6 配置前端代理N

web集群环境中的session同步几种方法

在做了web集群后,你肯定会首先考虑session同步问题,因为通过负载均衡后,同一个IP访问同一个页面会被分配到不同的服务器上,如果 session不同步的话,一个登录用户,一会是登录状态,一会又不是登录状态.所以本文就根据这种情况给出三种不同的方法来解决这个问题: 一,利用数据库同步session 1,用一个低端电脑建个数据库专门存放web服务器的session,或者,把这个专门的数据库建在文件服务器上,用户访问web服务器时,会去这个专门的数据库check一下session的情况,以达到s

如何在集群中获得处理本次请求的web容器的端口号?

系统四台机器,每台机器部署四个Tomcat Web容器.现需要根据端口号随机切换到映射的数据源,若一台机器一个Tomcat则用IP识别,可现在一台机器四个Tomcat,因此还需要获得Web容器的端口号.那么:在Web服务器集群中,一个Spring任务该如何获取Web容器的端口号呢?设置需要的Key,本系统使用Tomcat Web服务器,操作如下.编辑文件${tomact-dir}/bin/catalina.bat,添加以下内容即可: set JAVA_OPTS=-D<key>="&l

跟老男孩学Linux运维:Web集群实战优惠预售中

跟老男孩学Linux运维:Web集群实战即将出版 感谢小伙们这么多年对老男孩的持续关注.支持和理解, 为此,我们特别组织预售活动,以网内最低价回馈小伙伴们, 为大家争取的特殊优惠加签名仅限前500名,优惠价预计7折左右! 还剩不到50个名额,大家抓紧了. 1.老男孩内部预售活动报名说明及缴费地址 http://www.huodongxing.com/event/8325097592500  2.京东商城预售地址: http://item.jd.com/11891124.html

haproxy+keepalived实现高可用负载均衡web集群

haproxy+keepalived实现高可用负载均衡web集群 负载均衡集群的概念 负载均衡是设计分布式系统架构必须要考虑的因素之一,它指的是通过调度分发的方式尽可能将"请求"."访问"的压力负载平均分摊到集群中的各个节点,避免有些节点负载太高导致访问延迟,而有些节点负载很小导致资源浪费.这样,每个节点都可以承担一定的访问请求负载压力,并且可以实现访问请求在各节点之间的动态分配,以实现负载均衡,从而为企业提供更高性能,更加稳定的系统架构解决方案. 高可用集群的概念

如何在tomcat集群中实现Session共享

转自:http://www.toutiao.com/i6388049068718817794/ Apache集群实现Tomcat的Session共享配置其实很简单,在Tomcat自带的文档中有详细的说明( /docs/cluster-howto.html ),只不过是英语的,所以联合 下面根据说下怎么配置吧: 1.既然是集群肯定要多准备几个Tomcat来模拟,比如分别为Tomcat01.Tomcat02.Tomcat03. 如果各Tomcat程序放在不同的机器上,那么就不会有端口的冲突.如果是放

web集群时代

随着业务的不断增加,我们的单台服务器承受不住需求,那么我们就需要对此进行伸缩,有两种维度,一种是纵向的也就是增大该台服务器的硬件,再者就是加新服务器与之前的机器组成集群对外提供服务,我们都知道前者是有瓶颈的,so,集群技术是对web架构极其重要的! 集群的定义,我萌百度下就可以了:集群是一组相互独立的.通过高速网络互联的计算机,它们构成了一个组,并以单一系统的模式加以管理.一个客户与集群相互作用时,集群像是一个独立的服务器 集群的作用:提高可用性和可缩放性 集群的种类:高可用.负载均衡.高性能