基于AWS的文件同步服务系统架构

鉴于Web服务上的资源可以通过它们的URL就能识别,采用无状态的客户端 - 服务器架构,开发团队就可以为部门间,为企业,或者直接用于消费者自由地创建应用完成文件共享和同步。

下图描述了利用AWS实现的可扩展性和成本效益的文件共享和同步平台的核心架构。

1.  文件同步服务端点是Elastic Load Balancer, 将呼入请求分发到一组基于AmazonElastic Compute Cloud (Amazon EC2) 实例上的应用服务器。 根据应用需要,Auto Scaling 可以自动调整AmazonEC2 实例的数量。

2.  为了上传一个文件,客户端首先需要请求服务的权限和安全令牌。

3.  在检查用户标识后,应用服务器从AWSSecurity Token Service (STS)得到一个临时凭据,这一凭据允许用户上传文件。

4.  用户将文件上传到 Amazon Simple Storage Service(Amazon S3)中, Amazon S3 可以在任何时候很容易地存储和检索任何数量的数据。

5.   文件的描述数据,版本信息和唯一标识通过应用服务器存储在AmazonDynamoDB 的表中。随着应用所维护的文件数量的增长, Amazon DynamoDB  可以相应增长,能够存取任意数量的数据,服务于任何流量水平。

6.  文件改变通知可以通过Amazon Simple Email Service(Amazon SES)以邮件的方式发给用户,这是一个易用的低成本电子邮件解决方案。

7.  其他客户端共享相同的文件,同时查询服务端点,以检查是否有更新的版本可供选择。该查询比较的本地文件校验和与mazon DynamoDB表中列出的文件校验。如果查询到较新的文件,服务端点就可以从Amazon S3检索出该文件并发送到客户端应用程序。

时间: 2024-08-04 06:41:27

基于AWS的文件同步服务系统架构的相关文章

基于AWS的远程灾备系统架构

灾难恢复是从对IT系统造成负面影响的任何事件中恢复过来的相关技术防范和措施..一个典型的方法是构建重复的基础设施,以确保在灾难发生时备用能力的可用性. AWS可以扩展公司私有基础架构上所需要的基础设施.对于灾难恢复解决方案,这将导致在显著的成本节约.下图显示了一个灾难恢复设置为本地应用程序的一个例子. 1.  公司的数据中心托管着包括数据库服务器的应用以及包含内容管理系统本地存储的应用服务器. 2.  AWS Storage Gateway 是连接内部部署软件设备和云存储的服务.AWS Stor

基于AWS的web日志分析系统架构

AWS提供的服务和基础设施能够在云环境中建设可靠,容错和高可用的Web应用程序.在生产环境中,这些应用产生大量的日志信息.这些数据是任何公司运营web应用程序的重要知识来源,分析日志可以揭示信息,如交通模式,用户行为,市场资料等. 然而,作为Web应用程序的增长和的访问者数量的增加,存储和分析网络日志变得越来越具有挑战性.下图展示了如何使用AWS构建一个可扩展且可靠的大规模日志分析平台.该架构的核心组件是AmazonElastic MapReduce,  这是一个使分析师能够经济方便地进行大数据

事故·由于经验不足冒失关闭NFS文件同步服务

····按照整改文件,冒失的把NFS文件同步服务给删了,造成服务器间文件同步不了的问题.虽然没造成什么严重后果,但是影响不好. ····以后万万不可冒失了,RM一定要慎重,一定要做备份,做整改前一定要和接口人.业务负责人充分协商好.

面向AWS的媒体内容服务应用架构

提供数字内容服务最基本也是最简单任务那就是在低于预算的前提下,实现低延迟,高可用性,耐用性,访问控制,以及数百万的并发浏览.此外,因为"尖峰"模式的,运营团队经常需要提供静态的硬件,网络,和管理资源,以支持预期的最大需要,但是在高峰时段以外则常常造成浪费. AWS提供了一整套服务,专门为媒体服务提供了高性能.每个服务功能,都是在弹性的基础设施上按需付费,这意味着可以根据需求曲线放大和缩小服务规模,同时支付只有资源的使用.因为这个基础设施可编程的,它可以迅速作出反应.AWS API提供了

Rsync文件同步服务

Rsync简介 Rsync是一款开源的.快速的.多功能的.可实现全量及增量的本地或远程数据同步备份的优秀工具,适用于Unix/Linux/Windows等多种操作系统. Rsync的特性 支持拷贝特殊文件如链接.设备文件 支持增量同步,传输效率较高 支持使用rcp,rsh,ssh作为隧道进行传输 支持使用守护进程的方式进行传输 支持匿名或认证的方式进行传输 支持保留文件属性不改变,支持排除指定文件 Rsync数据备份架构 Rsync常用参数 -v 显示过程 -z 压缩方式传输 -a 归档模式,等

BitTorrent Sync 基于BT的文件同步

BitTorrent Sync 神奇的文件同步软件,无需服务器让多台电脑间无限制互相同步! ? BitTorrent Labs 推出的实验性项目,可以在多台电脑间进行点对点自动分享/同步文件,由于没有中间服务器,传输过程加密,安全自己掌握,并且文件大小仅受到硬盘限制.可设置完整权限同步或者让接收方只读,还可以发送 24 小时有效期的密钥,过期作废.一个私人性质的 Dropbox 诞生,只需要持续开启一台电脑.支持 Windows/Mac OS X/Linux.@Appinn BitTorrent

携程日处理20亿数据,实时用户行为服务系统架构实践

携程实时用户行为服务作为基础服务,目前普遍应用在多个场景中,比如猜你喜欢(携程的推荐系统).动态广告.用户画像.浏览历史等等. 以猜你喜欢为例,猜你喜欢为应用内用户提供潜在选项,提高成交效率.旅行是一项综合性的需求,用户往往需要不止一个产品.作为一站式的旅游服务平台,跨业务线的推荐,特别是实时推荐,能实际满足用户的需求,因此在上游提供打通各业务线之间的用户行为数据有很大的必要性. 携程原有的实时用户行为系统存在一些问题,包括:1)数据覆盖不全:2)数据输出没有统一格式,对众多使用方提高了接入成本

Centos6.5下的rsync远程文件同步服务搭建

以下为本人的安装过程 一.服务器端的安装 1.系统环境     服务端:centos6.5出厂环境(系统安装时为默认设置),IP:192.168.10.185     客户端:远程登录终端xshell5或securecrt(具体安装和使用方法,请自行查询),             IP:192.168.10.186 2.安装Rsync     通过终端(此处是xshell)登录系统192.168.10.185     rpm -qa|grep rsync*  //查看当前是否已安装此服务,若有

日处理20亿数据,实时用户行为服务系统架构实践

携程实时用户行为服务作为基础服务,目前普遍应用在多个场景中,比如猜你喜欢(携程的推荐系统).动态广告.用户画像.浏览历史等等. 以猜你喜欢为例,猜你喜欢为应用内用户提供潜在选项,提高成交效率.旅行是一项综合性的需求,用户往往需要不止一个产品.作为一站式的旅游服务平台,跨业务线的推荐,特别是实时推荐,能实际满足用户的需求,因此在上游提供打通各业务线之间的用户行为数据有很大的必要性. 携程原有的实时用户行为系统存在一些问题,包括:1)数据覆盖不全:2)数据输出没有统一格式,对众多使用方提高了接入成本