大数据学习总结记录—分布式缓存-Memacache(1)

传统LAMP

传统架构LAMP

linux + Apache(nginx) + Mysql + PHP

高可用,高并发,高性能

传统架构过程分析

一个请求到来首先经过nginx反向代理服务器,通过nginx的负载均衡平衡的匹配到应用服务器上,应用服务器通过计算去访问数据库服务获得数据。

传统架构存在的问题

1.首先应用服务器应该是无状态的,我们把可以能够维护用户状态的服务器称之为服务器有状态,如果存在状态,那么出现单点故障之后,会导致其他应用服务器是无法处理请求的。如何让应用服务器变成无状态的,服务器不存储用户状态,构建一个庞大的Session池

(1)Session session   基于redis存储Sessionid优缺点 优点:基于内存,服务器无状态session完全托管给redis 缺点得需要网络通信,redis存储session是无法创建集群的。

(2)Cookie 本地存储jssionid 好处无论服务器那台出现状态都没有问题,信息存在Cookie  弊端1.本地存储用户数据不安全2.如果用户禁止Cookie那么则没有有办法存储

session 池可以用Memacacher 也可以用redis做session管理

2.应用服务器访问数据持久层

数据库服务三两大类

(1)关系型数据库 mysql oracle 等

(2)NoSql mongoDB 基于文档存储 redis 基于key-value存储 基于列 基于图像存储

(3)newSQL 介于关系型数据库 和 NoSql之间

应用服务器访问数据服务提高效率可以用缓存池也可以创建索引库

索引库的特点:牺牲空间换取效率

缓存池的读的特点:

降低穿透率,提高命中率  降低穿透率提高命中率指的是尽量减低应用服务器访问数据服务,尽量去访问缓存池,提高对缓存池的命中,降低对数据访问的穿透,尽量让数据服务保持静默

缓存池的写的特点:

使用缓冲队列进行写操作,把写的操作做成异步的,不需要用户等待信息写入到数据库,只要求用户等写操作到达缓存池即可

队列的特点:first in first out 先进先出

时间: 2024-10-21 16:38:53

大数据学习总结记录—分布式缓存-Memacache(1)的相关文章

大数据学习总结记录—页面静态化技术(Freemarker/velocity)& 网站伪静态(UrlRewriteFilter)

Freemaker  静态化模板技术 模板的作用 模板技术在现代的软件开发中有着重要的地位,而目前最流行的两种模板技术恐怕要算freemarker和velocity了,webwork2.2对两者都有不错的支持,也就是说在webwork2中你可以随意选择使用freemarker或velocity作为view,模板技术作为view的好处是很多,尤其和jsp比较起来优点更大,众所周知jsp需要在第一次被执行的时候编译成servlet,那么这个过程是很慢的,当然很多应用服务器都提供预编译的功能,但是在开

hadoop学习系列(1.大数据典型特性与分布式开发难点)

第一天 1.大数据典型特性与分布式开发难点 1. 大数据典型特性与分布式开发难点 2. Hadoop框架介绍与搜索技术体系介绍 3. Hadoop版本与特性介绍 4. Hadoop核心模块之HDFS分布式文件系统架构介绍 5. Hadoop核心模块之Yarn操作系统架构介绍 6. Linux安全禁用设置与JDK安装讲解 7. Hadoop伪分布式环境部署HDFS部分 8. Hadoop伪分布式环境部署Yarn和MR部分 9. Hadoop环境使用常见的错误集合 10. Hadoop环境常规设置与

探析大数据需求下的分布式数据库

一.前言 大数据技术从诞生到现在,已经经历了十几个年头.市场上早已不断有公司或机构,给广大金融从业者"洗脑"大数据未来的美好前景与趋势.随着用户对大数据理念与技术的不断深入了解,人们已经开始从理论探索转向对场景落地的寻找,让大数据在企业中落地并开花结果. 从大数据的管理和应用方向集中在两个领域.第一,大数据分析相关,针对海量数据的挖掘.复杂的分析计算:第二,在线数据操作,包括传统交易型操作以及海量数据的实时访问.大数据高并发查询操作.用户根据业务场景以及对数据处理结果的期望选择不同的大

史上最全“大数据”学习资源整理

史上最全"大数据"学习资源整理 当前,整个互联网正在从IT时代向DT时代演进,大数据技术也正在助力企业和公众敲开DT世界大门.当今"大数据"一词的重点其实已经不仅在于数据规模的定义,它更代表着信息技术发展进入了一个新的时代,代表着爆炸性的数据信息给传统的计算技术和信息技术带来的技术挑战和困难,代表着大数据处理所需的新的技术和方法,也代表着大数据分析和应用所带来的新发明.新服务和新的发展机遇. 为了帮助大家更好深入了解大数据,云栖社区组织翻译了GitHub Aweso

大数据学习系列之—HBASE

hadoop生态系统 zookeeper负责协调 hbase必须依赖zookeeper flume 日志工具 sqoop 负责 hdfs dbms 数据转换 数据到关系型数据库转换 大数据学习群119599574 hbase简介 hadoop database 是一个高可靠性.高性能.面向列.可伸缩.实时读写的分布式数据库 利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce 来处理Hbase中的海量数据,利用Zookeeper作为其分布式系统服务 主要用来存储非结

想学习大数据?这才是完整的大数据学习体系

大数据 干货走起,闲话不多说,以下就是小编整理的大数据学习思路 第一阶段:linux系统 本阶段为大数据学习入门基础课程,帮大家进入大数据领取打好Linux基础,以便更好的学习Hadoop.habse.NoSQL.saprk.storm等众多技术要点. 另:目前企业中无疑例外是使用Linux来搭建或部署项目的 第二阶段:大型网站高并发处理 本阶段的学习是为了让大家能够了解大数据的源头,数据从而而来,继而更好的了解大数据.通过学习处理大型网站高并发问题反向的更加深入的学习Linux,同事站在了更高

大数据学习路径

大数据学习路径我vx ①⑤零零③④③⑥⑨③① 备注 A 更多大数据第一阶段linux+搜索+hadoop体系 Linux基础→shell编程→高并发架构→lucene,solr搜索→hadoop体系→HDFS→mapreduce→hbase→zookeeper→hive→flume→sqoop→项目实战一 第二阶段机器学习 R语言→mahout→项目实战二 第三阶段storm流式计算 kafka→storm→redis→项目实战三 第四阶段spark内存计算 scala编程→spark core

大数据学习路线整理

一.大数据技术基础 1.linux操作基础 linux系统简介与安装    linux常用命令–文件操作    linux常用命令–用户管理与权限    linux常用命令–系统管理    linux常用命令–免密登陆配置与网络管理    linux上常用软件安装    linux本地yum源配置及yum软件安装    linux防火墙配置    linux高级文本处理命令cut.sed.awk    linux定时任务crontab 2.shell编程 shell编程–基本语法    shel

2019大数据学习方向【最新分享】

一.大数据运维之Linux基础打好Linux基础,以便更好地学习Hadoop,hbase,NoSQL,Spark,Storm,docker,openstack等.因为企业中的项目基本上都是使用Linux环境下搭建或部署的. 1)Linux系统概述2)系统安装及相关配置?3)Linux网络基础?4)OpenSSH实现网络安全连接?5)vi文本编辑器 6)用户和用户组管理7)磁盘管理?8)Linux文件和目录管理?9)Linux终端常用命令?10)linux系统监测与维护 二.大数据开发核心技术 -