redis理论知识

Redis理论

Redis 和memcached 基本类似,只是redis可以把数据同步到磁盘

Redis是一个开源,内存存储的数据结构服务器,可用作数据库,高速缓存和消息队列代理。

云数据库RDS 是一个稳定可靠。可弹性伸缩的在线数据服务库服务。基于飞天分布式系统和全SSD盘高性能存储,支持Mysql sql server PPAS(兼容ORICAL)

redis 是一个高性能的 key-value 数据库。 redis 的出现,很大程度补偿了memcached 这类 key:value 存储的不足,在部分场合可以对关系数据库起到很好的补充作用。它提供了 java,C,C++,perl,JavaScript,Python,Ruby,Erlang,PHP 等客户端,使用很方便。

Redis与memcached一样所有数据都是保存在内存中,不同的是redis不定期的通过异步方式保存到磁盘上 (这称为“半持久化模式”);也可以把每一次数据变化都写入到一个 append only file(aof)里面(这称为“全持久化模式”)。

Redis支持主从同步,数据可以从master向任意数量的slave上同步,slave可以是关联其他slave的master。

Redis的优点

1.redis不仅仅支持简单的key-values类型的数据,也支持list set zset hash等数据类型的存储

2.Redis支持数据的备份,master-slave模式的数据备份

3.Redis 支持数据的持久化,可以将内存中的数据保存在磁盘中,重启的时候可以再次加载使用

Redis只会缓存所有的key信息,如果redis发现内存的使用超过了一定的阀值,将触发swap的操作,根据计算得出哪些key对应的values需要swap到磁盘,同时在内存中清除。这种特性可以使得redis保持超过其机器本身内存大小的数据。当然,机器本身的内存必须要能够保持所有的key,这些数据是不会进行swap操作的。同时,由于将内存中的数据swap到了磁盘中的时候,提供服务的主线程和进行swap操作的子线程会共享这部分内存,所以,如果需要更新,则会阻塞这个操作,直到swap完成操作后才会进行修改。

当从redis中读取数据的时候,若是需要从swap中加载相应的数据,再返回给请求方,这里就存在一个IO线程池的问题。在默认情况下,redis会出现阻塞,即完成swap加载后,才会响应。所以,设置适当的IO线程池的大小,从swap中加载数据的读取请求做并发处理,减小阻塞的时间。

Redis Sentinel 提供高可用

Redis Cluster 提供自动分区

Gearman

利用gearman实现redis缓存mysql

Gearman 是一个支持分布式的任务分发框架:

Gearman Job Server:Gearman 核心程序,需要编译安装并以守护进程形式运行在后台。后台守护进程,维护一个队列。

Gearman Client:可以理解为任务的请求者。

Gearman Worker:任务的真正执行者,一般需要自己编写具体逻辑并通过守护进程方式运行,Gearman Worker 接收到 Gearman Client 传递的任务内容后,会按顺序处理。

大致流程:下面要编写的 mysql 触发器,就相当于 Gearman 的客户端。修改表,插入表就相当于直接下发任务。然后通过 lib_mysqludf_json UDF(user defined functions) 库函数将关系数据映射为 JSON 格式,然后在通过 gearman-mysql-udf 插件将任务加入到 Gearman 的任务队列中,最后通过redis_worker.php(worker.php将mysql数据异步复制到redis),也就是 Gearman 的 worker 端来完成 redis 数据库的更新。

Mysql 要实现与外部程序互通的最好方式通过mysql UDF(user defined functions)来实现。为了让mysql能将数据传入到gearman中,这里使用了lib_mysqludf_json UDF库函数将关系数据映射为 JSON 格式(gearman只接受字符串作为入口参数),然后在通过 gearman-mysql-udf 插件将任务加入到 Gearman 的任务队列中。

时间: 2024-07-30 10:19:46

redis理论知识的相关文章

数据库入门理论知识介绍

数据库入门理论知识介绍 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 前言: 1.目前90%以上的公司面临的运维的瓶颈都在后端 最常见的2大瓶颈就是: 1>.数据库(极难扩展): 2>.存储: 所以说做互联网的运维工程师要是把以上两点问题解决就可以轻松的搞定整个架构 2.什么是数据库: 查百度上有长篇大论了一下数据库特点,我们可以简单的理解: 数据库就是一个存放数据的仓库,这个仓库按照一定的数据结构(数据结构是指数据的组织形式或数据之间的联系)来组织,存储的,我们可以通过数

SpringCloud 入门理论知识

SpringCloud 入门问题 微服务概念 微服务之间如何通信 SpringCloud与Dubbo的区别 SpringBoot与SpringCloud的关系 服务熔断和服务降级概念 微服务的优缺点 微服务技术栈 eureka和zookeeper的区别 微服务概述 微服务起源:微服务 微服务将单一应用程序划分为一组小服务,每个服务独立在及自己的进程中,通过Restful方式互相沟通.调用.每个服务提供单个业务功能,去耦合. 微服务与微服务架构 微服务:指系统中的一个服务应用. 微服务架构:架构风

redis常用知识(二)

Redis相关知识总结(二) Php操作redis常用的方法 1.  String类型 (1)     Get(key)  获取设置的值 (2)     Set(key,value)  设置相应的key值 (3)     getSet(key,value)        修改key值 (4)     append(key,value2)    在指定的key-value后追加新的value (5)     getRange(key, start, end) 根据指定的key,对value进行字符

TestNG学习-001-基础理论知识

此 文主要讲述用 TestNG 的基础理论知识,TestNG 的特定,编写测试过程三步骤,与 JUnit4+ 的差异,以此使亲对 TestNG 测试框架能够有一个简单的认知. 希望能对初学 TestNG 测试框架的亲们有所帮助.若有不足之处,敬请大神指正,不胜感激! TestNG是什么?TestNG是一个灵感来自于 JUnit 和 NUnit 的一个设计用来简化广泛的测试需求的开源自动化测试框架,其引入了一些新的功能,使其功能更强大,而且易于使用,但是 TestNG 不是 JUnit 的扩展.它

堆和栈的理论知识

一.预备知识-程序的内存分配       1. 一个由c/C++编译的程序占用的内存分为以下几个部分 1.栈区(stack)-由编译器自动分配释放,存放函数的参数值,局部变量的值等.其操作方式类似于数据结构中的栈.2.堆区(heap)-一般由程序员分配释放,若程序员不释放,程序结束时可能由OS回收.注意它与数据结构中的堆是两回事,分配方式倒是类似于链表,呵呵.3.全局区(静态区)(static)-全局变量和静态变量的存储是放在一块的,初始化的全局变量和静态变量在一块区域,未初始化的全局变量和未初

redis常用知识总结(一)

Redis相关知识总结(一) 一.redis的安装 1.  在windows上安装redis服务器 1)       下载windows版的redis安装包解压到c盘根目录 2)       在解压后的redis包创建redis.conf配置文件,配置如下 pidfile /var/run/redis.pid # 端口 port 6379 # 绑ip # bind 127.0.0.1 # 数据有效期 timeout 300 # 数据库数量 databases 16 ###############

JDBC编程理论知识(1)

1.SUN公司为统一对数据库的操作,定义了一套Java操作数据库的规范,称之为JDBC 2.JDBC全称为:Java Data Base Connectivity(java数据库连接),它主要由接口组成. 组成JDBC的2个包: (1)java.sql.*; (2)javax.sql.*; 3.JDBC在程序中的位置: 4.JDBC的六个固定步骤 1,注册数据库驱动[利用反射] 2,取得数据库连接对象Connection 3,创建SQL对象 4,执行SQL命令,并返回结果集 5,处理结果集 6,

Android初级教程对大量数据的做分页处理理论知识

有时候要加载的数据上千条时,页面加载数据就会很慢(数据加载也属于耗时操作).因此就要考虑分页甚至分批显示.先介绍一些分页的理论知识.对于具体用在哪里,会在后续博客中更新. 分页信息 1,一共多少条数据 select count(*) from blacktb; 性能低下 原因: sql解析器先查询数据字典,把*转成所有的列名和列的类型 然后把每行数据提取出来 最后统计多少行数据 select count(常量) from blacktb; 高性能的查询 不需要每行的记录,只需要行数 2,指定每页

Winsock网络编程笔记(4)----基本的理论知识

前面的笔记记录了Winsock的入门编程,领略了Winsock编程的乐趣..但这并不能算是掌握了Winsock,加深理论知识的理解才会让后续学习更加得心应手..因此,这篇笔记将记录一些有关Winsock的基本理论知识,由于是一篇笔记,鉴于看书速度有限,主要内容会慢慢地填入..错误在所难免的,希望看客更正..(*^__^*) 嘻嘻…… Winsock网络编程笔记(4)----基本的理论知识,布布扣,bubuko.com