NoSQL之Redis安装配置与优化（理论+实践）

关系数据库与非关系型数据库

关系型数据库

  • 一个结构化的数据库，创建在关系模型基础，上，-般面向于记录
  • 包括Oracle、MySQL、 SQL Server、Microsoft Access、DB2等

非关系型数据库

  • 除了主流的关系型数据库以外的数据库， 都认为是非关系型的
  • 包括Redis、MongBD、 Hbase、 CouhDB等

非关系型数据库产生背景

  • High performance——对数据库高并发读写需求
  • Huge Storage——对海量数据高效存储与访问需求
  • High Scalability && High Availability——对数据库高可扩展性与高可用性需求

Redis简介

  • Redis基于内存运行并支持持久化
  • 采用key-value (键值对)的存储形式
  • 优点
    • 具有极高的数据读写速度
    • 支持丰富的数据类型
    • 支持数据的持久化
    • 原子性
    • 支持数据备份

Redis配置文件

配置参数（/etc/redis/6379.conf）

  • bind:监听的主机地址
  • port:端口
  • daemonize yes:启用守护进程
  • pidfile:指定PID文件
  • loglevel notice:日志级别
  • logfile:指定日志文件

服务搭建实践

安装服务环境组件，并挂载压缩包，编译安装redis

[[email protected] ~]# yum install gcc gcc-c++ make -y         //安装环境组件
[[email protected] ~]# mount.cifs //192.168.100.3/LNMP-C7 /mnt/     //挂载软件包
Password for [email protected]//192.168.100.8/LNMP-C7:
[[email protected] ~]# cd /mnt/
[[email protected] mnt]# tar zxvf redis-5.0.7.tar.gz -C /opt/      //解压
[[email protected] mnt]# cd /opt/redis-5.0.7/
[[email protected] redis-5.0.7]# make                     //编译
[[email protected] redis-5.0.7]# make PREFIX=/usr/local/redis/ install     //安装

执行配置Redis配置文件脚本，并进行配置

[[email protected] redis-5.0.7]# cd utils/
[[email protected] utils]# ./install_server.sh       //执行脚本进行配置
Welcome to the redis service installer
This script will help you easily set up a running redis server

Please select the redis port for this instance: [6379]       //默认端口号
Selecting default: 6379
Please select the redis config file name [/etc/redis/6379.conf]     //配置文件存放位置
Selected default - /etc/redis/6379.conf
Please select the redis log file name [/var/log/redis_6379.log]       //日志文件存放位置
Selected default - /var/log/redis_6379.log
Please select the data directory for this instance [/var/lib/redis/6379]      //数据文件存放位置
Selected default - /var/lib/redis/6379
Please select the redis executable path [] /usr/local/redis/bin/redis-server     //可执行文件路径
[[email protected] utils]# ln -s /usr/local/redis/bin/* /usr/local/bin/       //制作链接文件便于系统识别
[[email protected] utils]# netstat -ntap | grep 6379                    //查看端口是否开启
tcp        0      0 127.0.0.1:6379          0.0.0.0:*               LISTEN      44510/redis-server
[[email protected] utils]# /etc/init.d/redis_6379 stop              //关闭redis命令
Stopping ...
Redis stopped
[[email protected] utils]# /etc/init.d/redis_6379 start                //开启redis命令
Starting Redis server...
[[email protected] utils]# vim /etc/redis/6379.conf       //修改配置文件
bind 127.0.0.1 192.168.144.128                         //配置监听地址
[[email protected] utils]# /etc/init.d/redis_6379 restart      //重启redis服务
Stopping ...
Redis stopped
Starting Redis server...

Redis数据库常用命令

redis-cli命令行工具

  • 连接本地数据库

    [[email protected] utils]# /usr/local/redis/bin/redis-cli
127.0.0.1:6379>
  • 连接远程数据库 
    [[email protected] utils]# redis-cli -h 192.168.144.128 -p 6379
192.168.144.128:6379>
  • 获取命令帮助 
    192.168.144.128:6379> help set  ##help帮助

SET key value [expiration EX seconds|PX milliseconds] [NX|XX]
summary: Set the string value of a key
since: 1.0.0
group: string
  • set:存放数据 
    192.168.144.128:6379> set teacher zhangsan
OK
192.168.144.128:6379> set tea red
OK
  • get:获取数据 
    192.168.144.128:6379> get tea   ##查看键的值
"red"

    key相关命令

  • keys:获取符合规则的键值列表 
    127.0.0.1:6379> keys *       //查看当前数据库中所有的键
127.0.0.1:6379> keys V*      //查看当前数据库中以v开头的键
127.0.0.1:6379> keys v?      //查看当前数据库中以v开头后面包含任意一个字符的键
127.0.0.1:6379> keys v??     //查看当前数据库中以v开头后面包含任意二个字符的键
    192.168.144.128:6379> KEYS *   ##查看所有的键
1) "teacher"
2) "tea"
192.168.144.128:6379> keys t??  ##查看键是t开头后面是两个字符的
1) "tea"
  • exists:判断键值是否存在 
    192.168.144.128:6379> EXISTS tea
(integer) 1                  //1是存在
192.168.144.128:6379> EXISTS teas
(integer) 0                  //0是不存在
  • del:删除当前数据库的指定key 
    192.168.144.128:6379> del teacher  ##删除键
(integer) 1
192.168.144.128:6379> KEYS *
1) "tea"
  • type:获取key对应的value值类型 
    192.168.144.128:6379> type tea   ##查看键的类型
string
  • rename(覆盖) / renamenx (不覆盖) :对已有的key进行重命名 
    192.168.144.128:6379> rename tea t1   ##给键重命名
OK
192.168.144.128:6379> keys *
1) "t1"
192.168.144.128:6379> get t1
"red"
  • dbsize:查看当前数据库中key的数目 
    192.168.144.128:6379> dbsize
(integer) 1
  • redis-benchmark测试工具
    • -h:指定服务器主机名
    • -p:指定服务器端口
    • -c:指定并发连接数
    • -n:指定请求数
    • -d:以字节的形式指定SET/GET值的数据大小
    • -q:强制推出redis。仅显示query/sec值
[[email protected]localhost utils]# redis-benchmark -h 192.168.144.128 -p 6379 -c 100 -n 100000     //并发100，100000个请求
====== SET ======
100000 requests completed in 1.14 seconds        //请求花费的时间
100 parallel clients
3 bytes payload
keep alive: 1

84.66% <= 1 milliseconds
98.48% <= 2 milliseconds
99.69% <= 3 milliseconds
99.90% <= 18 milliseconds
100.00% <= 18 milliseconds
87642.41 requests per second

====== GET ======
100000 requests completed in 1.144 seconds
100 parallel clients
3 bytes payload
keep alive: 1
[[email protected] utils]# redis-benchmark -h 192.168.144.128 -p 6379 -q -d 100        //以字节形式指定set/get值的数据大小
SET: 90497.73 requests per second
GET: 90991.81 requests per second

Redis多数据库操作

  • Redis支持多数据库，默认支持16个数据库, 0-15命名
  • 多数据库相互独立,互不干扰
  • 多数据库常用命令
    • 多数据库间切换

      192.168.144.128:6379> select 10       //进入第11个库
OK
192.168.144.128:6379[10]> keys *
(empty list or set)
192.168.144.128:6379[10]> select 0         //进入第1个库
OK
    • 多数据库间移动数据 
      192.168.144.128:6379> move t1 10       //移动键值对到第11个库
(integer) 1
192.168.144.128:6379> select 10        //进入第11个库
OK
192.168.144.128:6379[10]> keys *       //查看键
1) "t1"
192.168.144.128:6379[10]> get t1
"red"
  • 清除数据库内数据 
    192.168.144.128:6379[10]> flushdb          //清除库中数据
OK
192.168.144.128:6379[10]> keys *            //查看所有键
(empty list or set)

    Redis持久化

持久化概述

  • Redis是运行在内存中，内存中的数据断电丢失
  • 为了能够重用Redis数据，或者防止系统故障，我们需要将Redis中的数据写入到磁盘空间中，即持久化

持久化的分类

  • RDB方式：创建快照的方式获取某一时刻Redis中所有数据的副本

    • 优点：资源占用低
    • 缺点：不能保证数据的实时保存
  • AOF方式：将执行的写命令写到文件的末尾，以日志的方式来记录数据的变化
    • 优点：实时记录数据
    • 缺点：资源损耗大，数据丢失时同步时间过长

      RDB持久化

  • Redis的默认持久化方式
  • 默认文件名dump.rdb
  • 触发条件
    • 在指定的时间间隔内，执行指定次数的写操作（配置文件控制）
    • 执行save或者bgsave（异步）命令
    • 执行flushall命令，清空数据库中所有数据（不建议使用）
    • 执行shutdown命令，保证服务器正常关闭且不丢失任何数据
  • 优缺点
    • 适合大规模的数据恢复
    • 如果业务对数据完整性和一致性要求不高，RDB是很好的选择
    • 数据的完整性和一致性不高
    • 备份时占用内存

通过RDB文件恢复数据

  • 将dump.rdb文件拷贝到redis的安装目录的bin目录下，重启redis服务即可
  • 配置文件选项 
    [[email protected] utils]# vim /etc/redis/6379.conf
save 900 1                    //900秒之内至少一次写操作
save 300 10                   //300秒之内至少发生10次写操作
save 60 10000                 //60秒之内发生至少10000次写操作;只要满足其一都会触发快照操作,注释所有的save项表示关闭RDB
dbfilename dump.rdb           //备份文件名称
dir /var/lib/redis/6379       //备份文件保存目录
rdbcompression yes            //开启压缩

    AOF持久化

  • Redis默认不开启
  • 弥补RDB的不足（数据的不一致性）
  • 采用日志的形式来记录每个写操作，并追加到文件中
  • Redis重启会根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作

根据AOF文件恢复数据

  • 将appendonly.aof文件拷贝到redis安装目录的bin目录下，重启redis服务即可
  • AOF持久化配置 
    [[email protected] utils]# vim /etc/redis/6379.conf
appendonly yes          //开启AOF持久化
appendfilename "appendonly.aof"       //AOF文件名称
# appendfsync always                //always:同步持久化，每次发生数据变化会立刻写入磁盘
appendfsync everysec                //everysec:默认推荐，每秒异步记录次(默认值)
# appendfsync no                    //no:不同步，交给操作系统决定如何同步
aof-load-truncated yes              //忽略最后一条可能存在问题的指令

    AOF的重写机制

  • AOF的工作原理是将写操作追加到文件中，文件的冗余内容会越来越多
  • 当AOF文件的大小超过所设定的阀值时，Redis就会对AOF文件的内容压缩

AOF重写的原理

  • Redis会fork出一条新进程，读取内存中的数据(并没有读取旧文件)，并重新写到一个临时文件中，最后替换旧的aof文件

AOF重写配置

[[email protected] utils]# vim /etc/redis/6379.conf
no-appendfsync-on-rewrite no
//在日志进行BGREWRITEAOF时， 如果设置为yes表示新写操作不进行同步fsync,只暂存在缓冲区里，避免造成磁盘I0操作冲突，等重写完成后在写入。redis中默认为no
auto-aof-rewrite-percentage 100
//当前AOF文件大小是上次日志重写时AOF文件大小两倍时，发生BGREWRITEAOF操作
auto-aof-rewrite-min-size 64mb
//当前AOF文件执行BGREWRITEAOF命令的最小值，避免刚开始启动Reids时由于文件尺寸较小导致频繁的BGREWRITEAOF

Redis性能管理

查看redis内存使用

[[email protected] utils]# /usr/local/redis/bin/redis-cli
127.0.0.1:6379> info memory

内存碎片率

  • 操系统分配的内存值used_memory_rss除以redis使用的内存值used_memory计算得出
  • 内存碎片是由操作系统低效的分配/回收物理内存导致的
    • 不连续的物理内存分配
  • 跟踪内存碎片率对理解redis实例的资源性能是非常重要的
    • 内存碎片率稍大于1是合理的，这个值表示内存碎片率比较低
    • 内存碎片率超过1.5,说明redis消耗了实际需要物理内存的150%，其中50%是内存碎片率
    • 内存碎片率低于1的，说明Redis内存分配超出了物理内存,操作系统正在进行内存交换

    内存使用率

    • redis实例的内存使用率超过可用最大内存，操作系统将开始进行
    • 内存与swap空间交换
  • 避免内存交换
    • 针对缓存数据大小选择
    • 尽可能的使用Hash数据结构
    • 设置key的过期时间

    回收key

    • 保证合理分配redis有限的内存资源
    • 当内存使用达到设置的最大阀值时，需要选择一种key的回收策略
    • 默认情况下回收策略是禁止删除
    • redis.conf配置文件中修改maxmemory-policy属性值
    • volatile-lru:使用LRU算法从已设置过期时间的数据集合中淘汰数据
    • volatile-ttl:从已设置过期时间的数据集合中挑选即将过期的数据淘汰（建议使用）
    • volatile-random:从已设置过期时间的数据集合中随机挑选数据淘汰
    • allkeys-lru:使用LRU算法从所有数据集合中淘汰数据
    • allkeys-random:从数据集合中任意选择数据淘汰
    • no-enviction:禁止淘汰数据

原文地址：https://blog.51cto.com/14473285/2461181

时间： 2024-10-11 00:49:55

NoSQL之Redis安装配置与优化（理论+实践）的相关文章

redis安装配置和使用;tomcat安装和使用

virtualbox主要有下面几种方式(不同版本称法不一样,但实质是一样的): 1.Intelnal Network:利用主机上的所有的虚拟机构建一个虚拟网络 2.NAT:能访问互联网,不能访问主机(或局域网)//通过这个下gcc 3.Host Interface:能访问主机(或局域网),不能访问互联网 修改过后 netstat restart 先确保Linux已安装gcc zmalloc.h:50:31: error: jemalloc/jemalloc.h: No such file or

redis 安装配置学习笔记

redis 安装配置学习笔记 //wget http://download.redis.io/releases/redis-2.8.17.tar.gz 下载最新版本 wget http://download.redis.io/redis-stable.tar.gz 首先必须要有 gcc 与 make apt-get install gcc apt-get install make 1.解压 [email protected]:~# tar -xvf redis-stable.tar.gz 2.测

redis 安装配置及持久化详解

一.redis简介 二.redis安装 三.redis配置文件详解 四.redis持久化详解 1.redis 简介 Redis 是一个开源(BSD许可)的,内存中的数据结构存储系统,它可以用作数据库.缓存和消息中间件. 它支持多种类型的数据结构,如 字符串(strings), 散列(hashes), 列表(lists), 集合(sets), 有序集合(sorted sets) 与范围查询, bitmaps, hyperloglogs 和 地理空间(geospatial) 索引半径查询. Redi

非关系型数据库（NoSQL）——Redis安装及部署详解

在现在的互联网大潮中,NoSQL可谓是家喻户晓,Redis作为NoSQL中及其重要的一员,使我们走向架构道路的一条必经之路.作为运维工程师来说,是必须要掌握的! 既然提到了Redis数据库是非关系型数据,并且需要掌握Redis数据库.那么关于关系型数据库与非关系型数据库的基本概念是必须要了解的. 一.关系型数据库与非关系型数据库的基本概念: 数据库按照其结构可以分为关系型数据库与其他数据库,而这些其他数据库,我们统称为非关系型数据库. 1.关系型数据库 关系型数据库是一个结构化的数据库,创建在关

Redis安装配置与Jedis访问数据库

一.NOSQL概要 NoSQL(NoSQL = Not Only SQL ),意即“不仅仅是SQL”,泛指非关系型的数据库.NoSQL数据库的四大分类 键值(Key-Value)存储数据库 这一类数据库主要会使用到一个哈希表,这个表中有一个特定的键和一个指针指向特定的数据.Key/value模型对于IT系统来说的优势在于简单.易部署.但是如果DBA只对部分值进行查询或更新的时候,Key/value就显得效率低下了. 举例如:Tokyo Cabinet/Tyrant, Redis, Voldemo

redis安装配置教程及phpredis扩展安装测试

作者:zhanhailiang 日期:2014-10-16 推荐阅读: Redis持久化策略 关于Redis更多资料阅读 1. 下载redis-2.8.17.tar.gz:http://download.redis.io/releases/redis-2.8.17.tar.gz: 2. 编译安装配置如下: [redis-2.8.17]# make [redis-2.8.17]# make PREFIX=/usr/local/redis-2.8.17 install [redis-2.8.17]#

第一天Redis安装配置

一.Redis简介 redis 是一个高性能的key-value数据库.redis的出现,很大程度补偿了memcached这类keyvalue存储的不足,在部分场合可以对关系数据库起到很好的补充作用.它跟memcached类似,不过数据可以持久化,而且支持的数据类型很丰富.有字符串,链表,集合和有序集合.支持在服务器端计算集合的并,交和补集(difference)等,还支持多种排序功能.所以Redis也可以被看成是一个数据结构服务器. Redis的所有数据都是保存在内存中,然后不定期的通过异步方

CentOS 6.6下Redis安装配置记录

转载于:http://www.itxuexiwang.com/a/shujukujishu/redis/2016/0216/120.html?1455855209 在先前的文章中介绍过redis,以下内容为自己在CentOS上安装Redis的记录.供后期在做改进. 1.安装需要的支持环境 在安装Redis之前首要先做的是安装Unix的Tcl工具?,如果不安装的话后期将无法对Redis进行测试.在后期执行make test的时候返回如下错误信息:You need tcl 8.xuyao de5 o

Redis安装配置及在Python上的应用

最近在使用Kazoo(开源电话系统) API时,一次请求的处理需要调用几次API,只为了得到一个name和id的对应关系,耗时非常大,开始想使用一种简单的实现,直接将对应关系保存到静态类的静态变量中,但经过测试发现,这种方法还是会造成对应关系经常丢失的情况,后来简单了解了下Redis,发现比较适用于这种情况,具体操作过程如下所示: Redis安装与简单配置 开发环境为Ubuntu 12.04,在Ubuntu下Redis安装很简单,直接通过apt-get即可实现,具体如下所示: #安装Redis服