监控redis数据库应用状态:python,tornado实现

公司里最近redis服务器压力越来越大,其大概情况,只能从操作系统层面看,并不详尽,故同事在网上找了一个叫做 redis-live的开源项目,我配合部署了一下,还真有点意思,并解决了其中部分小debug,
原文来之这里

目前来说,越来越多的使用多了NOSQL的业务,但是这方面的监控缺不多。今天给大家介绍几个专业监控redis服务的工具,便于大家进行redis性能分析。

下面开始介绍安装redis-live:
因为redis-live是基于python开发的,所以首先要部署所需要的python环境

1.wget http://dl.fedoraproject.org/pub/epel/6/x86_64/python-pip-0.8-1.el6.noarch.rpm
2.rpm -ivh python-pip-0.8-1.el6.noarch.rpm
3.pip-python install tornado
4.pip-python install redis
5.pip-python install python-dateutil
6.pip-python install argparse
环境部署完了之后,就需要开始安装软件了。

git clone https://github.com/kumarnitin/RedisLive.git
Initialized empty Git repository in /root/RedisLive/.git/
remote: Counting objects: 715, done.
remote: Compressing objects: 100% (377/377), done.
remote: Total 715 (delta 338), reused 699 (delta 323)
Receiving objects: 100% (715/715), 2.59 MiB | 353 KiB/s, done.
Resolving deltas: 100% (338/338), done.
因为没有打包的安装包,所以只能下载安装git的源码。
安装好之后就可以配置了:

cd RedisLive/src
vi redis-live.conf
{
        "RedisServers":
        [
                {
                  "server" : "127.0.0.1",
                  "port"  : 6379
                }
        ],

        "DataStoreType" : "sqlite",

        "RedisStatsServer":
        {
                "server" : "127.0.0.1",
                "port" : 6381
        }
}
RedisServers这个是redis服务器的配置。
RedisStatsServer是redis服务器的监控信息可以存放在其他的redis服务器中.也就是RedisStatsServe.
一般的是把”DataStoreType”改成sqlite类型的,下面的RedisStatsServer就不用配置了.

注:因为有些redis服务器是需要密码进行访问的,所以如果有密码的话,需要在RedisServers里面写上密码:如下:

        "RedisServers":
        [
                {
                  "server" : "127.0.0.1",
                  "port"  : 6379,
                  "password":"xxxxxx"
                }
        ],
配置好之后,就可以启动服务了。
./redis-monitor.py –duration 120 &
./redis-live.py &
注:启动服务之后,如果访问web页面的话,会在当前终端输出日志,如果不想在终端输出,可以查看redis-live.py的参数

[[email protected] src]# ./redis-live.py --help
Usage: ./redis-live.py [OPTIONS]

Options:

  --help                           show this help information
  --log_file_max_size              max size of log files before rollover
                                   (default 100000000)
  --log_file_num_backups           number of log files to keep (default 10)
  --log_file_prefix=PATH           Path prefix for log files. Note that if you
                                   are running multiple tornado processes,
                                   log_file_prefix must be different for each
                                   of them (e.g. include the port number)
  --log_to_stderr                  Send log output to stderr (colorized if
                                   possible). By default use stderr if
                                   --log_file_prefix is not set and no other
                                   logging is configured.
  --logging=debug|info|warning|error|none
                                   Set the Python log level. If ‘none‘, tornado
                                   won‘t touch the logging configuration.
                                   (default info)
可以看到有日志大小,路径,级别等等的选项。
最后来看下监控效果图:

部署过程中遇到一些问题,
1,首先api/util/setting.py文件要加载项目根目录下的redis-live.conf,作者的意思,可能是想通过json解析配置文件,并最终load为字典供其它函数调用,但是人为写的配置文件,各种换行,空格,着实解析起来,真有点麻烦.经过分析,反正setting.py文件里函数要调用字典,并访问key我就直接把redis-live.conf配置改为字典,直接供setting.py调用,
  切记: setting.py  import redis_live.py时需要回载项目根目录,要不然找不到字典, import sys; sys.path.append("根目录") 即可.

2,api/controller/BaseController.py 也需要导入根目录下的,dataprovider,也是同样问题,找不到 dataprovider下面所有模块,用同样方法解决,
时间: 2024-10-19 11:45:17

监控redis数据库应用状态:python,tornado实现的相关文章

在window下安装Redis数据库,并用python链接Redis

Redis是一个非关系型数据库,数据以key-value键值对的形式存储在数据库中. Redis的安装,可以直接参考这个链接:https://www.runoob.com/redis/redis-install.html ,我下面说的,会比这个教程稍详细一点. [1]我下载的是Redis-x64-3.2.100.zip,下载地址为 https://github.com/MSOpenTech/redis/releases ,然后选择一个你喜欢的本地目录,直接解压,就代表安装完成. 我的安装目录是:

监控mysql数据库主从状态

python版本2.6.6 #!/usr/bin/python import MySQLdb def check_mysql():    status = True    try:        conn=MySQLdb.connect(host='172.7.10.8',user='summer',passwd='summer',db='cms')        cur=conn.cursor()        cur.execute("show slave status;")   

zabbix 监控 redis

通过redis自带的info命令来监控redis的健康状态,通过redis-cli PING命令来监控redis的存活状态. 附件中有监控模板,将监控脚本放在redis服务器的自定义的/scripts/zabbix_redis/下: #! /bin/bash #Name: redismontior.sh REDISCLI="/usr/bin/redis-cli" HOST="127.0.0.1" PORT=6379 if [[ $# == 1 ]];then    

python面试题:redis数据库

来源链接: https://www.cnblogs.com/jasontec/p/9699242.html https://www.cnblogs.com/Java3y/p/10266306.html 介绍:Redis 是一个开源的使用 ANSI C 语言编写.遵守 BSD 协议.支持网络.可基于内存亦可持久化的日志型.Key-Value 数据库,并提供多种语言的 API的非关系型数据库. 传统数据库遵循 ACID 规则.而 Nosql(Not Only SQL 的缩写,是对不同于传统的关系型数

Python学习之使用Python操作Redis数据库

最近在写一个检查一台服务器上所有游戏区服配置文件中redis某个key值大小的脚本,本打算使用shell+awk+sed的方式去解决这个问题,但是由于redis的配置信息是php数组形式.shell脚本一时没有写出来,就请教他人帮忙写了个python脚本,但是自己python不是很精通,于是按照脚本中涉及到的python知识现学现用,然后根据自己的需求更改脚本.这里分享一下如何使用python操作redis数据库. Redis的Python驱动源码下载地址是https://github.com/

zabbix监控redis、mysql性能、mysql状态、php-fpm性能状态

zabbix监控redis http://www.21yunwei.com/archives/4195 zabbix监控mysql性能 http://www.ttlsa.com/zabbix/zabbix-monitor-mysql/ zabbix监控mysql装态 http://www.linuxidc.com/Linux/2016-04/130436.htm zabbix监控php-fpm性能状态 http://www.ttlsa.com/zabbix/zabbix-monitor-php-

python编程:excel文件操作,redis数据库,接口开发

1.操作mysql import pymysql # 1.连上数据库 账号.密码 ip 端口号 数据库 #2.建立游标 #3.执行sql #4 .获取结果 # 5.关闭游标 #6.连接关闭 coon = pymysql.connect( host='数据库ip',user='jxz',passwd='123456', port=3306,db='jxz',charset='utf8' #port必须写int类型, #charset这里必须写utf8 ) cur = coon.cursor() #

一个简单的监控redis性能的python脚本

一个简单的监控redis性能的python脚本 上一篇已经讲了如何监控memcached了,现在也顺带讲如何监控redis. 首先介绍下监控redis那些信息: Redis ping:检验ping Redis alive:查看检查端口是否alive Redis connections:查看连接数 Redis blockedClients:正在等待阻塞客户端数量 Redis connectionsUsage:redis的连接使用率 Redis memoryUsage:redis内存使用量 Redi

python爬取大众点评并写入mongodb数据库和redis数据库

抓取大众点评首页左侧信息,如图: 我们要实现把中文名字都存到mongodb,而每个链接存入redis数据库. 因为将数据存到mongodb时每一个信息都会有一个对应的id,那样就方便我们存入redis可以不出错. # -*- coding: utf-8 -*- import re from urllib.request import urlopen from urllib.request import Request from bs4 import BeautifulSoup from lxml