Redis 负载监控——redis-monitor

[50vip]

redis-monitor

一个 web 可视化的 redis 监控程序。

欢迎 issue 和 pr 。https://github.com/hustcc/redis-monitor

使用 Flask 来开发的，代码结构非常简单，适合移植到公司内网使用。

Demo

http://www.atool.org:7259/

What

1. redis 服务器信息，包括 redis 版本、上线时间、 os 系统信息等等
2. 实时的消息处理信息，例如处理 command 数量、连接总数量等
3. 联通时间动态图表
4. ops 时间动态图表
5. 内存占用、 cpu 消耗实时动态图表
6. 内存缓存 1 秒数据，防止监控程序造成 redis 负荷

为啥要做这个？

1. 之前 git 上搜了一堆，包括 osc 上推荐的 redis 项目，都配置不起来，有一个配置起来了但是 2.6 和 2.8 不兼容！
2. 有一个可以运行起来，但是每次都是直接连接 redis ，非常耗，如果同时 10 个人看监控图表，那么每秒造成 10 个 redis 连接，十分坑爹
3. 还有就是 git 上的一些配置起来太麻烦

如何使用？

• 首先安装 Flask Web 需要得库

pip install -r requirements.txt

• 运行 web 程序即可

./run_monitor

或者

python run_monitor.py

• 本地打开 127.0.0.1:7259 就可以看完网页了。截图见下方！

screenshot

PS ：我觉得后续改成 websocket 很有必要，不知道大家觉得如何，现在是每秒轮询请求一次，然后图表重绘。

PS1 ：增加一些基本的 db 操作，比如 set ， del ， flushall 等，现在有些 redis 的 gui 客户端真心做的好差，删除 keys ，都不能批量删除，只能使用 redis-cli 去做。

最新的 demo 地址： http://redis-monitor.atool.org/

最近重构了一下，安装使用更加简单了。

1. 首先安装python库

   pip install redis-monitor

2. 初始化配置和数据库

   redis-monitor init

3. 启动 webserver

   redis-monitor start

然后访问 127.0.0.1:9527（端口：LZSB，你懂的） 即可。

[forever139]

已 star

[jokaye]

支持，加上报警功能就更棒了，加油！

[moyaya]

前几天正在找类似的工具啊，后面用了 redis-PAPA

[50vip]

@jokaye 预警功能是需要做的，邮件字段都有了，但是没有写阈值，不知道阈值是根据联通时间还是 ops 来确定！

[50vip]

@moyaya 我之前也是因为要用 redis 监控工具看看 redis 情况， git 上找了好多，死都配置不好~~~有一个可以用，但是 2.6 和 2.8 不兼容，而且配置都好复杂，并且开多个浏览器窗口，会增加 redis 请求数，太 low 了！

[xujif]

@50vip 把数据缓存交给 nginx 如何？ 这样如果想降低负载，就增加缓存时间，想看最新的，就 ctrl+f5

[50vip]

@xujif 既然是监控，如果需要 ctrl+f5 来刷新数据，那不是太麻烦了吗？另外如果配置 nginx 缓存，会不会又走进了 github 上其他的一些 redis 监控项目的怪圈：配置部署麻烦！

[raingolee]

楼主，数据是从 redis monitor command 上调用的吗？听说 monitor 会对 redis 性能有影响

[50vip]

@raingolee 使用的 info 命令，然后解析。应该使用的不是你说的 redis monitor command ，另外，对于 info 命令结果会有服务器缓存，也就是不管你开多少浏览器监控，多少人在同时看这个监控数据，每秒钟仅仅执行一次 info 命令，也就是 ops 每秒钟增加一次，这个负荷几乎可以忽略，如果觉得还打了，可以增加缓存的时间。

[50vip]

@forever139 感谢 z

[wikimore]

看上去很不错

[go2sleep]

已 Star ，我是来看头像的……

[lizhenda]

不错不错， mark

[50vip]

@wikimore 比较适合公司内使用~因为没有做登录验证啥的~最简洁的状态，如果需要可以自己加~

[50vip]

@lizhenda 感谢，哈哈~

[50vip]

@go2sleep 要我打包发给你吗？

[50vip]

@go2sleep 你是滨江的？握爪~

[go2sleep]

@50vip 哈哈，打包就不用了……
我是滨江的，没想到 V2EX 滨江众这么多~ 握爪

[iyaozhen]

非常好的东西，赞！

[carilove]

已 star, 正在试用
@50vip
有个很基本的问题， Python 用的是 2.7 ，还是 3.X

[50vip]

@carilove python2.7 ，这个一点没有在 md 里说明~使用的基本语法，感觉 3.0 应该问题不大~我抽时间弄个 3.0 试试~

[50vip]

@iyaozhen 感谢感谢~

[inFinityzc]

已 Star ，晚上试用~

[50vip]

@go2sleep 写 go 的，好牛逼的感觉~

[carilove]

@50vip
有个 bug
Python 2.7, 模块 RedisMonitor.py 的类 RedisMonitor 中的 new_request 方法连接 Redis ， port 参数需要转化为 int 。不然会报错
```
r = redis.Redis(host='127.0.0.1', port='6379')
TypeError: an integer is required

```

[carilove]

@50vip

同理，项目中其他的 redis 连接都需要转一下 int

[50vip]

@carilove 为什么我的环境也是 2.7 毫无压力，我再测试一下~

[50vip]

@carilove 我这边 int 和 string 都可以，看了下源码， python redis 自己会转换类型，可以 redis py 版本不同，为了兼容，已经修改代码并且提交了

[carilove]

@50vip

哦哦，是 redis 版本的问题，我本地的 2.7 环境很久没升了，
redis 是 2.8.0 ，所以会报错
2.10.5 正常。

另外，这个监控蛮好用的。赞

[50vip]

@carilove 嗯，我的也是 2.10 的~~~现在有两个待做的东西：
1. websocket 代替 js 轮询
2. redis db 的一些操作，例如 set ， del ， flush 等简单操作，可以代替一些 redis 的 gui 客户端

[go2sleep]

@50vip 这么快就换头像了！

[ericls]

已 star 同类中最好的 （我用过的、开源的里面）

可以翻译个英文

[50vip]

@go2sleep 绝对是管理员帮我弄的，我绝对没有换头像啊~

[50vip]

@ericls 是说我这个吗？求推荐你用的哪个~

[xgfan]

虽然还没用过 redis ，但是觉得看起来好厉害。

[ericls]

@50vip 是你这个。。 抱歉 我断句有歧义

[tangthis]

安装报错了。
Downloading requests-2.8.1-py2.py3-none-any.whl (497kB)
2% | | 12kB 12.1MB/s eta 0:00:01 Exception:
Traceback (most recent call last):
File "C:\Python34\lib\site-packages\pip\_vendor\requests\packages\urllib3\re
sponse.py", line 186, in read
data = self._fp.read(amt)
File "C:\Python34\lib\site-packages\pip\_vendor\cachecontrol\filewrapper.py"
, line 49, in read
data = self.__fp.read(amt)
File "C:\Python34\lib\http\client.py", line 500, in read
return super(HTTPResponse, self).read(amt)
File "C:\Python34\lib\http\client.py", line 539, in readinto
n = self.fp.readinto(b)
File "C:\Python34\lib\socket.py", line 374, in readinto
return self._sock.recv_into(b)
File "C:\Python34\lib\ssl.py", line 751, in recv_into
return self.read(nbytes, buffer)
File "C:\Python34\lib\ssl.py", line 623, in read
v = self._sslobj.read(len, buffer)
socket.timeout: The read operation timed out

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
File "C:\Python34\lib\site-packages\pip\basecommand.py", line 232, in main
status = self.run(options, args)
File "C:\Python34\lib\site-packages\pip\commands\install.py", line 339, in r
un
requirement_set.prepare_files(finder)
File "C:\Python34\lib\site-packages\pip\req\req_set.py", line 355, in prepar
e_files
do_download, session=self.session,
File "C:\Python34\lib\site-packages\pip\download.py", line 782, in unpack_ur
l
session,
File "C:\Python34\lib\site-packages\pip\download.py", line 667, in unpack_ht
tp_url
from_path, content_type = _download_http_url(link, session, temp_dir)
File "C:\Python34\lib\site-packages\pip\download.py", line 843, in _download
_http_url
_download_url(resp, link, content_file)
File "C:\Python34\lib\site-packages\pip\download.py", line 615, in _download
_url
for chunk in progress_indicator(resp_read(4096), 4096):
File "C:\Python34\lib\site-packages\pip\utils\ui.py", line 46, in iter
for x in it:
File "C:\Python34\lib\site-packages\pip\download.py", line 580, in resp_read

decode_content=False):
File "C:\Python34\lib\site-packages\pip\_vendor\requests\packages\urllib3\re
sponse.py", line 256, in stream
data = self.read(amt=amt, decode_content=decode_content)
File "C:\Python34\lib\site-packages\pip\_vendor\requests\packages\urllib3\re
sponse.py", line 201, in read
raise ReadTimeoutError(self._pool, None, 'Read timed out.')
pip._vendor.requests.packages.urllib3.exceptions.ReadTimeoutError: HTTPSConnec
tionPool(host='pypi.python.org', port=443): Read timed out.


C:\Users\Administrator\Documents\GitHub\redis-monitor>python run_monitor.py
Traceback (most recent call last):
File "run_monitor.py", line 8, in <module>
from app import app
File "C:\Users\Administrator\Documents\GitHub\redis-monitor\app\__init__.py",
line 12, in <module>
from app.views import main_views
File "C:\Users\Administrator\Documents\GitHub\redis-monitor\app\views\main_vie
ws.py", line 9, in <module>
from app.utils import RequestUtil, OtherUtil
File "C:\Users\Administrator\Documents\GitHub\redis-monitor\app\utils\OtherUti
l.py", line 9, in <module>
from CJsonEncoder import CJsonEncoder
ImportError: No module named 'CJsonEncoder'

[raingolee]

@50vip 是这样的， monitor 的信息会多很多，可以参考一下 redis-live

[50vip]

@raingolee 嗯，是的，但是 monitor 毕竟的调试的，如果用到线上环境，会造成性能问题，对于线上 monitor 过的，可以仅仅关注一些简单的指标。

[50vip]

@ericls 哈哈，感谢~~~

[50vip]

@tangthis 可以到 github 上提 issue ，安装报错是因为你没有翻墙。。。建议使用 pip 加豆瓣源吧~

[wong2]

我科

[50vip]

@wong2 华中饥渴大学的。。。你好~

[50vip]

@wong2 原来是小黄鸡作者，致敬...

[zhkzyth]

@50vip 已 star ，感觉可以用得上~~谢谢哇~~

[sevncz]

已 star

[seerhut]

已 star

[mingyun]

star

[iyaozhen]

楼主，你这项目咋又没了呢？

[iyaozhen]

@iyaozhen 额，好吧，看见你首页头像了，项目都没了。

[50vip]

@iyaozhen github 全部清空了

[50vip]

@iyaozhen 重构之后，又开源了，之前是因为没有得到公司允许，囧~