求评判/提醒下 “N 条未读提醒” 提醒(用户提醒消息)的最佳操作。分享点经验吧各种牛们,谢谢!

2014-06-26 21:22:06 +08:00
 raincious
背景:

数据库:MySQL
语言:PHP

(因为架构复杂度的问题,暂时不考虑引入其他的基础设施依赖,所以只能用MySQL作为数据库,而且PHP没有队列支持。一切都从最简单出发。)

(好在我真的非常聪明的让框架透明的支持了按照表名称进行分库查询,所以这些表可以放在其他数据库服务器上不会而影响其他服务器的性能。当然,虽然这也导致了不能支持任何事务……)

===============================

正文:

正在给自己的网站写提醒服务,通过一个Ajax的Post请求不停的给Web发送带有参数的查询来获得数据并检查是否有给当前用户的提醒。然后按照这样显示出来:



功能上类似于V2EX的“N 条未读提醒”,但是需要查询两张表,一张提醒,一张消息。

查询是由Ajax发出并控制频率的,正常用户不会干预(非正常用户可以直接攻击接口,但是能根据会话频率限制来阻止)。不能是Websocket,也不能进行频繁的查询操作(MySQL大家都懂的)。所以大约60秒查询一次这样。

===============================

设想的方案:

现在已经有两个设想的方案,想知道那个好一些,请大家帮忙评价下,或者给个其他方案:


1、代码上最简单的方案:

当收到Ajax调用时,分别查询两张表,列出至多N条记录,然后将N返回,呈现给客户端。且不做缓存处理。

查询语句类似于

SELECT * FROM messages WHERE userID = 1 AND readed = 0 LIMIT 10;
SELECT * FROM notifications WHERE userID = 1 AND readed = 0 LIMIT 10;

优点:
A:复杂度低,容易实现;
B:可扩展性好。未来如果需要,可以不用仅显示“收到了 1 条新消息”,而是列出这最多10条消息/通知。

缺点:
A:列出这些数据相对耗时,尤其是直接读取了操作表,可能会导致性能下降。



2、复杂度高一点的方案:

建立一张数据表(如pushs),分别记录未读消息的数量,然后每次有新消息/通知写入和被阅读时,增减记录的数据值。这些数据直接从数据库取得,不做缓存。

数据表类似于
pushID(主健), countMessages, countNotifications, userID(唯一索引), time;

查询语句类似于

SELECT countMessages, countNotifications WHERE userID = 1;

优点:
A:唯一索引查询速度更快,而且它是唯一的查询条件;
B:单独的数据表可以作为内存表,获得更快的查询速度,只需要在用户登录时重新统计数据即可(这意味着方案1里那两条查询会在用户登录时执行一次)。

缺点:
A:复杂度高。需要变更一系列已有代码(好在我可以用预留的钩子实现),同时还需要维护表中的这些数据以确保其准确。
B:扩展性差,基本上就只能那样了,如果未来需要显示其他数据,则需要变更大量代码。


// 啥时候支持Markdown?
5125 次点击
所在节点    问与答
7 条回复
Seita
2014-06-26 21:23:27 +08:00
楼主的想法适合几百人的小网站。
ovear
2014-06-26 21:41:31 +08:00
@Seita 这实现并没有什么问题。而且适当缓存负载可以到很高。
建议lz做好索引,然后做一个内存表就可以实现了
raincious
2014-06-26 22:05:09 +08:00
@ovear 谢谢。

刚发贴之后我就在测试,只是比对了下查询取出的数据量(用来一定程度上代表服务器的负载),感觉方案2是唯一选择。那么我就继续了。

另外虽然上面说是没有缓存,只是因为现在我选择困难了,也还是两种方案作选择,一是Memcache的古典搭配,二是让ORM支持Redis。

目前选择了二,虽然SQL ORM上本来也就只是支持WHERE条件,但是考虑到索引和Redis里Set的限制,太难了,所以一直停滞不前,于是为了不影响主要的项目进度,选择先暂时这样,等真的能上百并发的时候估计我也把Redis或Memcache这两个方案研究的差不多了。
piglei
2014-06-26 22:38:05 +08:00
仔细看了看,楼主应该花了不少心思分析这个东西。我的经验是不用过于纠结,选一个 **不是那么差劲但是很好扩展** 的实现就好,等瓶颈来的那天,再花时间优化吧。

如果现在过于追求这个问题,把性能优化到非常好,很有可能之后 设计/需求 变动,整个又需要推倒重来,不划算。

个人意见。
ovear
2014-06-27 00:38:32 +08:00
@raincious 其实不用考虑这么多的,mysql本身就有缓存。
缓存效果还是不错的,尤其是主键unique。
还有就是建议楼主在资源允许的情况下,使用固定line长度以及字段长度
这样mysql就不用扫描每行的大小了,对速度有非常大的提升。
同时其实第一种并没有什么 问题,还是挺不错的。
关于count方面,lz完全可以在user表中新增个notify字段,来模拟kvdb过期的效果。当然坏处也有。。就是跟v2ex一样,通知会有延迟。在我看来,其实v2ex的通知系统做的并不是很好。延迟非常的大,还经常莫名其妙的丢信息。
总之这种事情最好上cache或者nosql(也就是kvdb)。lz如果实在要用mysql,那么我推荐使用hash索引,可以在一定程度的情况下模拟出nosql的hashdb效果
-0- 希望lz以后有更好的方法来交流下哈~
pythoner
2014-06-27 15:08:10 +08:00
如果让我做,我首先想到的方案是用redis来作计数器(inc/dec操作是原子的)
有新消息的时候计数器+1,读过之后-1
jarlyyn
2016-02-02 16:52:55 +08:00
数量缓存?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/119720

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX