Tornado中有个handler执行一条时间很长的sql,导致其他正访问网站的连接也会一起等待

2013-10-16 14:41:36 +08:00
 foomorrow
我的/a 这个handler中,有个要查询很长时间的sql,大概5秒。在这5秒期间 有其他用户访问tornado网站 也会跟着一起等待,这个有没有办法解决呢。
9191 次点击
所在节点    Tornado
21 条回复
Livid
2013-10-16 14:42:41 +08:00
启动多个 Tornado,然后通过 Nginx 做负载均衡。
shiny
2013-10-16 14:42:43 +08:00
用异步的数据库驱动。。。
foomorrow
2013-10-16 15:18:41 +08:00
@Livid 目前是这么做的 由于服务器是双核 所以就用supervisor开了2个实例
foomorrow
2013-10-16 15:20:37 +08:00
@shiny 我现在用的是sqlalchemy。尝试写成
jsonmap = yield gen.Task(self.get_data)
这个样子 是否可行?
ipconfiger
2013-10-16 15:33:20 +08:00
@foomorrow 没用的,可以试试我的这个项目 https://github.com/ipconfiger/TorCast 将长时间执行的任务用redis分发到后端的worker进程,然后异步等待返回
Livid
2013-10-16 16:01:18 +08:00
@foomorrow 如果不会经常锁表的话,多开几个进程吧。
est
2013-10-16 16:17:26 +08:00
@foomorrow @shiny 我觉得 @ipconfiger 说的是对的。如果你db卡了。前端在怎么异步都没用。因为无论你多少个tornado实例,最终heavylifting还是一个mysqld 进程来执行所有查询操作。
shiny
2013-10-16 16:20:41 +08:00
@est 但是 mysql 有多线程啊亲!起码不会影响其他用户的访问。
est
2013-10-16 16:37:25 +08:00
@shiny 你猜猜mysqld默认线程上限是多少个?
shiny
2013-10-16 16:58:04 +08:00
@est 明白了,不过用队列代码会越来越复杂…… 还是优化 SQL、拆分数据库、加缓存方便?
est
2013-10-16 17:05:55 +08:00
@shiny 数据库是瓶颈就应该调教数据库。

比如我这里

show variables like 'max_connections';
+-----------------+-------+
| Variable_name | Value |
+-----------------+-------+
| max_connections | 151 |
+-----------------+-------+
1 row in set (0.00 sec)


如果 show variables like 'thread_handling'; 返回 one-thread-per-connection

再假设一个用户一个连接,每个连接查询5秒,你可以很容易算出来自己的服务器每秒钟能最多接待多少用户。
ipconfiger
2013-10-16 17:22:01 +08:00
@shiny 如果要执行5秒的数据库操作,你打算优化的目标是多少? 用我的异步队列方案的话你可以和网站复用相同的业务逻辑代码,我自己的项目就是复用同一份逻辑代码,所以不会增加代码复杂度,不过这个要看你的设计功力了。
wwqgtxx
2013-10-16 18:01:11 +08:00
感觉需要优化一下sql性能,看看有没有办法优化mysql,或者可能的话把数据库服务器和网站服务器分离,可能会好一些
zenliver
2013-10-16 21:31:03 +08:00
1. 优化mysqli性能, 2. 用future.executor
VYSE
2013-10-16 22:46:06 +08:00
以前碰到这种情况就两个选择,换pg或换FLASK+GEVENT。你也可以试试一些改的ASYNC MYSQLDB
superisaac
2013-10-17 09:46:30 +08:00
haha, 用这种异步框架又非原生异步的典型问题之一。
superisaac
2013-10-17 09:47:42 +08:00
foomorrow
2013-10-17 10:37:55 +08:00
那如果是这样的话 那tornado比nodejs的优势在哪呢
zenliver
2013-10-17 16:40:44 +08:00
@foomorrow 差不多的东西, 唯一的区别是nodejs中你能用到的基本都异步实现的, tornado就少了
unionx
2013-10-18 09:36:14 +08:00
@VYSE pg就不需要异步读取数据库或者缓存了么?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/85762

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX