Python 有啥对协程支持好的队列框架么 试了几个都不行 最近快被搞崩溃了 难道要自己撸一个

2020-01-20 09:57:00 +08:00
 bfpiaoran
5413 次点击
所在节点    Python
28 条回复
blodside
2020-01-20 10:39:10 +08:00
Python 那些协程实现最大的问题是：代码里的其他依赖可能不支持协程，打补丁偶尔会出千奇百怪的错
ps: 我研究了一段时间，发现还是 Twisted 更好用
ipwx
2020-01-20 10:46:09 +08:00
我觉得也只有自己撸一个了。。。

@blodside 这个我觉得问题不大，你可以把其他代码放进 thread executor 或者 process executor 里面。反正你其他依赖不支持携程，理论上不也不支持 Twisted callback 么（ doge ）
ClutchBear
2020-01-20 10:46:12 +08:00
换 golang?
TypeError
2020-01-20 10:47:29 +08:00
@blodside #1 asyncio + concurrent.futures "其他依赖可能不支持协程"有什么关系
niubee1
2020-01-20 10:48:02 +08:00
为啥对协程有这么大的执念？用多进程不香么？
bfpiaoran
2020-01-20 10:48:52 +08:00
@ClutchBear golang 短期不想换啊
bfpiaoran
2020-01-20 10:50:27 +08:00
@blodside 对 celery 总是出现些奇怪的内存泄露 worker 收不到任务的问题 然后试了下 huey 啥的对 asyncio 支持也是特别差 还有的队列本身用的就是异步 event 也会出现莫名其妙的问题
bfpiaoran
2020-01-20 10:51:35 +08:00
@niubee1 有的节点没法开多进程呀 核心本身就低 效率更低了 不如多线程呢 但是多线程 lock 的问题又不想搞 所以就这样了
Vegetable
2020-01-20 10:52:07 +08:00
你的主要诉求是？队列操作一般算不上是 io 吧
Vegetable
2020-01-20 10:57:14 +08:00
是要任务队列不是消息队列啊..这个可能会复杂不少没有了解了
niubee1
2020-01-20 10:57:31 +08:00
@bfpiaoran 你对多进程有什么误解唉
bfpiaoran
2020-01-20 10:57:45 +08:00
@Vegetable 没啊 但是队列下的任务是 io 的
bfpiaoran
2020-01-20 11:02:12 +08:00
@Vegetable 是的系统设计就有问题 任务队列每个人物需求不一样 打算重构一个了
hankai17
2020-01-20 11:11:47 +08:00
gevent?
wangyzj
2020-01-20 11:12:24 +08:00
虽然不是不可以，但是你这个需求是要满足多大的量？不能横向扩展么？
dsphper
2020-01-20 11:16:04 +08:00
？？？看半天看得我糊涂，celery 内存泄露 worker 收不到任务？？？这和协程有一毛钱的关系吗？很明显你写的代码有问题把 worker 卡死了，兄弟你得把基础打牢，最起码明白多进程多线程协程的基础原理，才能写出优质的代码。不要看网上那些乱七八糟的文章对个协程无脑吹（都是一些不经脑子跟风的），就感觉协程是个万能药。
flynaj
2020-01-20 11:21:37 +08:00
python 入门简单，真做产品你还是 golang 高效
hehe12dyo
2020-01-20 11:22:16 +08:00
建议换 go。。。
watsy0007
2020-01-20 11:37:53 +08:00
不如把问题发出来.
下面回复换 go 的是认真的吗?
wdf86
2020-01-20 11:50:13 +08:00
能不能说一下队列和协程具体的关系？

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/639357

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX