数据库连接（只有一个）频繁开关消耗大吗？

2015-02-15 19:58:53 +08:00
 dddd

例如一个爬虫，获取信息的平均速度是 4条/秒，信息存入数据库。我想问的是，这个数据库连接一直保持开着好，还是频繁开关好？

4772 次点击
所在节点    Python
16 条回复
SR1
2015-02-15 20:16:26 +08:00
其实，这种问题，写个脚本测一下就知道了。
yangff
2015-02-15 20:17:03 +08:00
反正瓶颈是带宽..
lujiajing1126
2015-02-15 21:01:38 +08:00
。。4条每秒。。没必要考虑这么多。。
wanjun
2015-02-15 21:10:56 +08:00
当然大了，要不然就不会用连接池了
omegaga
2015-02-15 21:18:54 +08:00
有一種東西叫連接池…
dddd
2015-02-15 21:24:18 +08:00
@lujiajing1126 没见过世面孩子伤不起……
loading
2015-02-15 22:16:29 +08:00
优化 sql 语句和数据结构效果更显著些，这个问题请交给连接池，或用 sqlalchemy 等帮你搞定（能吗）
9hills
2015-02-15 22:25:20 +08:00
每秒4次基本感觉不到性能损失
john737
2015-02-15 22:55:59 +08:00
内存不够了，估计最低配的用mongo有点吃力，或者爬虫还有优化的空间
fising
2015-02-15 22:59:18 +08:00
保持连接和每次断开的差异非常大。楼主可以试试写1W纪录看看时间差
clino
2015-02-15 23:56:40 +08:00
积累多一些然后用事务模式批量写入效率更高
msg7086
2015-02-16 03:47:26 +08:00
我们论坛每秒100请求以上，每次都开新连接，压力不大。
min
2015-02-16 09:43:09 +08:00
开销很大
但在你这个超低负载下感觉不到
liuhaotian
2015-02-16 09:57:52 +08:00
呵呵哒。瓶颈是带宽。
aru
2015-02-16 12:16:20 +08:00
512M 内存跑mongodb + 爬虫，必须萌萌哒
换个大内存vps 舒服很多
tolerious
2015-03-02 10:00:51 +08:00
目测512M内存做爬虫吃不消，程序要吃一部分，数据库要吃一部分，爬数据量大了，512肯定挡不住的

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/171203

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX