首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python 学习手册
Python Cookbook
Python 基础教程
Python Sites
PyPI - Python Package Index
http://www.simple-is-better.com/
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
V2EX  ›  Python

Python 爬虫改成 go,性能提高 5 倍?

  •  
  •   sagaxu · 78 天前用 Android 发布 · 11336 次点击
    这是一个创建于 78 天前的主题,其中的信息可能已经有所发展或是发生改变。
    第 1 条附言  ·  78 天前
    原作被你们评论到 404 了,神马情况😳
    107 回复  |  直到 2018-12-04 11:02:50 +08:00
    1  2  
        101
    locoz   78 天前
    @est #98
        102
    yangyaofei   78 天前 via Android
    scrapy 用 scrapy-redis 做多进程,可以跑满 cpu,把数据库跑成瓶颈
        103
    mingyun   78 天前
    来晚了 都 404 了
        104
    largecat   77 天前 via Android
    404 看不到了,
    不过看楼上很多人评论,spider 里采集数据同时入库,
    我猜这个人肯定不会 scrapy 框架。瞎 jb 写的。

    scrapy 用 spider 爬取,
    数据处理在 pipeline 里,
    全部一溜的 IO 异步,

    怎么可能等入库好了再采下一个,,
        105
    zkeeper   77 天前
    @congeec 同意你说的, Python 社区好像整体不怎么在意性能, 所有与之相关的改进优先级都放到很低. 一个 GIL 都多少年了, 我看都成了面试必问问题了, 这有多尴尬.
        106
    hasbug   77 天前
    我想学 go 有人说没啥用,看本地就业情况,一搜没有,想转 python,自己折腾点东西,有人说就是一自行车,项目要想维护下去 最好不要选···

    我还能学什么?
        107
    locoz   77 天前   ♥ 1
    @hasbug #106 编程语言很多东西都是共通的,所以语言并不是关键,看哪个好找工作就学哪个
    1  2  
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2402 人在线   最高记录 4385   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 18ms · UTC 14:27 · PVG 22:27 · LAX 06:27 · JFK 09:27
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1