• 请不要在回答技术问题时复制粘贴 AI 生成的内容
alexapollo
V2EX  ›  程序员

开始要读一遍 scrapy 的代码了,大家说 20000 行代码,大概多久能读完?

  •  1
     
  •   alexapollo ·
    geekan · May 12, 2016 · 6561 views
    This topic created in 3652 days ago, the information mentioned may be changed or developed.

    之前写过一个 scrapy-examples 项目( https://github.com/geekan/scrapy-examples
    里面自己造了模板化抽取的轮子。但用 scrapy 来实现还是不伦不类,有点想自己做个大轮子(爬虫)。 各位觉得大概多久可以读完代码?实现一个 scrapy 大概又要多久呢?

    18 replies    2016-05-13 23:31:45 +08:00
    yangxin0
        1
    yangxin0  
       May 12, 2016
    20k 行算小型项目,正常情况 1 各月要看完吃透
    zhtsuc
        2
    zhtsuc  
       May 13, 2016 via Android
    厉害
    alexapollo
        3
    alexapollo  
    OP
       May 13, 2016
    @yangxin0 一天 1000 行?
    ayaseangle
        4
    ayaseangle  
       May 13, 2016
    想 python 这类动态语言表达力太强,代码量小并不代表好读,有时候有进坑。。。
    kslr
        5
    kslr  
       May 13, 2016 via Android   ❤️ 1
    @alexapollo 读的思想,而不是砖头怎么摆的
    Dannytmp
        6
    Dannytmp  
       May 13, 2016 via Android
    没有必要把每一行都看懂吧
    haogefeifei
        7
    haogefeifei  
       May 13, 2016
    从使用角度去读很快的。。
    yangxin0
        8
    yangxin0  
       May 13, 2016 via iPhone
    @alexapollo 把握住要脉络,仔细看核心模块,其他的需要的时候再看
    nivan
        9
    nivan  
       May 13, 2016
    我看 LZ 头像的感觉,大概是读不完了!😄
    bytenoob
        10
    bytenoob  
       May 13, 2016
    难道单元测试的代码你也要读么。。。

    话说只看 scrapy 肯定不行吧, twisted 不看一下也是不行的。
    xiongxin8802
        11
    xiongxin8802  
       May 13, 2016
    @Yc1992 不读单元测试,不知道有什么功能吧,我现在也在疑惑读别人的代码,是不是要先读单元测试
    veezzz
        12
    veezzz  
       May 13, 2016
    最近自己也在造爬虫轮子,有兴趣可以交流下
    xiaket
        13
    xiaket  
       May 13, 2016
    用过, API 实在不友好, 如果有选择的话, 可能读 @binux 的 pyspider 会更好.
    andong777
        14
    andong777  
       May 13, 2016
    可以考虑读一下早期的版本,比如 0.1 。早期版本比较精简,都是核心代码
    28ms
        15
    28ms  
       May 13, 2016
    scrapy 框架的核心是基于 Twisted 框架,其本身并没有什么复杂的东西, twisted 才是关键。
    alexapollo
        16
    alexapollo  
    OP
       May 13, 2016
    @Yc1992
    @xiongxin8802 同感,先读测试效率高
    alexapollo
        17
    alexapollo  
    OP
       May 13, 2016
    @28ms Twisted 复杂吗?
    @Yc1992
    wsy2220
        18
    wsy2220  
       May 13, 2016
    不是每一行都要看的...
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3971 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 110ms · UTC 10:22 · PVG 18:22 · LAX 03:22 · JFK 06:22
    ♥ Do have faith in what you're doing.