请问有没有什么规范的中小型 Python 爬虫项目可供参考？

2021-03-30 13:52:53 +08:00
 Phishion

之前一个爬虫 1000 多行全写在一个文件里，这个东西已经毫无维护性了，所以，我想重构一下

爬的是 API，但是有蛮多定制功能的

重构的话，我想这个项目应该包含单元测试，有完整的日志记录，解析模块，下载模块，调度器什么的都分开

我看了几个例子，有面向对象做的，也有全部都是函数的，我问问大伙儿有没有比较规范的样本，但是也不要是什么庞然大物，毕竟本身也不是什么大的项目，我也学习学习，谢谢大家了！

2308 次点击
所在节点    Python
11 条回复
b29107b
2021-03-30 13:55:00 +08:00
github
learningman
2021-03-30 14:11:16 +08:00
scrpy 的文档
learningman
2021-03-30 14:12:00 +08:00
调 API 不叫爬虫吧，你可以用 metaclass 弄个 wrapper 出来
triangle111
2021-03-30 14:18:31 +08:00
mark，做完后看看有没有得白嫖的
CoCoMcRee
2021-03-30 14:24:10 +08:00
找个 scrpy 教程看下, 基本就是当下主流爬虫的做法了.
hunk
2021-03-30 14:47:36 +08:00
还是自己写吧，现成的框架或多或少都有限制，走了一圈发现，还是自己写。
另外，前一段，单独把抓取这块改成 go 了，用协程爽歪歪。
ClericPy
2021-03-30 20:47:35 +08:00
这么多人说 scrpy, 看来真不是 scrcpy 和 Scrapy...
hanssx
2021-03-31 10:03:33 +08:00
@ClericPy 整得我以为真有 scrpy，还去搜了下。。
ClericPy
2021-03-31 20:56:12 +08:00
@hanssx a ... 我当时搜 Github scrpy 还真搜到个以为就是它, 好吧我错了. 这单词用拼音打出来正好是四川人朋友...
HankLu
2021-04-01 21:25:22 +08:00
爬虫写得好，牢饭吃到饱
ErwinCheung
2021-04-05 19:30:41 +08:00
爬虫写得好，牢饭吃到饱

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/766479

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX