你们一般都爬些什么？

2017-07-17 22:53:39 +08:00
 julyclyde
我看很多人都从爬虫入手学习 python 啊，可是在我的认识里，基本上是个网站都有各种防爬措施了吧，那你们到底在爬什么呢？如何区分是自己的程序有问题还是被对方给防御了？
9797 次点击
所在节点    Python
60 条回复
duan602728596
2017-07-17 23:02:14 +08:00
爬手机某些 app 的数据，爬某些网站的数据并实时发送到群里，脚本节省人工的时间
tgxh
2017-07-18 00:04:36 +08:00
爬某番号站的磁力链接
cnbeining
2017-07-18 00:06:57 +08:00
爬 Chegg 的答案 HTML 解析成 Markdown 渲染成 PDF 就可以丢 iPad 上随时看了（暴露年龄）
0xvincebye
2017-07-18 00:12:29 +08:00
爬美女图片呀
am241
2017-07-18 00:14:02 +08:00
合法福利图片
历史价格记录
公开的非直接提供的数据
Tunar
2017-07-18 07:20:06 +08:00
。宅男福利图片
Mutoo
2017-07-18 07:36:40 +08:00
例如在墨尔本，政府有开放数据平台，可以获得各种有意思的社会化数据。有提供相应的 API 接口读取，可以用爬虫自己采集整合到自己的网站。
https://data.melbourne.vic.gov.au/
hotsymbol
2017-07-18 08:14:27 +08:00
爬知乎的各种照片
laoyuan
2017-07-18 08:18:57 +08:00
害羞组？
xoxo419
2017-07-18 08:26:37 +08:00
@am241 #5 都是实用数据.
xspoco
2017-07-18 08:29:43 +08:00
请问有没有爬汤不热的啊 https://carry9109.tumblr.com/archive [NSFW]
xiayibu
2017-07-18 08:31:29 +08:00
中纪委数据
janxin
2017-07-18 08:31:51 +08:00
爱情动作片？ XX 照？
如果实在没什么要爬的，你也没必要非爬不可
lxml
2017-07-18 08:32:33 +08:00
Javbus， 一个 Java 学习网站
AEANWspPmj3FUhDc
2017-07-18 08:34:42 +08:00
1024
janxin
2017-07-18 08:38:50 +08:00
@xspoco https://github.com/dixudx/tumblr-crawler 不用谢（严肃脸
jeffersonpig
2017-07-18 08:52:27 +08:00
爬写真集的下载链接然后自动下载解压
est
2017-07-18 09:30:28 +08:00
@xspoco 开车了。。
gauzeehom
2017-07-18 09:50:26 +08:00
爬山爬树
annielong
2017-07-18 09:58:06 +08:00
爬汤的太多了，但都没有管理功能，爬一次以后，不能检测更新文件

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/376024

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX