前段时间学习 go 写了一个 tumblr 图片爬虫

2018-03-28 15:29:19 +08:00
 suyuanhxx

tumblr 爬虫（爬取指定主页）

-- 食用方法

  1. 在sites.txt中添加指定 tumblr 主页，比如http://allthingseurope.tumblr.com/只需要添加allthingseurope
  2. 多条分行添加
  3. 修改代理。将common/proxyHttp.go中的127.0.0.1:1080改成自己代理
  4. 下一步工作，获取高清大图......、

项目链接:https://github.com/suyuanhxx/crawler

2937 次点击
所在节点    分享发现
10 条回复
Danswerme
2018-03-28 15:31:10 +08:00
🐴
Danswerme
2018-03-28 15:31:29 +08:00
🉑
suyuanhxx
2018-03-28 21:17:21 +08:00
欢迎各位 star
flyzero
2018-03-29 09:40:01 +08:00
同时差不多 50 并发，官方不反爬虫吗
suyuanhxx
2018-03-29 09:44:20 +08:00
@flyzero #4 不会，这个并发量也不大
liyaojian
2018-03-29 11:17:17 +08:00
tumblr 不是有开放 api 吗
suyuanhxx
2018-03-29 11:18:59 +08:00
@liyaojian #6 开放的 api 需要注册开发者模式，我没弄
guonning
2018-03-29 11:29:00 +08:00
能否加个也可下视频功能？
suyuanhxx
2018-03-29 11:34:01 +08:00
@guonning #8 本打算做的，有时间就会继续的
DukeAnn
2018-04-27 07:56:11 +08:00
666

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/442156

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX