各位爬师看过来

2017-09-01 10:40:19 +08:00
 altboy
爬取图片的时候，下载下来全都是一样的网站广告图片，应该是做了防盗链了，怎么解决呢？
3078 次点击
所在节点    Python
17 条回复
stop9125
2017-09-01 11:18:11 +08:00
其实看到这个标题心里一抖，啥叫爬师。
topbandit
2017-09-01 11:23:22 +08:00
伪装啊，找漏洞啊什么的
est
2017-09-01 11:23:51 +08:00
再请一个专门爬图片的爬师
Phariel
2017-09-01 11:30:38 +08:00
我第一反应，绝命爬师
altboy
2017-09-01 11:32:18 +08:00
@stop9125 哈哈，标题党，不然你们不来啊
altboy
2017-09-01 11:32:46 +08:00
@topbandit 伪装浏览器操作是么？ selenium 那东西？
altboy
2017-09-01 11:33:13 +08:00
@est 那就是爬师爷了。。。
ooh
2017-09-01 11:36:16 +08:00
上次我听到这种叫法是 码师。
hololens
2017-09-01 11:40:28 +08:00
python 不是应该叫代码的地下情报员么。
Itoktsnhc
2017-09-01 11:42:07 +08:00
可以尝试改下请求头的 referrer 模拟下浏览器内部的请求
altboy
2017-09-01 11:49:18 +08:00
@all 各位，找到解决方案了，那网站的做法是每次请求的时候需要带一个随机字符串（ UUID ），在这我顺便给你们推荐两个网站吧，一个白天看的 http://www.tuicool.com/a/，增长知识，一个晚上看的 http://www.mmjpg.com ，增长姿势
topbandit
2017-09-01 11:56:33 +08:00
伪装，就是模拟用户、浏览器等
pyufftj
2017-09-01 12:10:04 +08:00
哪有爬师，只有爬畜
jingniao
2017-09-01 12:45:00 +08:00
不是虫师么？
Sanko
2017-09-01 13:05:44 +08:00
吓了一大跳
uyinn
2017-09-01 21:43:15 +08:00
@altboy #11 你说的带 UUID 的网站是哪一个？ 是怎么发现的呢？麻烦说一下
OpenJerry
2017-09-02 11:17:09 +08:00
@altboy mark 晚上回去爬第二个网站

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/387377

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX