境外服务器上部署爬虫抓 YouTube(下载视频), YouTube 会不会封 IP?

2016-11-02 09:21:52 +08:00
 chendajun
11080 次点击
所在节点    Python
28 条回复
lslqtz
2016-11-02 09:32:09 +08:00
本人反代 YouTube ,然后用户就被验证码拦了
terence4444
2016-11-02 09:33:11 +08:00
每次打开会有验证码
chendajun
2016-11-02 09:36:25 +08:00
@terence4444
@lslqtz
YouTube 反爬比较严格,在阿里云香港服务器上部署了爬虫,刚开始可以抓一些。现在程序直接报错。
21grams
2016-11-02 09:39:05 +08:00
封 ip 那是轻的
chendajun
2016-11-02 09:49:16 +08:00
@21grams 请问有 YouTube 具体的反爬技术介绍吗?
majinjing3
2016-11-02 09:52:41 +08:00
@chendajun 可以尝试使用代理,建立个代理池,
mudone
2016-11-02 10:23:46 +08:00
做爬虫代理池不应该是标配吗。。
chendajun
2016-11-02 10:36:18 +08:00
@mudone 1 ,代理稳定性一直是个问题(付费的 vpn 稳定性也很不好,一直在用付费代理), 2 , youtube 封 ip 是封死的。
jimzhong
2016-11-02 10:37:55 +08:00
当然会
Aspx
2016-11-02 10:55:20 +08:00
代理池是标配
ljcarsenal
2016-11-02 11:02:25 +08:00
gg 是世界上最大的爬虫公司 当然反爬技术也是炉火纯青了
chendajun
2016-11-02 11:04:54 +08:00
@ljcarsenal 能感觉到反爬技术很牛逼。另外你的头像是 272 ?
ljcarsenal
2016-11-02 11:07:46 +08:00
zoudeze
2016-11-02 11:23:06 +08:00
表示 http://www.clipconverter.cc 一只很好用,干嘛要自己搞个什么东西爬视频~~~~
shuang
2016-11-02 11:41:05 +08:00
一直用的它提供的 API 接口爬视频然后下载的,跑了很长时间了,貌似没被限制过 ip
tumbzzc
2016-11-02 12:01:36 +08:00
以前爬过几千个视频,没有出现问题
chendajun
2016-11-02 12:49:37 +08:00
@tumbzzc 能具体说说你的方法不?
hujianxin
2016-11-02 13:19:19 +08:00
爬 youtube 啥意思啊,如果想单纯的下载视频的话用 you-get 或者 youtube-dl 两个软件都可以下啊,我下载几百个视频都不会有别的问题的。也可能我不理解你的意思
chendajun
2016-11-02 13:27:53 +08:00
@hujianxin 客户需要 youtube 新闻类的视频,我是把 you-get 集成到程序中,爬虫拿到网页链接后交给 you-get 去下载视频,现在 youtube 把 ip 封掉了。
wmttom
2016-11-02 14:07:08 +08:00
youtube-dl 单 ip 下了十万个视频还没被封,可能是运气好

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/317292

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX