scrapy FilesPipeline 下载视频文件问题

2019-07-17 10:41:34 +08:00
 ranlele
使用 scrapy 抓取的视频 url,有过期时间，本来自定义在 pipline 写了一个使用 requests 下载（ stream=True ），但是发现 scrapy 自带的有下载视频文件。不知道这个下载是否可靠。有大佬用吗。
2188 次点击
所在节点    Python
4 条回复
ranlele
2019-07-17 10:54:23 +08:00
python 下载视频文件，一般都是用什么工具啊。是用的 requests 吗。
ranlele
2019-07-17 11:09:57 +08:00
scrapy FilesPipeline
locoz
2019-07-17 16:26:38 +08:00
应该把“视频文件”换成“二进制流”来理解，实际上只要是个 HTTP 客户端库都可以，并没有什么可不可靠的问题。
locoz
2019-07-17 16:28:02 +08:00
看了一下 scrapy 的文档，FilesPipeline 完全没问题，用就完事了

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/583692

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX