能不能拦截 Internet Archive 的数据请求？

2019-01-28 23:03:43 +08:00
 dalieba
不知道有没有可能在 V 站的 robots.txt 加一条规则，从而排除来自这个网站的爬虫。
3856 次点击
所在节点    V2EX
6 条回复
wjm2038
2019-01-28 23:28:14 +08:00
/t/531025
你俩可以唠唠嗑
dalieba
2019-01-28 23:31:00 +08:00
有情 @Livid
Tink
2019-01-28 23:36:16 +08:00
这是有啥讲究么？屏蔽这个网站
ryd994
2019-01-29 01:32:52 +08:00
@Tink 估计是有不想留下记录的文章
然而 robots.txt 只是一种约定俗成，并不是严格规范，不遵守的爬虫多了去了。
Trumeet
2019-01-29 02:03:57 +08:00
1. 没有意义
2. 没用
3. 可以实现
phy25
2019-01-29 04:10:39 +08:00
对于编辑的限制是为了让大家对发表在 V2EX 的言论更加负责。https://www.v2ex.com/faq

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/531401

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX