有哪些 VPS 能让你随便搭蜘蛛/爬虫 做抓取的?

2015-09-15 19:36:29 +08:00
 DiffView

小弟现在有个 DigitalOcean 的 VPS ,放 blog 的。
看了看 DO 的条款,貌似是禁止用蜘蛛去抓网站的。
难道要用树莓派 24h 在家里挂着?

1025 次点击
所在节点    VPS
11 条回复
onlyxuyang
2015-09-15 21:28:55 +08:00
买个便宜的独立 server... 另外...DigitalOcran 做 blog 是不是太奢侈了......
msg7086
2015-09-15 21:31:55 +08:00
蜘蛛爬虫一般都是和灰产挂钩,人家怕你万一干什么坏事他自己要倒楣,所以一般都会禁掉。
可以找那种不管你是否违法的宽松厂商。
(比如 CC 网络的,比如欧洲小国的
sefemp
2015-09-15 21:35:05 +08:00
限制你流量就行了,还管你爬虫?
ianisme
2015-09-15 21:35:41 +08:00
独服
Moker
2015-09-15 21:38:01 +08:00
表示 DO 开了爬虫好几个月还没被封
不过可能爬的内容不多吧。。一个是 lofter 某些 BLOG 还有 ins 之类
onlyxuyang
2015-09-15 21:39:38 +08:00
其实是看爬虫怎么写,一般 VPS 会监视端口数... 爬虫同时开的线程少抓取的线程少的话,服务商根本就不知道是不是爬虫,但是如果想做个高效的话,大量开线程并行抓取是不可避免的,那样端口数就会开很多,会被 vps 服务商 warning...

不过实话实说啊~ 只要做的不是很明显.... vps 服务商鬼知道你是普通程序在 run 还是爬虫啊....除非服务商闲的蛋疼追踪每一个出去的连接的对端 ip
wgf2008
2015-09-16 00:40:14 +08:00
正好有 2 欧的不要了,你要不要?
sinxccc
2015-09-16 03:05:44 +08:00
貌似 Linode 管得很松。
Bryan8
2015-09-16 17:55:07 +08:00
@wgf2008 2 欧几钱?
wgf2008
2015-09-16 21:23:59 +08:00
@Bryan8 看着给吧,我也没卖过
Bryan8
2015-09-16 21:27:08 +08:00
@wgf2008 我也没买过,详细聊聊把 五一七二二五七三四

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/220937

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX