大概有 10 台闲置的云服务器，能做点什么？

2020-03-27 21:13:18 +08:00
 explorer123
算了下如果按 1 核 2G 算大概能够 10 台 1 年的。如果降配会多几台，升配会少几台，如果是竞价实例会更多。
我主要用 python，想做爬虫，但是爬什么呢？
另外请教下，怎么方便得管理这 10 台服务器？比如本地修改程序后自动部署到这 10 台上，爬完后把数据汇总再下载到本地，如果大神们能推荐合适的轮子就不用自己再去造了。
11206 次点击
所在节点    服务器
60 条回复
susecjh
2020-03-27 21:14:48 +08:00
学习 k8s 啊，好机会！
PhyllisLin
2020-03-27 22:25:06 +08:00
hadoop 集群
lshero
2020-03-27 22:40:22 +08:00
当然是挂探针
xpresslink
2020-03-27 22:41:51 +08:00
挖矿
huiyifyj
2020-03-27 22:42:59 +08:00
挖坑，探针，吃灰...🙃
keepeye
2020-03-27 22:44:13 +08:00
我野路子，本地生成 pyc，然后打压缩包放到 oss 上，通过 pssh 批量控制服务器下载压缩包、解压缩、重启服务。大概几百台服务器就是这么管理的
AllenBigBear
2020-03-27 22:44:27 +08:00
想问下。。。为啥会买这么多服务器。。。
levelworm
2020-03-27 22:54:51 +08:00
出租服务器让别人比如学 spark 这种。。。
Ultraman
2020-03-27 23:04:11 +08:00
给个 ssh 我义务帮你管理一台吧🙊
majiaxin110
2020-03-27 23:19:49 +08:00
部署可以了解下 CI/CD，可以用一些工具比如 teamcity
vus520
2020-03-27 23:20:30 +08:00
批量管理机器用 salt 啊，或者 k8s
locoz
2020-03-27 23:27:51 +08:00
k8s 玩起来啊
mumbler
2020-03-27 23:47:11 +08:00
有很多学生买不起服务器，你可以把服务器分割足够小且可用，免费给学生申请
superrichman
2020-03-27 23:58:25 +08:00
你需要的是 scrapy-redis，不过可能性能过剩了
timothyye
2020-03-28 00:44:49 +08:00


算了一下，我还有一台没加入监控，我也有 10 台……
icecrack
2020-03-28 03:36:43 +08:00
@timothyye 这用的哪家的监控？
kaiki
2020-03-28 06:24:00 +08:00
10 台相互发包并处理，直到其中 9 台瘫痪，剩下一台作为胜利者？
noqwerty
2020-03-28 06:48:00 +08:00
@icecrack uptimerobot，我关注了这个大佬的博客
ufan0
2020-03-28 07:31:22 +08:00
@mumbler 服务器一年的价格还没有学生半个月的零花钱多。
wzw
2020-03-28 07:31:43 +08:00
@keepeye 为什么要生成 pyc

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/656937

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX