作为一个抠门的人,如何压榨服务器,不然它吃灰?

2023-04-26 02:10:35 +08:00
 miv

买了一个服务器 2u4g 的,之前看我帖子知道。 现在这台服务器还是工作量不饱和啊~

所以用几天学习了一下 Python 。 这下好了,今晚上线了自己的一个小爬虫。 功能就是抓取一些感兴趣的信息,然后信息落库到 SQLite ,接着发送到邮件通知。 太舒服了~

7015 次点击
所在节点    奇思妙想
58 条回复
miv
2023-04-26 02:20:29 +08:00
接着,我给大家分享几本我入手 Python 学习的资料吧。有一样的需求可以收藏:
1.《 Python3 反爬虫原理与绕过实战》:这本书牛皮,很多反扒都说了,打开小白的眼界了。
2.《 Python 王者归来》:小白入门好书,挑选其中好看的部分就行,这本书超级全面,啥模块都有介绍。
3. 《看漫画学 Python 》:愉快的书,消遣可以看看。
对于不搞那些异步爬虫,分布式爬虫的人的业余人士来说,学这几本可以就差不多了。
入门门槛低,学习以后让 Python 爬虫帮你干活,也没有消耗很大服务器资源,非常香。
LeegoYih
2023-04-26 02:32:09 +08:00
面向铁窗编程👍
miv
2023-04-26 03:10:11 +08:00
@LeegoYih 我一小时才抓一次,毛毛雨啦,一次才十几条数据而已,公开的数据。
hsir
2023-04-26 03:25:41 +08:00
“感兴趣的信息”.... 有啥值得抓的数据?🤔️
em70
2023-04-26 04:20:09 +08:00
爬些视频,用 ffmpeg 转码,一下就饱和了
muzihuaner
2023-04-26 08:08:50 +08:00
24h 直播
imaning
2023-04-26 08:47:09 +08:00
转码这小鸡怕是要炸。
locoz
2023-04-26 08:55:51 +08:00
你还差个 Python3 网络爬虫开发实战
HowardChan
2023-04-26 09:09:56 +08:00
装个 k8s 集群
jacy
2023-04-26 09:19:17 +08:00
有些服务商的 tos 里不允许长期跑满,小心 ban 机
artnowben
2023-04-26 09:20:23 +08:00
跑个 DPDK 程序,cpu 直接 100%了,例如用 dperf 测一下这个虚拟网卡的性能。
https://github.com/baidu/dperf
lakehylia
2023-04-26 09:28:27 +08:00
要不要试试视频转码?
sheeta
2023-04-26 09:36:17 +08:00
跑 benchmark
shinko
2023-04-26 09:38:08 +08:00
还好你不是做老板的人。
fiht
2023-04-26 09:51:51 +08:00
> 作为一个抠门的人,如何压榨服务器,不然它吃灰?
这是个很好的问题,也是我最近一段时间一直在思考的事情。

压榨服务器,不让服务器吃灰,本质上是让服务器发挥价值,创造财富。而楼主提到的 “利用服务器跑爬虫” 就是其中一种让服务器发挥价值的事情。
还有另外两个典型的低门槛,用计算资源就能创造价值的事情:
1. 利用闲置的流量 /带宽。一个典型的应用场景是 PCDN ,或者以分享为主的 PT 资源。
2. 利用限制的算力。比如说挖矿。
这两个事情无需专业技能就可以上手。

我也在服务器上投入了不少资源,也在尝试让服务器(计算资源)创造财富,这个是我最近在做的
1 )学习炼丹技术。尝试用深度学习来简化安全运营里的一些运营工作。提高工作效率,学习新技能,节省时间 == 创造财富。
2 )针对 bug bounty 做一些自动的安全测试。发现厂商漏洞,提交漏洞,也可以创造财富

我觉得楼主可以想想,除了让服务器帮助自己学习技能外,怎么使用计算资源为人类创造财富(给自己赚点钱)。


我快把 V2EX 当知乎用了 QAQ
nevadax
2023-04-26 09:59:17 +08:00
@fiht 那两个低门槛的事情,服务器挂机 pt 会扰乱正常的市场,很多都会 ban 掉。挖矿这个操作,本质就是完全没意义浪费资源的事情,您是真的懂如何资源最大化的。v2ex 当知乎,你猜猜我们为什么不用知乎?搞乱别的环境还好意思说
Mutoo
2023-04-26 10:04:04 +08:00
作为很抠门的人,我想知道 CPU 由低负载变为高负载的时候电费会增加多少。
hamsterbase
2023-04-26 10:25:50 +08:00
@fiht 用 ai 回答,会被封号
fiht
2023-04-26 10:55:43 +08:00
@nevadax
首先
1 )服务器挂 PT 会扰乱正常的市场。请解释为何会扰乱正常的市场? VPS 限制资源和使用量,在使用量内使用计算资源,有何不可?
2 )挖矿是没有意义和浪费资源的事情,这个是你对挖矿的看法。我不辩驳。
3 )你提到我扰乱别的环境,请详细说明我扰乱什么环境了?

我在和楼主讨论 “关于如何让限制的资源创造一点价值” 里我的看法,我认为我的答案对别人有帮助 ;-)
fiht
2023-04-26 10:55:56 +08:00
@hamsterbase 手敲的哦~

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/935501

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX