平时需要抓取大量数据,想入台刀片机放在家里,求 V 友推荐

2017-01-29 13:49:21 +08:00
 plantparknet
云主机已经有两台,国内一台,跑着 wordpress ,香港一台目前闲置,但国内 ssh 连延时比较明显。两台主机都是入门级配置,“ CPU:2 核,内存:2.0 GB ,磁盘类型:普通磁盘,磁盘:20 GB ,带宽:7 Mbps ,操作系统:CentOS 6.4 64 位"

国内云主机连接方便但跑着 Wordpress ,虽然流量不大,但担心跑的程序或修改的配置对其造成影响,不想花太多精力维护。

主要是平时数据抓取的需求比较大,高峰期一天几百 G 的流量,目前在 Mac 上跑虚拟机,但程序一运行,风扇就开始疯狂的转,最近还出现过几次虚拟机崩溃的情况,虽然分配了 6G 内存,并没有多少改善。多少有些心疼现在的 Mac 。

有朋友推荐 Gen3 ,但发现国内新机配置也较一般,价格似乎有些偏高。淘宝发现有许多二手刀片机,是一个不错的选择, cpu 高达 32 核也才两千左右的价格。

对服务器的需求顺序如下:
CPU : 16 核以上
内存: 6G 以上
硬盘: 500G 以上,最高可到 1T-2T ,现有几块机械的 USB 外接硬盘,不知是否可以使用。

家里还存有几块树莓派,从一代到二代都有几块,还有几块 Intel Galileo ,但这性能似乎很难满足我的需求吧,懒得折腾了,当然有时间可以搭个小集群玩玩。

目前淘宝找到如下的服务器

1.游戏工作室首选 插大显卡 24 核 服务器 静音 HP Proliant DL380 G7
https://item.taobao.com/item.htm?spm=a1z0k.7385961.1997985097.d4918997.9FV5W0&id=38413656832&_u=t2dmg8j26111

2.新到货 新款 2011 针 32 核 E5-2670 C2 CPU 32G PK DELL R620 服务器
https://item.taobao.com/item.htm?spm=a1z2k.6997417.0.0.t6s6WG&scm=12306.1.0.0&id=543998142884

3.原装 IBM X3650 M3 X5650 X5660*2 24 核 云计算 虚拟化平台 服务器
https://item.taobao.com/item.htm?spm=a1z2k.6997417.0.0.t6s6WG&scm=12306.1.0.0&id=523720271697

此外,此类刀片机放在家中,可有好的防尘静音措施么?

先行谢谢各位 V 友了~~

祝各位鸡年都有更多的好机机~~
14363 次点击
所在节点    Linux
116 条回复
kslr
2017-01-29 13:56:21 +08:00
太吵和费电,静音可以自己更换风扇,但是挺麻烦的。
cdwyd
2017-01-29 13:59:18 +08:00
爬虫不怎么耗 cpu 吧,一个 intel 电脑棒放着抓东西也够用了
Zzzzzzzzz
2017-01-29 13:59:30 +08:00
这些都是最少服役七八年转手过几次的洋垃圾了, 功耗和寿命都是问题.

1U 散热主要靠 N 个小风扇, 声音很闷沉刺耳, 你屋里放一台, 你邻居会砸门的.
plantparknet
2017-01-29 14:06:45 +08:00
@kslr @Zzzzzzzzz 太吵确实是个大问题,看链接一有说静音稍有优势,平时卧室床头放一小米净化器,全天 auto 档,偶尔会来个爆转,晚上的噪音还可以接受,不知与之相比会严重到什么程度。

@cdwyd 可能是我开的线程有点多。。。在 6G 内存的虚拟机跑确实会让 mac 风扇狂转
29EtwXn6t5wgM3fD
2017-01-29 14:08:51 +08:00
双路 x79 ecc 内存随便插
kslr
2017-01-29 14:09:57 +08:00
@plantparknet #4 声音大概和用电钻一样吧,我之前放在一间屋子里面,在里面操作都要带上耳塞要不然吵的头疼。
kslr
2017-01-29 14:11:45 +08:00
@plantparknet #4 商家说的静音是相比较下的,正常人都受不了的。总体来说性价比很低,当然你也可以买回来过过瘾再卖掉。
Eleutherios
2017-01-29 14:12:53 +08:00
@plantparknet 我也觉得没必要买刀片,考虑一下小盒子?
https://item.m.jd.com/product/3959300.html
cdwyd
2017-01-29 14:15:17 +08:00
@plantparknet
抓取和数据处理分开,只抓取的话不费资源
JackyBao
2017-01-29 14:22:59 +08:00
爬虫用树莓派爬不动?
plantparknet
2017-01-29 14:31:43 +08:00
@cdwyd 100 个线程同时开启,得到的多是 json ,貌似比解析 html 要省些资源,然后存储到 mongodb ,这是平时的主要应用场景。当然,如果硬件配置够强,甚至想把线程数再提升几倍。

@Eleutherios 貌似这只是一外壳加主板,还需要单配 cpu 内存之类,全套下来与 gen8 相比,似乎并没有多少优势了。

@shengyu 求推荐套装方案~~

@kslr 电钻这声音还是蛮恐怖的。。。不过你当时的机子啥型号配置呢?( https://item.taobao.com/item.htm?spm=a1z0k.7385961.1997985097.d4918997.9FV5W0&id=38413656832&_u=t2dmg8j26111 )看这款描述似乎静音效果要稍稍好些
plantparknet
2017-01-29 14:34:29 +08:00
@JackyBao 没尝试过,之前因为虚拟机内存在 2G 左右,开了程序后,直接被 kill 掉,内存增加后这种现象减少了很多,所以结论是树莓派恐怕会很吃力,当然并没有实际测试过。如果可行,我家的那几块都可以好好利用起来了
supermaxisme
2017-01-29 14:40:08 +08:00
在家里面上刀片,
会存在功耗与噪音两个问题。
还有家里面的衣服纤维会进去................时间长了散热也是个大问题。
JackyBao
2017-01-29 14:43:53 +08:00
@plantparknet 试试看吧,感觉树莓派性能应该够,而且可以几块一起并行爬。另外推荐一下国产的 orange pi ,配置比树莓派更高,刷 armbian 后真的不错。
hack
2017-01-29 14:48:47 +08:00
我有 i5+8G 家用常年开机,北京联通家用宽带有外网 IP ,除了存储都能满足的样子。几百 G 如果是 SSD 感觉就哭了
plantparknet
2017-01-29 14:50:37 +08:00
@zyzrichard 确实,因此把除尘也优先考虑进去了,如果购买刀片机的话,估计需要准备不少除尘过滤网

@JackyBao 嗯,回头返京后试试
plantparknet
2017-01-29 14:52:00 +08:00
@hack 日常都跑哪些服务呢?看众 V 友对刀片的噪音和功耗的担心后,有心想入台一般家用主机了。。。
hack
2017-01-29 14:53:01 +08:00
@plantparknet web \ssh \resilio sync \debug
gouchaoer
2017-01-29 14:54:45 +08:00
服务器 cpu 要的是稳定,爬虫不需要稳定的。。。。直接上 pc 就完了。。。。
cpu 的话 i7 性价比最高,内存 32g 吧,推荐 windows7 操作系统,好用
gamexg
2017-01-29 14:58:17 +08:00
那种 1u 的小风扇如果没调速功能声音和拖拉机类似。
我是自己换的 pwn 调速的大风扇外加单片机做的 pwn 调速,秋季时声音可以忍受,冬天声音比台式机还小了,夏天什么情况就不确定了。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/337321

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX