一个服务器只有几台，最大内存不到 16G 的软件公司还想搞爬虫大数据，这算什么样的公司

[cnfzv]

一个服务器只有几台，最大内存不到 16G 的软件公司 想搞爬虫、大数据，抓取的数据库主要用 SQLSERVER 。 搞数据抓取的只有一个新人,这算什么样的公司

[XDA]

对比我们自建机房上百台物理机啥也没干不好，每月几十万的服务器租赁费用，没有对比就没有伤害

[jyf]

内存不是问题 主要是出口 ip 另外我想楼主可能是想吐草大数据这三个字

[wdlth]

配置不是大问题，数据的处理才是……

[razrlele]

@firefox12 太强了。。。能透露下怎么做到的么。。。感觉解析页面还是很耗 CPU 的把。。。

[sagaxu]

我手上 4 台专用的，没有内存低于 32G 的，虽然只用了不到 4G ，但是公司采购不到这么低内存的双 CPU 机器

[roist]

听起来像是

老板有亲戚在当大官，能拿到政府补贴或者订单的

[scofieldpeng]

我家里一个上网本， 2g 内存， atom 的 cpu ， 250 的 sata 硬盘，爬了 几千万的数据，还做分析。你这硬件我都很口水好么==

[hpeng]

港真，爬个数据要给我这么大内存我就偷笑了，又不在这台机上处理。我就不信要多差的技术的爬虫才会用到 16g 内存不够用的，带宽给足，什么都好说。

[victory]

可以去华强北组一个二手服务器来他个 64G 内存 而且 2011 年服务器肯定用的 DDR3 内存 现在 DDR3 洋垃圾内存白菜价

[Miy4mori]

@gouchaoer 同意， mongo 真的是不堪大用

[Leafove]

员工工资都发不起结果 CEO 整天在整人工智能的公司我都见过

[phpiis]

先爬再说啊，赚到钱了自然可以游说升级服务器

[dsg001]

家用 pc 都不止这个配置吧

[wizardoz]

为什么不可以搞？硬件等到不够用的时候再升级有什么问题？

[jianghu52]

跟你说个真实的事情。我们公司，现在 3 台机器。 4G 内存内存，两台 python ，一台 java ，用了 2 条联通，一条电信。一个月，一台机器爬两百万条数据。你知道怎么搞定 IP 池的么。断线换 IP ！

[yanzixuan]

@jianghu52 没啥不对。。我感觉你们公司好机智的呢。

[yanzixuan]

@Miy4mori mongo 除了吃内存，不能自动回收，也没啥缺点。。。

[cnfzv]

@jyf 是的，都打算往上面做，但是每一个往上走的，要设备没设备，要人没人，一个 sqlserver 把硬盘跑的满满的

[cnfzv]

@phpiis
@roist 没错 zf 项目，钱已经收到了，再想拿就是另外的项目了，现在就是后续的东西，感觉和技术支持一样

[cnfzv]

@hpeng
@wdlth 没错 ，爬虫、存储、处理都在一个 8g 的服务器上，非 raid 磁盘，另外两个是添头，其他业务在上面，我只是拿来跑个爬虫而已。