一个服务器只有几台，最大内存不到 16G 的软件公司还想搞爬虫大数据，这算什么样的公司

[cnfzv]

一个服务器只有几台，最大内存不到 16G 的软件公司 想搞爬虫、大数据，抓取的数据库主要用 SQLSERVER 。 搞数据抓取的只有一个新人,这算什么样的公司

[cnfzv]

@ytmsdy 只是想做大数据，并不是把现在这点东西当作大数据了。

[sweb]

主要看钱，楼主纠结啥？

[benbenlang]

老板被卖服务器的忽悠了，，，你要再和他争辩他会觉得你能力不行。。。

[qqpkat2]

@cnfzv 第一次听说搞开发的事情很杂，你来搞搞边运维边开发试试？

[firefox12]

512M 主机 每天 20 分钟扫描京东全网，不过那是 5 年前了。在 512m 主机上 每天还完成 1800 万房产数据的排序。

我不觉得这样的设备有什么差的 现在端口支持 reuse 。抓多少数据只是受限于网络和 cpu

[towser]

公司名字叫什么

[cnfzv]

@qqpkat2 我就是那个 java 新人，开发水平比较低，数据库基本维护就是我在弄，服务器基本没人管理，我大概做一点简单的维护，里面跑的都是公司正在用的项目程序，需要什么东西自己一点点在上面研究部署。

[cnfzv]

@firefox12 三台全是 Windows 服务器，爬虫和数据库都在上面，需要经常从上面查点数据

[Felldeadbird]

这要看你们要爬什么数据了。 16G 内存，可以实现很多东西。
我司的爬虫才 1G 内存。主要爬对手商品信息，动态。
楼主你这种没有详细信息的内容，真让人为怀疑你是为了喷而喷。

[cnfzv]

@benbenlang 并没有，都是好久之前的服务器，起码 2011 年之前的吧

[stabc]

如果是专业领域的大数据也不一定需要非常大容量啊。

[bravecarrot]

大数据 不一定是数据量很大很大

[cnfzv]

@Felldeadbird 三台服务器，全是 windows ， 6 、 7 年前的机器吧，两台在外网的都是公司正在用的项目，不敢大折腾，剩下的一台是个 8g 内存的塔式，抓数据、入库、数据处理、数据查询都要在上面进行。带宽不到 1MB 吧，其实能跑的动，只是我水平不够，也只有我去弄爬虫，心累。

[cnfzv]

@stabc
@bravecarrot 并不是什么专业数据，也算不上大数据，只是公司有那个想法。干的一个项目的活，人家想要哪部分的信息，你就去抓哪部分，弄好了给人家送去。

[simapple]

也行 先跑着呗 等不够用了 上云

[reus]

水平不足赖硬件……
16G 不小， SQLServer 不差，做爬虫一个人也够。
问题在于你，你能力不够，又不肯学习，才赖硬件，赖数据库，赖人手，赖公司。
抱歉，实在不知道你有什么可以抱怨的。

[deadEgg]

16G 真的够了，你怕内存爆了，很多框架都有类似于 placeholder 的机制。

你用心去做绝对搞得出成果的，不过可能时间上和过程上比较困难一点点而已

[Jimrussell]

大家没注意到楼主说的是“软件公司”么。很明显老板想开拓新业务，然后挑了楼主在试水啊。花钱让你涨技术涨经验，这样的好事并不多的好吗。

[windfarer]

楼主觉得多大的内存才能跑爬虫。。

[cnfzv]

@reus 心情不太好，抱怨下能让自己好过点就碎嘴一会吧。我并不完全算开发吧，要研究爬虫，要去查数据库，比对数据字典导数据，偶尔兼职测试按要求去测业务。做的一堆东西从来没有开发文档，口头需求，现做现改，所有东西全靠自学，不会的全靠百度，最近又弄了堆破事，有心无力，允许我抱怨下吧