放弃内存数据库优化方案,直接重新开发吧.预算 2k,有时间能力的大神请帮个忙

2017-09-12 16:40:05 +08:00
 fourstone
现在的环境
windows2008 r2+mssql2014
数据一千万行,800m(这已经是我 3 年的数据总和了)
自己不会搞了,也搞了很久了,一开始开发功能一点点添加起来,没有速度要求,所以数据结构很乱了。筋疲力尽,(主要还是自己能力不够,时间也不够用了),还是请有能力有时间的 mjj 帮忙开发一下。

软件环境:
windows 下面能使用,什么 mssql,mysql,db,开发环境语言的无所谓,只要速度达标,越快越好

软件要求:
每天本地导入分析一份 100w 行,两列(A 列数字,B 列字母),纯字母和数字的 csv.22MB 大小
进行分析,查询,比较
速度是关键的,要求导入+查询全部 1s 内完成,也就是毫秒级
环境在服务器上,win2008 r2 ,但是是纯个人使用
假如这全是模糊搜索,那么 1 千万行,后面的几千万行的时候,速度也不要慢太多,1s 左右差距。估计我 10 年也到不了几千万行。
原有数据采集过去还是到处 csv,再全部导过去?
开发时间:
因为我现在手上有完整的软件和数据库可以用,但是速度瓶颈了。
所以具体软件功能也不多,有现成的给你参考
其实就是导入,分析,查询,提取
我知道大神都比较忙,这也只是一个金额不大的外包,所以在你完成工作,把完妹,撸完之后
抽时间尽快搞定。
一周?你定吧。

请有能力有时间的 mjj 联系我 qq,感谢
49 六一 47 九五三



来,技术 mjj,翻我牌子吧
1385 次点击
所在节点    程序员
2 条回复
zzcworld
2017-09-13 04:02:21 +08:00
用 KDB+,非商业用途免费
Nitromethane
2017-09-21 09:21:48 +08:00
所以你机器的性能如何?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/390101

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX