需要对万行级别的 Excel 进行关键字 ETL,哪种方向靠谱?

2019-11-07 10:25:13 +08:00
 Kamitora

看上去很简单的需求

给我的数据源是几个万行级的 Excel 和一个 Word ( Spotfire )导出的 CSV,从中提取出有用的关键字,并判断每一行的第一个单元格内是否存在这些关键字。

我觉得不行..

上级给我的建议是通过一些 Excel 公式去解析

我的几个想法

然而以上三个在这方面都没有经验,哪个上手比较快且靠谱?我盲猜一个 C#,还有其他方法的话请各位指教,谢谢。

1597 次点击
所在节点    问与答
13 条回复
qsnow6
2019-11-07 10:28:08 +08:00
VBA 方向
benjix
2019-11-07 10:34:43 +08:00
感觉这需求 excel 公式几分钟就算完了
TimePPT
2019-11-07 10:39:16 +08:00
Python + Pandas 干这事不要太爽
Pho3nix
2019-11-07 10:42:01 +08:00
Python + Pandas+1
Dabaicong
2019-11-07 10:42:11 +08:00
万行。。。。excel 公式就足够了。
yesterdaysun
2019-11-07 10:43:27 +08:00
python 比较合适, 听你的意思是要分词统计, 筛选关键词, 再做过滤统计分析啥的, python 直接全套 numpy, pandas, dataframe, sklearn 啥的, excel/csv 读取保存方便的很.

虽然万行级听上去很多, 其实这个数量级还没到瓶颈, 瓶颈是你的需求, 如果只是直接指定关键词的筛选, 或者统计, 关联查找, Excel 公式就能搞定, 就怕要做分词, 复杂的统计等一类公式很难做的部分.

c#,vba 感觉数据处理方面不如 python, 一步到位, 上 python 吧
Vegetable
2019-11-07 10:44:36 +08:00
excel 公式。
fanzheng
2019-11-07 10:49:14 +08:00
去学一下公式吧……
PinkLadyMage
2019-11-07 10:50:12 +08:00
kettle
wangkun025
2019-11-07 10:50:44 +08:00
原则是:能用 excel 处理的,尽量用 excel 处理。

你这个明显是能用 excel 处理的。
别的办法都是浪费时间
qwingmix
2019-11-07 10:53:47 +08:00
杀鸡焉用牛刀,我们 pandas 都是用来出来百万行级别以上数据的。
你这个就 excel。
没有学的欲望我教你,就去淘宝或者 excelhome 外包出去,几十块钱买个公式。
exip
2019-11-07 12:57:28 +08:00
excel 公式都不想学,你选这三个方向哪个都比 excel 公式复杂
lollxxox
2019-11-08 10:41:09 +08:00
在 windows 下,65536 行内,excel 是最低成本解决方案.....除非是每日程式化工作统计(其实 vba 也足够了),另外 3 个方向都是大炮打蚊子。。。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/617116

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX