600 万行 tsv 打开方式

142 天前
 Winner4good
600 万行的 tsv 用 excel 的 powerquery 打开就卡死
之前最多打开过 300 万行;
除了给电脑加内存条还有别的办法吗。。
需要把 raw data 直接给到业务部门,他们自己要各种维度的分析
4021 次点击
所在节点    数据库
29 条回复
xgdgsc
142 天前
https://github.com/JuliaComputing/TableView.jl 用 CSV.jl mmap 方式打开文件用这个浏览?如果除了浏览还要分析就看分析需要的内存了
sdshiyan2005
142 天前
无脑 duckdb ,或者 polars 。数据不算大
70k
142 天前
先拿一小部分给 ai 看看分析下结构 然后让 ai 给你写脚本 你直接运行就可以看到想要的结果了
xmdbb
141 天前
早期:access 开权限,业务经理自己链表操作查看数据。
中期:导出 excel ,他们自己发挥。
现在:业务给出需求,系统出对应报表。
wittyfans
141 天前
列式存储
ltux
141 天前
加内存也没用,excel 有明确的行数上限 1048576 ,只能换工具。
gzldc
141 天前
网页打开 分页
xingheng
140 天前
要啥自行车,直接 less ,手动狗头
dlllcs
140 天前

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1126768

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX