难: 20G 的 txt 文本,求如何导入 Excel?

2017-05-03 15:02:57 +08:00
 curiosity

部门最近处理数据,从 IT 那里导出了 20G 的 txt 文件,但是不晓得怎么用。V 友萌给点建议撒~

6973 次点击
所在节点    数据库
89 条回复
s7word
2017-05-04 01:29:23 +08:00
20G txt?给 excel 它能吃的消?
wuYin
2017-05-04 01:55:15 +08:00
大公司面试题既视感[doge]
xpsair
2017-05-04 02:01:57 +08:00
excel 好像只能处理到 50W 行左右的数据,多了就会显示说只加载了一部分。
ryd994
2017-05-04 04:20:07 +08:00
excel 那么可怜,你为什么要这样欺负它?
ggmood
2017-05-04 06:19:11 +08:00
@ryd994 噗~
zhidian
2017-05-04 06:27:49 +08:00
我想吐槽了,如果一楼不对……你确定不是 csv 的文本 Excel 能知道怎么导入?是 csv 的话拆分起来不是 so easy ?
Romanticlizhi
2017-05-04 08:24:07 +08:00
@dexterzzz 2003 一个 sheet 是 6w 多,2007 一个 sheet 是 100 多 w,这没毛病的
Romanticlizhi
2017-05-04 08:25:24 +08:00
@davidqw 是一个 sheet 支持这么多行,并不影响你多 sheet
shizhouren
2017-05-04 08:37:09 +08:00
Python 是怎么读 txt 文档的,这算是机器学习吗?
UnknownR
2017-05-04 08:44:32 +08:00
上次打开个几百 mb 的 log 都瞎眼,20G,那画面太美,不知道能不能打开,excel 的逻辑上限 2^20 行,也就是 100w 行多一点,而且你的内存最低要求也要 4 根插满的 8G,
GoForce5500
2017-05-04 09:02:12 +08:00
安利 Spark,写好 Parser 就可以开始统计了。
changwei
2017-05-04 09:13:23 +08:00
想不到这个世界上怎么总会有一些奇奇怪怪的需求
Alexhex
2017-05-04 09:32:11 +08:00
非码农。

之前我也处理过一些很大的实验数据。后来用 Python 手工把采样频率降到了原先的 1/10 (就是每 10 行抽一行),然后再导入 Excel 处理。
Sh888
2017-05-04 09:38:49 +08:00
SQL Server ETL
realpg
2017-05-04 09:45:24 +08:00
@zhidian #66
不是 csv 只要有分隔就能导入啊
基本我导入的都是 txt 很少 csv

@tairan2006 #47
您对 EXCEL 的认知还停留在 2007 吧……现在已经 2017 年了……
excel powerpivot, power query, power view 都是神器
HGladIator
2017-05-04 10:12:29 +08:00
喂猫不用 spark hadoop 什么的 专制各种大文件
lilydjwg
2017-05-04 11:19:42 +08:00
导进去了也打不开……导进去干啥
davidqw
2017-05-04 12:00:09 +08:00
@Romanticlizhi 可以试下单 sheet 百万行 excel 的分析,不说处理速度和数据拆分衔接的问题,光软件日常崩溃就够喝一壶的
yuedingwangji
2017-05-04 12:36:09 +08:00
excel 肯定就读不了那么多的行
dexterzzz
2017-05-04 12:42:02 +08:00
一群不懂 excel 的人...( _ _)ノ|

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/358805

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX