卑微民警在线求助使用 Python 的 excel 数据分析

[fishspecial]

在邻市的乡镇派出所基层锻炼期间，手上有一个关于侵犯公民个人信息的案子，取证出来的数据大概有 19k 左右个 excel 文件，要对其进行清洗去重得出有多少条个人信息（按 excel 行数计），但是导出的文件名、excel 行列都没有统一格式。但是只有 sheet1 有数据，并且需要统计其中的手机号的条数就可以。最主要的是要对最后的结果进行去重，一个手机号出现多次也只能算一次。
太久没用 py，粗略的拉稀代码跑跑了一下，最后结果有一亿多条，这是在对文件去重（因为是从后台拖出来的数据，有的时候一个文件保存了多次，通过 md5 去重了）情况下得出来的。但是没有对手机号来进行总的去重。条数涉及证据严谨和对犯人的量刑，本来所里是打算一个半月发动全所之力来复制粘贴的，我心里觉得这真的是对警力资源的浪费。现在想来求助大家给点小民警可以 ctrl c/v 的代码来尽量解决这个问题。
//没有钱。可能仅有的好处就是有点打击黑产的光荣感？ 有 v 友对体制和公考感兴趣的，也可在下面留言，我也会知无不言。
谢谢大家！

[guoyida]

可以用 powerbi 做，应该很快，图形化界面不涉及编程

[binux]

@nuk 并不会 https://stackoverflow.com/questions/930044/how-could-the-unix-sort-command-sort-a-very-large-file

[pocketmiddle]

我不会 python 。但感觉这事不需要 py，vba 就能搞定了。

[ShuoHui]

jz 还是 wa 啊

[cfwyy]

只需要 统计 手机号条数就可以？
python 也不敢说是老手，我的基本思路是：
正则表达式 匹配出手机号，add 到集合 set 中，set 会自动去重；
单进程跑 19K 个文件太慢的话，可能还要用多进程来跑。
手上没有文件也不能测试，仅供参考。

[huanghaozi]

已经搞出整合的 Excel 的话，统计次数可以用数据透视表鸭（但不清楚这么多数据会不会卡死）

[xinghen57]

数据库吧，这数据量对 excel 太大了。

[xinghen57]

再提供个思路：
xlxs -> csv -> 合并 -> 去重
每个环节都有现成软件，百度一下就行

[frdspro]

感觉表格的格式很乱，并且表格里的内容也很乱，大大小小啥样的都有⁽˙³˙⁾

[funcookies]

感觉要的是现成的代码啊。话说楼主有啥进展吗，对运行时间，还有最终生成的数据有啥要求吗。还需要做吗。

[swsh007]

遍历一圈 2w 个文件，
然后写到 10 个文件里
去重 python 或者 db 都可以
估计有 2 天咋都完了
要是人工就太折腾

[sadfQED2]

Python 遍历所有文件所有行，通过正则把手机号匹配出来

[sadfQED2]

@sadfQED2 数据量大可以考虑存到 mysql，通过唯一索引去重

[xingyuc]

首先证明你这些内容不是用作黑产

[nightv2]

搜了一下 知乎有个文章“小工具--Excel 批量转 csv”，用 VBA 转换为文本后就有很多方法来处理了

[reymond3]

@xingyuc 我认为这句话很有道理

[calmzhu]

@xingyuc
@reymond3
除非表述有明显不合理之处，没必要使用有罪推定

[xcheng]

用 C#做过 EXCEL 数据遍历统计，你这个数据量有些多，提取后用数据库来处理会更方便（例如以后要统计其它数据）。
有需要可留个联系方式

[winterbells]

手机号读出来，每 1w 个分成一个文件
之后挨个文件内去重
再两两文件比对去重
之后合并或者直接加总数

[efaun]

@xingyuc #54
@reymond3 #56
我可能知道了大陆为什么有这么多假案冤案错案了