mysql 大文件入库-web 应用

[ccxml]

用户会上传多个大文件（ 1GB 大小），，存在 txt，csv，excel 格式，不知道有什么好的办法入库，还需要判断表是否存在，不存在就去建表。入库的数据有添加和覆盖两个选项。入库后需要得到入库成功多少行失败多少行 很苦恼没啥好的解决办法

[1018ji]

1G 多，啥子需求，告辞

[gz911122]

不入库啊
为什么这种东西要入库? 存到对象存储不行么?

[summerwar]

1G 多的 excel 文件吗

[wakzz]

大文件传到文件存储服务中（ FastDFS 、阿里 OSS 之类的）生成一个访问链接，然后把链接存到 mysql 中。

[lscexpress]

没看文档吗

mysql 就不适合大文件存储

[killergun]

1G 的 excel 这得有千万行数据了吧

[blackmirror]

这不是伪需求吗

[realpg]

java 开发商业软件的一贯脑回路清奇

[xuanbg]

文件存 7 牛什么的，url 入库就行了

[xuanbg]

或者把数据解析出来批量写入也行，整个文件入库怕是不太行。

[securityCoding]

@xuanbg 楼主应该不是这个意思的,应该是解析文件然后存储

[ccxml]

@gz911122
@1018ji 领导提出的需求，，，， 大文件内容要入库

[ccxml]

@summerwar 对的

[ccxml]

@lscexpress 这里是把大文件转换成表数据入库

[ccxml]

@killergun 对的

[ccxml]

@realpg 打工嘛，不寒蝉

[ccxml]

@securityCoding 我搜到 loda data 这个命令可以实现我的需求

[summerwar]

@ccxml 只是很少见到 1G 的 excel 文件，不会 java，只会 python，用 python 的话可以直接读取，然后第一行作为表头，每行数据与数据库进行对比，该覆盖覆盖，该新建了新建数据就是了

[robot1]

果然什么样的工程都有 脑回路清奇算是夸人了

[ccxml]

@robot1 只要去的公司够多，你啥都能遇见