PHP +mysql 如何执行一个长时间的导出任务?

2018-11-30 11:09:50 +08:00
 showecho
一个资料筛选和导出任务,涉及多个表,每个表有 10-30 个字段,很多字段会被定制比如省份和城市,可以让用户选择哪个省和哪个城市,如果一次需要导出个十万条,就要执行十万次循环,每次循环执行几十次筛选条件,cpu,
内存,时间什么 的都是压力。

怎么写可以实现?
2027 次点击
所在节点    程序员
14 条回复
glacer
2018-11-30 11:15:09 +08:00
这个应该是数仓的活
ferock
2018-11-30 11:16:58 +08:00
命令行
orqzsf1
2018-11-30 11:21:21 +08:00
缓存?
aloyuu
2018-11-30 11:23:20 +08:00
最致命的是 PHP 有超时......
teg1c
2018-11-30 11:46:37 +08:00
异步队列处理吧。
oneonesv
2018-11-30 17:21:42 +08:00
php-cli 异步处理
pinews
2018-11-30 18:22:03 +08:00
确定不是黑?
changepll
2018-11-30 18:55:25 +08:00
@pinews 你让我笑出声
pinews
2018-11-30 20:22:14 +08:00
@changepll
@aloyuu
@oneonesv
@ferock 长时间执行可以考虑 set_time_limit(0),然而这和 php 没关系吧,具体在说什么不知道,若确实程序复杂,可以生成中间表,分批完成。
947211232
2018-11-30 22:47:58 +08:00
方案一:死数据一次写入缓存就够了,往后直接读取缓存
947211232
2018-11-30 22:48:39 +08:00
方案二:死数据写配置文件 json 格式什么都好,能读出来就可以
947211232
2018-11-30 22:50:50 +08:00
方案三:影响 php 性能的尽量找合适的工具、方案,又不是上学时候老师规定只能 php+mysql
gujinxin
2018-12-01 11:55:59 +08:00
异步队列吧,好了之后把文档存在目录上,给前端推消息,前端点击下载
DylanChou
2018-12-01 18:44:44 +08:00
存储过程?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/513005

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX