对于自身无过滤功能的云存储,有什么获取最近更新的文件的好方式吗?

2020-05-18 12:49:35 +08:00
 linvon
背景大概是这样的,有实时日志会定时打到 AWS 的 S3 存储上,现在想自启服务端将 S3 上存储的日志拉下来。
但是 S3 本身不支持查询过滤,如何去获取最新未被处理的日志文件呢?

自己想了两种方案:
1. 本地做记录:每次都 list 一下所有文件(考虑初始化时全部 list,后续定量 list ),对于处理过的日志计算一个主键放到本地的数据库里,然后对比找出没有处理过的日志再处理
2. 修改云存储:每次获取云存储上所有文件,处理完成后回调将处理过的文件移动到其他文件夹下,这样维护读取的目录一直是未处理的文件

有没有大佬有什么其他的好办法?
408 次点击
所在节点    问与答
0 条回复

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/672839

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX