V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
myliang
V2EX  ›  程序员

由于项目需要,最近三天写了个小文件读取工具(TFS for Java )

  •  
  •   myliang ·
    myliang · 2020-01-19 17:36:17 +08:00 · 2628 次点击
    这是一个创建于 1530 天前的主题,其中的信息可能已经有所发展或是发生改变。

    为什么要写这个?

    项目需要,我开发了很多小项目需要存储很多的图片,pdf 小文件,之前通用的方法就是直接用系统的文件存储方式,这样方式对于一般的项目没有问题,但是当存储的文件多的时候就有些问题了(比如 linux 系统下目录下的文件数量时候一定的,当超过了出错了), 所以我想到了小文件存储系统,比如淘宝的 tfs, facebook 的文件系统等等,这些文件系统都是分布式的应对超大数据量的,部署都需要多台服务器,对小项目来说,直接用这些感觉有点大材小用了 所以我觉得还是自己随手写个简单易用的针对小项目的文件存储工具,方便整合到现有系统

    原因说清楚了,直接上地址,欢迎大家拍砖,讨论过

    https://github.com/myliang/tfs

    9 条回复    2020-01-20 14:56:22 +08:00
    cq65617875
        1
    cq65617875  
       2020-01-19 19:34:31 +08:00
    没有 delete ?
    蔟大文件小 一直写入超小文件的话 ssd 是不是就爽飞了
    myliang
        2
    myliang  
    OP
       2020-01-19 21:44:36 +08:00 via Android
    @cq65617875 删除数据暂时只是做标记,真要删除重排索引,你有什么好建议
    CallMeReznov
        3
    CallMeReznov  
       2020-01-19 21:55:26 +08:00
    对象存储?
    myliang
        4
    myliang  
    OP
       2020-01-19 22:20:53 +08:00 via Android
    @CallMeReznov 单机小文件对象存储
    lxml
        5
    lxml  
       2020-01-19 22:31:24 +08:00
    https://mp.weixin.qq.com/s/YM1QsdAHEHdehJT2_oMVSg
    上次看 pingcap 的 CTO 讲 tidb 在本地磁盘伤的坑,可以尝试一下,看能不能触发不同操作系统不同文件格式的坑~~
    privil
        6
    privil  
       2020-01-19 23:19:04 +08:00
    是时候安利一波 seaweedfs 了,用 java 消耗太高了吧……
    myliang
        7
    myliang  
    OP
       2020-01-20 08:40:49 +08:00 via Android
    @privil 这是嵌入式的,不是单独的服务
    abellee000
        8
    abellee000  
       2020-01-20 14:13:54 +08:00 via Android
    弄个对象储存? minio ?
    myliang
        9
    myliang  
    OP
       2020-01-20 14:56:22 +08:00
    @abellee000 非分布式小对象存储,也就是多小文件合并为大文件而已
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2946 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 15:08 · PVG 23:08 · LAX 08:08 · JFK 11:08
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.