开发时遇到的搜索文件类的问题,顺序访问很慢,多线程访问会有不同进程读取同一个文件的问题……

2015-01-12 11:46:09 +08:00
 xiandao7997
上班的时候遇到个问题。想了两个办法但效果不好,来求助下…
一个翻译的资源文件里有大概 1w 个 key,现在这些 key 里面有些不用了,需要找出来并删掉。我的想法是,先把这些 key 读到内存里,然后用文本搜索工具在代码文件中找这些 key,如果能找到,就把找到的结果写入一个文件,最后再分析这些结果文件即可。
现在的问题出在搜索部分,因为 key 很多,一个个顺序搜是很慢的,每个 5s 也要 5w 秒。只能多线程,每 100 个 key 一批, 多线程并行搜索, 实际操作过程中发现搜索工具经常会抛错, 同事说,可能是不同的搜索线程在访问同一个文件。 那么问题是, 顺序很慢,多线程又会有多个进程访问一个文件的异常。。。 我想不出还有什么更快的方法……v友们还有什么思路吗?
先谢了~
2547 次点击
所在节点    问与答
8 条回复
choury
2015-01-12 12:46:17 +08:00
如果经常要搜的话为什么不排个序呢
xiandao7997
2015-01-12 12:56:53 +08:00
@choury 排序是没有用的,
是把每个 key 在所有的代码文件里搜一遍,不是把 key 在 key list 里搜一遍 :)
ddaii
2015-01-12 12:59:37 +08:00
@xiandao7997 代码文件很大吗?何不把代码文件也一起载入内存?
yfdyh000
2015-01-12 13:10:22 +08:00
读取应该可以非独占模式吧。能实现从文件中提取key吗,遍历一次就够了。为什么不用标准、通用的翻译格式呢,比如.po/.pot之类的。如果都不行,key就留着不行么,应该不太占地方。
xiandao7997
2015-01-12 14:02:02 +08:00
@ddaii 加上编译出的 dll, exe 杂七杂八有1G,这么说好像也不是很大,就是不知道有没有更好的办法

@yfdyh000 非独占模式第一次听说 =.= 需要再调查下;从文件中提取 key……key 的存在没有固定模式,有时候是单独调用 key 去翻译,有时是一个 list 一起翻译,代码中可能多行也可能单行,最靠谱的办法需要写解析,不会写……正则应该也行,可以试试。。;留着就不太好,以后会越来越脏。
xiandao7997
2015-01-12 14:05:09 +08:00
@yfdyh000 读取文件的操作是由 搜索工具自己完成的,(非)独占模式我不能控制。。
ddaii
2015-01-12 16:03:09 +08:00
@xiandao7997 这么看来其实代码可能也就几十M,这其中可能还包括第三方库什么的,实际需要搜索的文件不会很多,自己写个小程序把代码读入内存,然后一个个搜索就行了。我觉得这样已经足够快了。
ruoyu0088
2015-01-12 16:32:29 +08:00

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/161346

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX