为什么 grep 大文件,第二遍就会变得很快呢?

2018-10-25 15:58:35 +08:00
 hujianxin

我 grep 一个大文件,第一遍大约几十秒,第二遍就很快了,几乎秒出,请问这是为什么呢?

5322 次点击
所在节点    Linux
23 条回复
d0m2o08
2018-10-25 16:10:40 +08:00
tamlok
2018-10-25 16:22:04 +08:00
操作系统文件读写缓存吧
hujianxin
2018-10-25 16:59:19 +08:00
@d0m2o08 @tamlok 谢谢,我有点疑惑,貌似还不是内存缓存,因为 grep 是一行一行读的,我几十 G 的文件,grep 完之后,内存几乎没变过,还是维持在 grep 之前的水平。也就是说,这个缓存是在文件中吗?
wohenyingyu02
2018-10-25 17:06:48 +08:00
@hujianxin 一楼的回答是操作系统会缓存最近读写的文件,是不是可以这么理解,原来缓存的是别的文件,你 grep 一次后,把别的文件释放了,替换进去,所以看起来内存不变?
tamlok
2018-10-25 17:12:58 +08:00
@hujianxin 操作系统启动的时候就占用了不少内存,其中可能就有缓存的部分。另外,我觉得缓存这一部分的内存,操作系统也可能展示给用户的是空闲的状态?
helionzzz
2018-10-25 17:40:56 +08:00
缓存这一部分应该都是预留的吧
LGA1150
2018-10-25 17:47:51 +08:00
执行以下命令清除缓存之后再试试?
sync; sudo sysctl -w vm.drop_caches=3
sniperhgy
2018-10-25 17:48:52 +08:00
linux 本来就和 windows 的内存管理机制不一样,windows 是起来后,有需要才进行占用,linux 是起来后,先占用了再说,多多益善。所以楼主看到的所谓内存没有变化,只是 linux 没有占用的那一部分
aijam
2018-10-25 17:54:37 +08:00
文件系统缓存
des
2018-10-25 17:58:31 +08:00
@sniperhgy 现在 windows 也是了,甚至还会主动缓存最近的文件
flynaj
2018-10-25 18:48:05 +08:00
第一次是从硬盘读,后面已经缓存在内存里面了。
x66
2018-10-25 18:53:35 +08:00
@des 挺好的啊,用久了常用的文件都缓存起来了。别经常关机就好了
hujianxin
2018-10-25 18:59:54 +08:00
问题是,我 grep 一个 50g 的文件,内存没涨过,才用了 5g,所以这些文件是不可能缓存到内存的啊
dszhblx
2018-10-25 19:04:51 +08:00
@hujianxin 那是系统缓存没记入你看到的数值了,free 命令了解一下
LGA1150
2018-10-25 19:05:27 +08:00
@hujianxin free 看 cached 的变化
liaohongxing
2018-10-25 19:40:50 +08:00
linux 和 windows 内存机制不一样 ,linux 会先占用空闲内存,而且 linux 会缓存文件系统 。用 free -m 或者 dd 复制一下。能明显感受到有缓存。
mengzhuo
2018-10-25 21:03:04 +08:00
cache 啊~
noli
2018-10-26 09:36:30 +08:00
@hujianxin 就算你文件是 100G 1T 也没有必要一次过全部放入内存中缓存啊,你的应用也没有一次过读 100G 1T 的能力啊。这么想之后你就会发现是因为你知道得太少。
cyspy
2018-10-26 11:28:25 +08:00
Linux 的缓存策略比 Win 激进不少,Linux 下群星重开都是秒进,估计全都在 RAM 里
yc8332
2018-10-26 11:35:12 +08:00
必须是缓存啊。。。不然怎么 linux 下可用内存长时间都是比较少的。除非手动释放

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/501079

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX