V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
RickyC
V2EX  ›  问与答

百度每秒抓取很多次, 导致 CPU100%, 除了限制抓取频率, 还有别的什么方法?

  •  
  •   RickyC · 2020-12-10 14:44:08 +08:00 · 893 次点击
    这是一个创建于 1204 天前的主题,其中的信息可能已经有所发展或是发生改变。

    占 CPU 的进程是 php 不是 mysql, 那上 redis 也不好使吧?

    2 条回复    2020-12-21 15:06:58 +08:00
    treblex
        1
    treblex  
       2020-12-10 14:55:24 +08:00
    nginx 缓存 get 请求
    另,看看是不是其他问题吧
    ggabc
        2
    ggabc  
       2020-12-21 15:06:58 +08:00
    假的了,百度站长那里可以控制采集密度
    你看到的压力,应该是爬虫或者攻击工具冒充的 ua
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5479 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 09:06 · PVG 17:06 · LAX 02:06 · JFK 05:06
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.