V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
andforce
V2EX  ›  问与答

有没有什么办法,让 Chrome 在后台一直运行?从而运行爬虫脚本

  •  
  •   andforce · 1 天前 · 389 次点击

    故事是这样,大家知道 Twitter 的反扒机制非常严格,

    我需要抓大约 10 几个关注的人的发推数据,还有一些搜索关键词的推文。

    尝试了无数办法,最后解决方案是 油猴脚本定时刷新,但是这样需要开 2 个独立的 Chrome 窗口。

    我也曾尝试使用无头浏览器模式,但是一直都过不了机器人验证。

    现在使用油猴脚本唯一的问题就是需要让 Chrome 在桌面运行,不能最小话,也不能切换到别的桌面。

    我知道官方有 api 比较贵,也知道有第三方的 API ,但是目前开 Chrome+油猴脚本能满足需求,就不考虑其他方案了

    仅仅是想知道有没有什么办法/工具/设置选项,能让 Chrome 一直运行。

    qhd1988
        1
    qhd1988  
       16 小时 12 分钟前
    只能用 chrome 的话,考虑 docker 容器,直通 x11,装一个窗口管理器,用 linux 版本的 chrome,通过 novnc 访问即可
    qhd1988
        2
    qhd1988  
       16 小时 7 分钟前
    或者简单点,虚拟机里装 chrome
    andforce
        3
    andforce  
    OP
       15 小时 53 分钟前
    @qhd1988 #2 如果是虚拟机的话,是不是也得把虚拟机窗口显示在前台,不能把虚拟机最小化
    lusi1990
        4
    lusi1990  
       13 小时 28 分钟前 via iPhone
    1 楼方案肯定可以。 你这个数据量 用虚拟机方便
    qhd1988
        5
    qhd1988  
       11 小时 46 分钟前
    #3 @andforce 不会啊,你虚拟机最小化了,但是你虚拟机里的窗口又没最小化
    andforce
        6
    andforce  
    OP
       10 小时 30 分钟前 via Android
    @qhd1988 多谢,我回头用虚拟机试一下
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   1194 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 17:50 · PVG 01:50 · LAX 09:50 · JFK 12:50
    ♥ Do have faith in what you're doing.