• 请不要在回答技术问题时复制粘贴 AI 生成的内容
fgghyyfk
V2EX  ›  程序员

抓天猫价格,用 Playwright 各种问题,最后还是用了影刀

  •  
  •   fgghyyfk · 4h 34m ago · 563 views

    最近给业务中台补天猫比价。运营导入商品链接和目标规格,系统按行拆任务,再去读取对应规格的价格。

    麻烦的不是读一个数字,而是先选对 SKU 。比如目标是“30ml 单支”,就要排掉 30ml 双支和 50ml 单支。点击之后还要重新读取页面当前选中的规格,前后对得上才记价格;有歧义、只显示价格区间,或者点击结果不一致,就直接失败并留截图。

    这部分我原本准备用 Playwright ,代码也写了。真实页面一跑,登录跳转和验证码还在折腾,影刀原来的浏览器环境反而能直接用。到这里才发现,DOM 能不能读出来是一回事,一个真实账号能不能把整批任务稳定跑完是另一回事。

    现在业务中台只管任务、进度和结果,本机收到任务后触发影刀。影刀只负责开页面、选规格、读价格,Cookie 留在本机浏览器里。以后 Playwright 真跑稳了,换掉的也只是最下面这层页面操作。

    现在的链路很简单:

    Excel / 飞书表格
            ↓
    业务中台:拆任务、记进度、收结果
            ↓
    本机 Bridge:领取任务
            ↓
    影刀:用已登录浏览器选规格、读价格
    

    这种需要登录、动态选 SKU 的采集,你们实际跑的是 Playwright 、浏览器插件、RPA ,还是直接买数据?我主要想了解跑久以后,登录和页面改版到底要花多少时间维护。

    yustation
        1
    yustation  
       3h 26m ago
    影刀怎么处理验证码和机器人验证,试过 DrissionPage 吗
    cescqh
        2
    cescqh  
       2h 57m ago   ❤️ 1
    @yustation 影刀自带的就有,收费的,做的还不错
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   5411 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 07:08 · PVG 15:08 · LAX 00:08 · JFK 03:08
    ♥ Do have faith in what you're doing.