V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
mikawang
V2EX  ›  程序员

基于 AI 的 Chrome 爬虫辅助插件

  •  
  •   mikawang ·
    wangyi12358 · 1h 42m ago · 225 views

    基于 AI 的 Chrome 爬虫辅助插件,自动监听网络请求并解析 API 逻辑。

    之前爬虫每次都去抓 API 然后丢给 AI 分析,很麻烦,写了个 Chrome 插件,直接去抓请求,然后丢给 AI 分析这个接口是做什么的,以及一些字段分析。

    功能

    • 自动抓取:实时捕获浏览器 Fetch/XHR 请求及其 Response 。
    • AI 接口分析:一键分析接口功能,自动推断字段含义及业务逻辑。
    • 语义解析:让 AI 解释复杂的 JSON 结构,告别手动盲猜字段。

    计划

    • 多语言生成:一键生成 Python (requests/httpx), Go, Node.js 爬虫代码。
    • 类型定义导出:自动生成 TypeScript Interface, Go Struct, Pydantic Models 。
    • 批量文档:导出整个页面的接口清单及文档。
    • 代码模板定制:支持用户自定义生成的爬虫代码格式。

    项目仓库

    https://github.com/wangyi12358/auto-scrape-ai

    3 replies    2026-05-09 12:36:14 +08:00
    soouu
        1
    soouu  
       1h 30m ago
    已 star
    nilaoda
        2
    nilaoda  
       55 mins ago   ❤️ 1
    > 之前爬虫每次都去抓 API 然后丢给 AI 分析,很麻烦

    其实装个 Chrome DevTools MCP 就方便多了,直接让 AI 自己去操作网页、分析请求,写各种语言的代码实现
    mikawang
        3
    mikawang  
    OP
       40 mins ago
    @nilaoda 是挺不错的,有些过不了 Cloudflare 人机验证怎么办
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   4223 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 05:16 · PVG 13:16 · LAX 22:16 · JFK 01:16
    ♥ Do have faith in what you're doing.