爱意满满的作品展示区。
thans

AnyCrawl: 基于 TS 的高性能爬虫,用于将任意 Web 转为干净的数据喂给 Agent

  •  
  •   thans ·
    PRO
    · Aug 6 · 1720 views
    This topic created in 53 days ago, the information mentioned may be changed or developed.

    求 Star:https://github.com/any4ai/AnyCrawl

    主打这些功能:

    1. 搜索引擎抓取:支持多个搜索引擎,批量操作友好
    2. 网页内容提取:精准抓取单页内容
    3. 整站爬取:完整遍历采集网站内容
    4. 性能强劲:支持多线程/多进程
    5. 批量任务:稳定高效处理海量任务
    6. AI 智能解析:用大语言模型( LLM )从网页提取结构化数据( JSON 格式)
    7. 完美适配 LLM:集成简单,开箱即用
    2 replies  •  2026-08-06 11:46:20 +08:00
    YAFEIML
        1
    YAFEIML  
       Aug 6
    star 支持
    thans
        2
    thans  
    OP
    PRO
       Aug 6
    @YAFEIML 感谢!
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   3949 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 10:10 · PVG 18:10 · LAX 03:10 · JFK 06:10
    ♥ Do have faith in what you're doing.