AI 浪潮这么大，为啥没有一个小白也可以直接上手的数据抓取工具呢？

[happydebug]

最近一直想抓一些舆情文章然后沉淀到自己的本地知识库中。尝试了各种工具，codex 控制浏览器，小龙虾控制浏览器，codex + 各种 skills 。都无法高效 批量抓取目标数据。是我看的世界不够大吗？只能写代码？

[xy2401]

因为目标站也很辛苦在做反爬啊
-----
codex 控制浏览器手动登录后 应该就没什么限制了吧？

[x86]

AI 爬虫 VS AI 反爬虫，魔法对魔法

[ota]

firecrawl 对开放的网站适配程度还行，可以试试。清洗入库最终还是得自己（ AI ）写代码的

[irever]

想要“高效批量”，大概就需要走协议，需要摸清目标站点，然后代码来实现，这点 AI 现在也能做。
这跟“小白”简单明了“直接上手”是相悖的，你想要的是浏览器、可视化、自动化，就会伴随着低效（速度慢）。