有办法利用 mac 的自动操作抓取跨网站数据么?

2023-04-15 08:14:26 +08:00
 justincnn

举个例子:

A 网站根据一个表单,找到连接,然后去 B 网站根据一定的规律和关键词,抓取一些数据, 由于这些网站都是防爬虫的,所以想通过苹果自动化操作来模拟操作

这样的话,请问是否可行?

631 次点击
所在节点    二手交易
3 条回复
pengzhendong
2023-04-15 09:34:57 +08:00
selenium ?
bjzhush
2023-04-15 15:22:35 +08:00
有些东西没你想的那么复杂
之前写过一些简单的爬虫,油猴脚本的形式,然后自动合并保存为 CSV 文件下载
zhongsir
2023-04-15 18:21:54 +08:00
没用过 mac ,之前用过一个叫 selenium ide 的 chrome 插件,能保存数据到 csv 也能读取 csv 从而实现跨站操作;不过效率较低,现在还是喜欢 newman 脚本加 win 的定时任务,舒服

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/932680

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX