请教快速解析文本 html 的工具?

2020-06-24 15:52:33 +08:00
 firhome
一大堆 html 获取里面的某些文本,字段、

我现在用的就是 1.正则,2.解析成 dom 然后 jquery


请问各位爬虫大佬,你们是如何做的?有什么高效的工具吗?
1639 次点击
所在节点    程序员
6 条回复
Vegetable
2020-06-24 15:54:30 +08:00
描述的太笼统了,什么技术栈啊?都绕不开你第二个方法的思路,xpath 什么的
jorneyr
2020-06-24 15:55:13 +08:00
直接用 jQuery 的选择器,用正则容易出错:
var $html = $(htmlContent);
var target = $html(selector);
duan602728596
2020-06-24 16:17:32 +08:00
jsdom:解析 html 字符串,然后可以使用部分 BOM 、DOM 的 api,对 html 进行操作,然后还可以重新生成 html 字符串
parse5:将 html 字符串解析成 ast 树,也可以根据 ast 树生成 html 字符串
cheerio:感觉没有 jsdom 好用
bigboNed3
2020-06-24 16:19:10 +08:00
python beautifulsoup
java jsoup
基本每个语言都会有对应的 soup
fivesmallq
2020-06-24 16:30:36 +08:00
之前做爬虫的时候写的一个小工具。

https://github.com/fivesmallq/web-data-extractor

Extracting and parsing structured data with jQuery Selector, XPath or JsonPath from common web format like HTML, XML and JSON.
omph
2020-06-25 10:49:43 +08:00

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/684473

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX