各位大佬有什么好的办法解析网页中不规整的表格吗

[MrhuangSTR]

像几乘几这种规整的表格到很好解析，xpath 或者 bs4 或者 pandas 的 read_html 可以搞定，但是遇到那种不规整的表格，而且整个网站的表格样式可能都不一样，有什么好的办法做到通用解析，例如这个网站的表格

[MrhuangSTR]

大佬在哪里 f(；´д｀)ゞ

[akira]

这个不是表格吧。。。

[deplives]

这哪里有表格？

[qazwsxkevin]

依然用 for bs4 吧
每个 div 下面有 ul
每个 ul 下面有 5 个 li
很明显的特征，性能不好的写法是啰嗦写多几个字典，逐个判断，逐个加
不知道有无更好性能方法了

[MrhuangSTR]

@akira 额 点进去每个公告里的表格

[MrhuangSTR]

@deplives 每个公告的表格。。

[MrhuangSTR]

@qazwsxkevin 公告里的表格。。

[qazwsxkevin]

@MrhuangSTR 我能想到的是找出这个表格的 table 标签，然后对每个 tr 段，再对每个 td 做 get_text()了
然后再洗数据加进字典
就看了几个页面，似乎都差不多格式

[deplives]

@MrhuangSTR 请善用浏览器调试功能

[superrichman]

这种不规则的表格没有通用的解析方法，自己一个一个遍历元素取数据吧。还有这是个 gov 网站，如果你是想做爬虫的话，小心点别变成了 ddos 攻击 zf 网站。 /doge

[MrhuangSTR]

@qazwsxkevin 每个栏目下分页基本上都有 120 页，可能前 1 到 20 页里的公告表格样式基本一致，某个区间段的表格格式又是另外一种，我现在大概看了下有 4 种不一样的表格，可能还有更多种。

[MrhuangSTR]

@deplives 没这么简单的，多点开几个表格看看你会发现惊喜的 /doge

[MrhuangSTR]

@superrichman 我 ip 今天就被 ban 了。。。。我都是很佛系的抓

[autoxbc]

都是很标准的表格，看不出有什么问题，最多有跨单元属性 colSpan 和 rowSpan，也是 html 标准之中的

[relic]

我做过

[MrhuangSTR]

@autoxbc 表格没啥问题，棘手的是怎么写一个通用的方法解析整站不同样式的表格

[MrhuangSTR]

@relic 有什么好的办法分享下呗大佬

[freakxx]

应该是没有通解办法，

用 table 做的时候，他们都是直接怼进去 td 里面。

有个办法你可以尝试下, 你先做一个判断是不是标题的函数, 然后扔进去解解看。
比如最后带 ":" 判断为 label。

但实话说，我觉得这个很难洗干净，至少不是一下子能洗干净。

[freakxx]

但这类垂直爬取 有一个好处

你可以自己先拿几个 做个处理就干净很多。
比如你判断 “面积” 为 label 的时候，通过对比，知道一般他是在下一个 tr 里面，你写 parse 的时候，就把 2 个 tr 合起来，
直接默认拿 tr_1.td_1: tr_2.td_1, tr_2: td_2

[freakxx]

这种要洗干净你可以这么做。

先下下来，随便拿一个，把表格洗了，然后字段扔进去 mapping, 如
{
"面积": parse_rule_1,
}

parse_rule_1(table, td)
td = td. next_tr.td[index]
table.pop(td)

最后如果 table 里面还有元素的话，那么就是有新的元素，直接报错。
你再手动去处理下。