有什么好的办法可以监控"网页结构"变化

[MrhuangSTR]

RT,对于每月定时更新爬虫，需要抽取的数据对应的网页结构发生变化数据就会解析出错；例如要抽取的文本一开始 是 //div/span/em/text(), 下次网页结构调整就变成 //div/span/span/text();有什么好的办法可以监控网页结构发生变化或者更健壮的解析方式吗？

[Hades300]

页面的变动是只有拿到 response 才能知道呀。其实宽泛一点，但凡页面发生变化都可以被认为是“结构改变”。
我的话，会在每次爬取时生成对 response.text 的哈希吧，然后存到 Redis （当然其他也行），key 要能映射到单次请求，考虑到 Post 不会改变 url 。。key 的生成我大概会选个 md5(method+url+data)。
有了这样的键值对后，把这部分比较写到中间件里，equal or unset ->set hash and save item，failed -> updated & drop item & Call Hook 邮件或者钉钉 或者自建监控表入个库。

这种方法只适用于静态页面

[Hades300]

其实爬虫写得好，只要捕获特定类型的 Exception 。中间件里写 Hook 就好。

[RockShake]

目前的业务主要就靠捕获异常来获取

[MrhuangSTR]

@Hades300 有比较好的中间件处理的版本观摩下吗

[MrhuangSTR]

@RockShake 捕获异常然后通知还是？

[ChangHaoWei]

你这爬虫的话 很多页面都是相同的啊，，那就搞 sample 监测啊。固定监控几个页面 那几个页面出了问题肯定相关的所有页面都不行。