用 BeautifulSoup 分析百度贴吧的页面，为什么只能提取前 60 多行的数据呢？

[liaipeng]

f = urllib.urlopen(url).read()
soup = BeautifulSoup(f, 'html.parser')

如上面的代码，f打印出来看了是完整的页面，有几百行，但是把soup打印出来只有60多行。爬取其他网页的数据整成，就是爬百度贴吧的帖子会出现这种情况，是什么原因呢？

[WhiteLament]

'html.parser' 换成 'lxml' 试试？

[lingo233]

我记得贴吧未登录只能看一页的内容。

[iyaozhen]

2 楼应该是真相。

[liaipeng]

@WhiteLament
提示这个，对BeautifulSoup模块还不熟悉，第一次接触
Couldn't find a tree builder with the features you requested: lxml.parser. Do you need to install a parser library?

[liaipeng]

@lingo233 不是的，现在是soup连主楼的内容都没有抓取完整

[yappa]

html.parser改成lxml，或者html5lib,这两个模块都要先安装

[liaipeng]

@yappa
好的，我试试

[liaipeng]

@yappa 可以了！太感谢了。想知道为什么会有这种情况呢？是因为其他网页跟贴吧帖子的什么不同？

[WhiteLament]

你没安装
pip install lxml

[yappa]

估计你是从文档里面复制出来的代码，“html.parser”是“html解析器”的意思，你要找到适合的解析器，lxml,html5lib就是所谓的“html.parser"。

[WhiteLament]

有些页面不够规范，不同解析器兼容不一样，造成结果不同。
我也遇到过，换一个解析器就好了

[liaipeng]

@WhiteLament
@yappa
感谢两位！