爬虫相关，关于 XPath 的疑问

[MrVito]

http://eid.csrc.gov.cn/fund/disclose/instance_html_view.do?instanceid=11733222 http://eid.csrc.gov.cn/fund/disclose/instance_html_view.do?instanceid=11733213

在上面这两个链接中我想获取对应的基金名称，我在浏览器里面获取到的 full XPath 如下

/html/body/table/tbody/tr/td[2]/table/tbody/tr[1]/td[1]/div/table[1]/tbody/tr[2]/td/div/div/table/tbody/tr[1]/td[2]/p

但是第二个链接中我能顺利获取到值，第一个获取到的内容为空

为了给大佬省事，对应的代码如下

from ast import main
from fake_useragent import UserAgent
from lxml import etree
import requests

ua = UserAgent()
headers = {"user-agent": ua.random}
url1 = "http://eid.csrc.gov.cn/fund/disclose/instance_html_view.do?instanceid=11733222"
url2 = "http://eid.csrc.gov.cn/fund/disclose/instance_html_view.do?instanceid=11733213"


def get_fund_name(url: str):
    x = requests.get(url, headers = headers)
    selector = etree.HTML(x.content)
    fund_name = selector.xpath('/html/body/table/tbody/tr/td[2]/table/tbody/tr[1]/td[1]/div/table[1]/tbody/tr[2]/td/div/div/table/tbody/tr[1]/td[2]/p/text()')
    return fund_name

print(get_fund_name(url1))
print(get_fund_name(url2))

output 如下

[]
['长信利盈灵活配置混合型证券投资基金']

我仔细对比了这两个网页，实在是找不到原因……

[humbass]

@wxf666 OP 主贴出来的需求，也用不到无头浏览器，简单的访问就可以了，
@zengxs 对比 python 的 xpath 和 document.querySelector 这样的语法，肯定是后者方便啊。

[wxf666]

@humbass xpath 不是 Python 的，只是 lxml 库的一个功能。这个库好像不支持 css 风格的查询

换成 BeautifulSoup 库就支持了：xxx.select('#tabItem0')

另外，我还是觉得 xpath 更方便描述 xml html

[zengxs]

@humbass 呃，xpath 和 css selector 只是两种不同的 html 查询方式而已，和语言无关，python 也可以 css selector 查询，js 也可以 xpath 查询

至于哪个更方便这个也不好说，css selector 语法简单是牺牲了很多功能换来的

[bavtoex]

@wxf666 +1,美丽汤的 xxx.select('#tabItem0') 很灵活

[webcape233]

这简单查询观察下写正则可能更快

[mscststs]

看到 tbody 就要注意了，浏览器会自动在 table 里面自动填充一级 tbody ，这就是为什么你取 Xpath 是一样的，实际上你右键查看源码，就能看出来，第一个链接的 html 没有在源码里面手写 tbody ，而第二个写了。

[ADMlN]

xpath 改成'/html/body/table/tbody'，第一个为空，第二个有值

[brucmao]

//p[contains(text(),'基金名称')]/../following-sibling::td/p

页面复制的经常不准确，可以试试 xpath 轴
https://developer.mozilla.org/en-US/docs/Web/XPath

另外可以用浏览器插件 SelectorsHub 辅助

[JieGaLee]

遇到 tbody 就要去源码里确认一下是不是真的有 tbody 。

[hidie]

不要写 tbody

[fbichijing]

一个有 tbody 一个没有，所以找不到。
这么深层数的筛选器加上那么多的位置 index ，简直是独木桥中的独木桥啊。

[ijustdo]

//div[@id="con_one_1"][1]/descendant::table/descendant::tr[1]/td[2]/p/text()

[chunhai]

我一般都用正则来取

[chunhai]

@chunhai
```
<td align="left" colspan="2"><p>基金名称<\/p><\/td>\s*<td align="left" width="60%" colspan="3">\s*<p>(.*)<\/p>
```