V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
xiaoyu9527
V2EX  ›  问与答

关于 scrapy 复制 xpath 抓取的问题。

  •  
  •   xiaoyu9527 · 2016-08-23 16:50:08 +08:00 · 1717 次点击
    这是一个创建于 2810 天前的主题,其中的信息可能已经有所发展或是发生改变。

    http://bcy.net/coser/detail/22243/755846

    我终于破处各种障碍到开始抓取半次元这一步了。

    具体可以点我名字看我发的帖子。

    但是还是遇到点关于 xpath 的问题。

    这里头的图片我用浏览器的 xpath

    /html/body/div[1]/div[2]/div/div[2]/div[1]/div[1]/article/div[1]/div/div/img 下来是这样。 但是当我打开网页的时候开始是搜索不到的。 必须等一会才能搜素的到。

    //img[@class="detail_std detail_clickable"]/@src

    但是别人写的这样的 就立马能搜索到。 能否有人解释一下是什么原因?

    4 条回复    2016-08-23 18:54:23 +08:00
    xiaoyu9527
        1
    xiaoyu9527  
    OP
       2016-08-23 16:51:06 +08:00
    求教高手解答。
    Sherlocker
        2
    Sherlocker  
       2016-08-23 18:03:17 +08:00
    xpath 语法看三遍
    187j3x1
        3
    187j3x1  
       2016-08-23 18:09:49 +08:00
    js 动态生成咯 没加密就可以直接爬后端 json 吧
    直接复制 chrome xpth 是最懒方法 这路径就是绝对逐级定位 笨得很 下面那种就是直接到位 google 学习 xpath 吧 打字发帖时间够入门了
    kinghs
        4
    kinghs  
       2016-08-23 18:54:23 +08:00
    F12 看 doc 请求,然后把内容保存下来,这个应该是和 scrapy 请求得到的一样的,然后右键审查元素,右键 xpath ,这样获取的 xpath 在 scrapy 中应该是可用的
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1311 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 17:10 · PVG 01:10 · LAX 10:10 · JFK 13:10
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.