有木有人有空帮忙看看视频中的方法是否过时了

2019-01-15 23:15:00 +08:00
 ooleslie
有朋友可以帮忙看看视频中提供的方法是否已经过时了?
<amp-youtube data-videoid="6f2O4LEU058" layout="responsive" width="480" height="270"></amp-youtube>&list=PLohb4k71XnPaQRTvKW4Uii1oq-JPGpwWF&index=6&t=0s
我试过淘宝和京东,不知道为什么在选框那边就已经不行了,试过 print(soup.select('关键字'),输出列表是空表

是这个内容过时了么?

哦 我的代码是;
import requests
from bs4 import BeautifulSoup


res = requests.get('https://search.jd.com/Search?keyword=%E6%B4%97%E8%A1%A3%E6%9C%BA&enc=utf-8&suggest=1.rem.0.0&wq=xi%20yi%20ji&pvid=34bc86afd26c4a3b9e57baca91c3e217')
soup = BeautifulSoup(res.text,'lxml')
for item in soup.select('.gl-i-wrap'):
print(item.select('i')[0].text)
2077 次点击
所在节点    Python
7 条回复
Sylv
2019-01-16 00:29:52 +08:00
2015 年的视频,到现在淘宝都改版无数次了,所以肯定失效了。
ooleslie
2019-01-16 00:36:29 +08:00
@Sylv 不是啦 我没有抄他的全部,这个关键字这些是我自己解析的。。。只是不知道为什么拉不出来内容,我试着用 print,打印出来是空表。

因为他教的这个方法真的很简单,所以,想知道是不是我哪里做错了。还想沿着他的继续练习
lxml
2019-01-16 00:59:21 +08:00
谷歌出的 putt.....是最适合搞这种的,python 现在感觉玩不过 js 了
ooleslie
2019-01-16 01:06:25 +08:00
@lxml 一直没玩过吧。。python 只是工具包多,只要打数据路线
fan2006
2019-01-16 07:02:10 +08:00
设置下 headers 参数就出来了。
ooleslie
2019-01-16 21:26:07 +08:00
@fan2006 嗯,我试一下,但是问题是,我也 print 过前面网页,是可以输出原来网页的 html 文档,如果是 header,难道不会直接报错么?没什么经验,请教下~
另外,我在晚上看了下,有人专门说了,是因为爬取的时候看到的网页是经过 js 渲染,所以会导致选取的标签不可用,但是,他这种说法好像也不对吧,我用的是开发者工具查看的。。这个应该不是渲染后的呀。。
ooleslie
2019-01-16 21:30:15 +08:00
@fan2006 还真的设置一下就可以 run 出来。。。那这种出现也不报错。。。要怎么知道是哪个出问题。。。一个个试来看对方的反爬么?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/527402

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX