问大家一个python写网络爬虫程序的问题。

[dizzy]

我最近初学python和正则表达式，想写一个简单的爬图片的网络爬虫程序。但是现在卡在怎么分析图片地址上面。具体我有以下两个问题，想请教下大家：
1、比如http://lumeizhi.com这个网站，我用chrome浏览，按f12，怎么快速准确找到图片地址？
2、怎样写相应的正则表达式呢？
我写的代码是这样的：
import urllib2
import urllib
import re

pat = re.compile('')
html = urllib2.urlopen('http://lumeizhi.com').read()
imglist = pat.findall(html)
i = 1
for x in imglist:
urllib.urlretrieve(x,'D:\pic\%s.jpg' % i)
i = i + 1

但是我现在不知道该怎么写这个正则表达式了。

[Lelouchcr]

@dizzy 当时看了这个google的教程，然后写了个爬豆瓣相册的爬虫
https://developers.google.com/edu/python/?hl=zh-CN

[alexrezit]

正则? 解析 HTML 难道不是应该用 XPath?

[dizzy]

@hiwljun
@kevinkim
@wizardoz
@luoyou1014 谢谢推荐，我准备尽快熟悉下beautiful soup和pyquery。

[dizzy]

@Lelouchcr 谢谢，又找到个资料，这个是google的python课？英语暂时比较捉急。

[dizzy]

@alexrezit 现在大家写网络爬虫都不用正则了吗？

[alexrezit]

@dizzy
疯了?

[Lelouchcr]

@dizzy 对的，完全满足你的要求，全用python的基本库，虽然是e文，还有配套练习，还有python的话总要面对E文的，面对现实吧~~

[Sylv]

Hint:
http://lumeizhi.com/image.json?limit=9999

[dizzy]

@Lelouchcr 哎，我也不是说全得用基本库吧，就是先想用基本库做做，然后再用第三方。都得熟悉熟悉嘛。

[dizzy]

@alexrezit 额。。。只是试试。

[dizzy]

@Sylv 请问下这个是怎么做出来的？

[Sylv]

@dizzy 你写的代码只能抓取首页的几张图片，对“加载更多”就没辙了，对吧？
我看了下这个网站的js代码，发现它是用/image.json来载入图片的
这样就不用去分析网页代码了，甚至还能知道图片得了多少个赞哦
然后用json.loads()，很容易就可以得到地址进行整站下载了

[yueye]

@Sylv 解决的方法好优雅

[dizzy]

@Sylv 刚刚去看了下python json模块的解释，虽然还是不懂你是怎么做到的，但是感觉这个办法挺简单的（我之前确实不能处理加载更多的情况）。可能是我对javascript不了解的原因吧。

[fengliu222]

node.js+cheerio比较简单~

[detailyang]

js代码吊炸天 return console.log('找工作？山东济南找蓝翔！');

[Sylv]

@dizzy 不是我做到的。是这个网站本来就提供了json数据来载入图片 我只是把它找了出来 然后可以通过json模块来处理json数据以获取图片地址

@detailyang 我当时也笑了

[0bit]

@wizardoz 我在找Python上好用的SOAP Client的时候竟然搜到了这里。是"Beautiful Soup"，不是"Beautiful Soap"

[qu2ena]

哇哇哇，我也是爬虫新手，我超级爱爱爱dizzy那首歌。

[qu2ena]

@Sylv 你这个方法好有意思哇。。