手把手教你写煎蛋妹子图爬虫。。。

[jason52]

缘起
====

爬虫从妹子图练起最好了，煎蛋防护系统比较弱，你要一开始上手大众点评，豆瓣，那好了，先上淘宝买代理吧。。。。

而且这个例子好好啊，可以直接从正则表达式匹配技术讲起，在用bs，再到pyquery。。。。

顺带讲讲fiddler，firebug之类的。。。

@jookr 大叔 @ 你了！！！
===

第一次录screencast，真是巨麻烦。而且质量还不高。。演练没到位。。。

destroy all software能在15分钟左右制作出质量这么高的视频真心不容易，自己做一次就知道了。

视频链接： http://pan.baidu.com/s/1i3mXwBN

效果链接： http://v2ex.com/t/171077
这是无聊图的，妹子图现在都很黄很暴力了，不和谐~~

[lightryanking]

= =你们玩的太高级了。。。不会python啊
以前火车头采过1024

[Twinkle]

写的第一个爬虫也是爬妹子图，可谓动力十足 >.>

[aaaa007cn]

@jason52
我觉得简单的用用 urllib、urllib2 差不多
要是 cookie、referer、ua、代理一起上
我宁可在 python 中调用 curl 也不想和各种 opener 去搅
直到遇到了 requests
但是 curl 直接支持 socks 代理在某些情况下还是要比 python 方便点

[gyorou]

http://blog.nigbee.pink:3000/ 这个行么。

打开前先确定周围没人特么。

[url]

@gyorou 你好厉害

[yepinf]

“先上淘宝买代理吧。。。。” 求个靠谱链接

[jimmy66]

re.findall 返回的是list不是元组。。原谅我的强迫症吧

[jason52]

@jimmy66 对对对，偶想当然了~~~

[Delbert]

你视频里面是 cat pic |sed 's/"/\n/g'| grep 'http.*(gif|jpg)'
但是我需要改成 cat pic |sed 's/"/\n/g'| grep 'http.*[gif|jpg]'
才可以正常正则筛选。
是我和你grep的版本不同吗？

[wind3110991]

mark下先～

[mingyun]

@gyorou 就等你了，哈哈

[ivanchou]

百度云链接失效了？

[plantparknet]

现在这种方法失效了，必须要用header~~

[plantparknet]

jandan增加反爬虫了。。。

[jason52]

@plantparknet 大概练手的家伙太多了。。。

[plantparknet]

@jason52 终于有机会需要把教程更新下啦~~

[jason52]

@plantparknet 最近忙成狗，应该暂时不更新啦～～～不过要加个header你可以仿照后面几课试试。～～～

[Want]

你的视频链接掉了
···
快点更新啊

[ibiner]

不错。
1 呢？

[kela]

求视频