手把手写爬虫之第三弹--流量分析嗅探简介

2015-02-25 17:54:19 +08:00
 jason52
===
对于不显式暴露链接的网站,通过流量分析,得到真实地址,最后写成 py 爬虫。

利用了burpsuite工具进行分析,用到了 request 和 json 库。

本来 part3 要介绍多线程和多进程的,以及一开始写的代码的重构(利用 pycharm,刚发现的真是好用)。结果录废了。。。。

http://pan.baidu.com/s/1i3uzjQP
http://pan.baidu.com/s/1hgp9k


===
第一弹地址: http://v2ex.com/t/171302
第二弹地址: http://v2ex.com/t/171974
===
另外,最近压缩参数找的好,每一次都保持相对清晰的条件下,视频大小比之前小一半(时长基本不变)。
6017 次点击
所在节点    分享创造
13 条回复
killerv
2015-02-25 21:13:52 +08:00
感谢楼主的视频,希望楼主能坚持下去~
yangff
2015-02-25 21:37:27 +08:00
上次写个爬虫结果一晚上azure的50g流量就没了。。
所以。。如果正在看这句话的你也在写爬虫
记住,不要把爬虫挂在流量限制太小的服务器上,这里的太小至少是几百g起。。。
jason52
2015-02-25 21:52:41 +08:00
@yangff 你肯定把二进制文件下载下来了吧。。azure肯定太快了~~
greyfreedom
2015-02-25 22:21:58 +08:00
学习一下,最近刚好要学习爬虫。谢楼主分享
yangff
2015-02-25 23:11:02 +08:00
@jason52 没有,我是自己写的爬虫代码。。
RIcter
2015-02-25 23:50:43 +08:00
黑阔神器 burpsuite _(:з」∠)_
xuhaoyangx
2015-02-26 01:17:21 +08:00
x264的--crf 23 --preset 9 -r 5 -b 5 --me umh --merange 24 --scenecut 50 -f 1:1 --qcomp 0.5 --psy-rd 0.3:0 --aq-strength 0.8 --no-mbtree --opts 0
压片我常用的高压参数
动态码率crf数值越大,体积越小。一般23-24足了
digua
2015-02-26 10:19:29 +08:00
马克下
lovepanda
2015-02-27 11:38:54 +08:00
学习了,支持楼主,希望楼主能坚持下去,
jason52
2015-02-27 12:05:19 +08:00
@lovepanda 请问一下看视频过程中哪里会遇到问题?

我奇怪为啥没有任何提问呢?或者任何的pull request?
ivanchou
2015-04-21 12:35:07 +08:00
@jason52 大神,求视频重新分享,最近在学习 python 打算写爬虫练习一下
jason52
2015-04-21 13:39:14 +08:00
@ivanchou 找我最近发帖有新链接

另外,俺也是个初学者,逃。。。
plantparknet
2015-07-14 22:35:00 +08:00
链接好像取消了。。。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/172745

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX