V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
jason52
V2EX  ›  分享创造

手把手写爬虫之第三弹--流量分析嗅探简介

  •  
  •   jason52 · 2015-02-25 17:54:19 +08:00 · 6010 次点击
    这是一个创建于 3340 天前的主题,其中的信息可能已经有所发展或是发生改变。
    ===
    对于不显式暴露链接的网站,通过流量分析,得到真实地址,最后写成 py 爬虫。

    利用了burpsuite工具进行分析,用到了 request 和 json 库。

    本来 part3 要介绍多线程和多进程的,以及一开始写的代码的重构(利用 pycharm,刚发现的真是好用)。结果录废了。。。。

    http://pan.baidu.com/s/1i3uzjQP
    http://pan.baidu.com/s/1hgp9k


    ===
    第一弹地址: http://v2ex.com/t/171302
    第二弹地址: http://v2ex.com/t/171974
    ===
    另外,最近压缩参数找的好,每一次都保持相对清晰的条件下,视频大小比之前小一半(时长基本不变)。
    13 条回复    2015-07-14 22:35:00 +08:00
    killerv
        1
    killerv  
       2015-02-25 21:13:52 +08:00
    感谢楼主的视频,希望楼主能坚持下去~
    yangff
        2
    yangff  
       2015-02-25 21:37:27 +08:00 via Android
    上次写个爬虫结果一晚上azure的50g流量就没了。。
    所以。。如果正在看这句话的你也在写爬虫
    记住,不要把爬虫挂在流量限制太小的服务器上,这里的太小至少是几百g起。。。
    jason52
        3
    jason52  
    OP
       2015-02-25 21:52:41 +08:00
    @yangff 你肯定把二进制文件下载下来了吧。。azure肯定太快了~~
    greyfreedom
        4
    greyfreedom  
       2015-02-25 22:21:58 +08:00
    学习一下,最近刚好要学习爬虫。谢楼主分享
    yangff
        5
    yangff  
       2015-02-25 23:11:02 +08:00 via Android
    @jason52 没有,我是自己写的爬虫代码。。
    RIcter
        6
    RIcter  
       2015-02-25 23:50:43 +08:00
    黑阔神器 burpsuite _(:з」∠)_
    xuhaoyangx
        7
    xuhaoyangx  
       2015-02-26 01:17:21 +08:00
    x264的--crf 23 --preset 9 -r 5 -b 5 --me umh --merange 24 --scenecut 50 -f 1:1 --qcomp 0.5 --psy-rd 0.3:0 --aq-strength 0.8 --no-mbtree --opts 0
    压片我常用的高压参数
    动态码率crf数值越大,体积越小。一般23-24足了
    digua
        8
    digua  
       2015-02-26 10:19:29 +08:00
    马克下
    lovepanda
        9
    lovepanda  
       2015-02-27 11:38:54 +08:00
    学习了,支持楼主,希望楼主能坚持下去,
    jason52
        10
    jason52  
    OP
       2015-02-27 12:05:19 +08:00 via Android
    @lovepanda 请问一下看视频过程中哪里会遇到问题?

    我奇怪为啥没有任何提问呢?或者任何的pull request?
    ivanchou
        11
    ivanchou  
       2015-04-21 12:35:07 +08:00
    @jason52 大神,求视频重新分享,最近在学习 python 打算写爬虫练习一下
    jason52
        12
    jason52  
    OP
       2015-04-21 13:39:14 +08:00 via Android
    @ivanchou 找我最近发帖有新链接

    另外,俺也是个初学者,逃。。。
    plantparknet
        13
    plantparknet  
       2015-07-14 22:35:00 +08:00
    链接好像取消了。。。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1410 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 23:53 · PVG 07:53 · LAX 16:53 · JFK 19:53
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.