推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
MrhuangSTR
V2EX  ›  Python

Python 爬虫 js 分析

  •  
  •   MrhuangSTR · Sep 25, 2020 · 2886 views
    This topic created in 2058 days ago, the information mentioned may be changed or developed.

    一般遇到 js 加密参数的,能通过全局搜索定位到对应的 js 文件,然后就没有然后了,试过网上搜索通过打断点调试分析加密逻辑,但是对于那些 js 反混淆比较厉害的就束手无策,网上搜对应的博客看的也是云里雾里,请问当你遇到这种不知道该如何下手的时候你们是怎么处理的?如何提高自己的 js 分析能力

    11 replies    2020-09-25 15:13:30 +08:00
    lusi1990
        1
    lusi1990  
       Sep 25, 2020
    没有提高自己的 JS 分析能力, 而是换成 selenium 爬
    MrhuangSTR
        2
    MrhuangSTR  
    OP
       Sep 25, 2020
    @lusi1990 selenium 真心不想用
    musi
        3
    musi  
       Sep 25, 2020 via iPhone
    慢慢 debug,一般代码都是混淆的也没啥办法
    vone
        4
    vone  
       Sep 25, 2020
    1 、可以把相关 js 单独复制出来,复制的时候如果搞不明白依赖关系就把相关的代码都拿出来;
    2 、用 node 模拟需要的 window 、navigator 等特殊对象;
    3 、如果有缺失代码则继续去复制;
    4 、node 调试执行上述代码,如果有异常,重复 2 、3 步骤(最终目的相关 js 方法可以在 node 环境中正常工作);
    5 、逐步排除无用代码;
    6 、技术比较硬核的可以调试并理解对应的逻辑,弱鸡则可以直接使用 js 解释器直接包装为方法。
    imn1
        5
    imn1  
       Sep 25, 2020
    我反正没搜到不用 selenium 爬豆瓣的例子
    MrhuangSTR
        6
    MrhuangSTR  
    OP
       Sep 25, 2020
    @musi 整个人都会焦躁吧..
    murmur
        7
    murmur  
       Sep 25, 2020
    爬虫大多数都是灰产黑产,干这行一点耐心都没有还行,你这还是有代码可以 debug,别人做反汇编脱壳的怎么说,一不小心程序跑飞了
    MrhuangSTR
        8
    MrhuangSTR  
    OP
       Sep 25, 2020
    @vone 说到底还是要对 js 熟悉,只了解一些基本的基础知识真的很容易卡壳
    MrhuangSTR
        9
    MrhuangSTR  
    OP
       Sep 25, 2020
    @imn1 豆瓣的加密还好吧
    MrhuangSTR
        10
    MrhuangSTR  
    OP
       Sep 25, 2020
    @murmur 脱壳 APP 逆向应该是爬虫里最难的了
    liuqiangxi
        11
    liuqiangxi  
       Sep 25, 2020
    怎么周哥还不来打广告
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   993 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 53ms · UTC 22:46 · PVG 06:46 · LAX 15:46 · JFK 18:46
    ♥ Do have faith in what you're doing.