V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
kxboy
V2EX  ›  Python

想用 python 采集自己朋友圈的图片,不知道有没有什么思路可以实现呢?

  •  
  •   kxboy · 2016-10-21 19:34:53 +08:00 via iPhone · 12830 次点击
    这是一个创建于 2715 天前的主题,其中的信息可能已经有所发展或是发生改变。
    我有个微信号,加了很多有上百个微商,每天朋友圈会有很多产品图片刷屏,偶尔会让人有眼前一亮的产品,但是实在没功夫天天盯着朋友圈刷微商图片,重复率极高,看多了真的会吐。想着能不能用 python 写个爬虫,把图片采集下来,然后图片去重,然后这些图片也可以算是一笔资源。对 python 的掌握程度,基本上能实现网页的爬虫功能,但是不了解朋友圈怎么爬取。
    29 条回复    2019-04-02 17:57:15 +08:00
    cheetah
        1
    cheetah  
       2016-10-21 19:38:33 +08:00   ❤️ 1
    模拟登录
    kxboy
        2
    kxboy  
    OP
       2016-10-21 19:41:36 +08:00 via iPhone
    @cheetah 网页微信不是需要扫码登录么?同样可以模拟登陆么?我只知道可以模拟表单登陆。
    karenn
        3
    karenn  
       2016-10-21 19:41:50 +08:00   ❤️ 1
    抓包,分析接口,然后模拟请求
    tumbzzc
        4
    tumbzzc  
       2016-10-21 20:52:34 +08:00   ❤️ 2
    本帖的回复都是屁话,包括本回复
    kwanhur
        5
    kwanhur  
       2016-10-21 23:29:40 +08:00
    0 、用 replica 截取 APP 对外的请求
    1 、导出 session log
    2 、根据 log 的请求类型&&URL 爬取图片
    em70
        6
    em70  
       2016-10-22 00:15:43 +08:00   ❤️ 1
    你的朋友圈不是一个公开数据,不能直接爬取,必须模拟登陆.

    有个其他的思路,用电脑做一个 wifi 热点,手机连上查看朋友圈,然后在电脑上抓包手机的请求日志,从中把图片地址都分析出来.
    lhx2008
        7
    lhx2008  
       2016-10-22 00:26:44 +08:00   ❤️ 1
    模拟登陆不现实,微信没有给接口,网页版又没有朋友圈。在网络传输时截取数据是比较好的方法,但是全自动又有点难
    scnace
        8
    scnace  
       2016-10-22 00:51:20 +08:00 via Android
    话说 我也想做个 feature 把自己朋友圈的内容导出 但是嫌太麻烦 已经搁置挺久的了😂
    Asimov
        9
    Asimov  
       2016-10-22 02:49:30 +08:00 via Android
    试试手机上的按键精灵
    congeec
        10
    congeec  
       2016-10-22 03:09:33 +08:00
    不知道传输的时候有没有加密。加密的话,逆向 app , hook 获取朋友圈内容的函数
    orange88
        11
    orange88  
       2016-10-22 08:14:04 +08:00 via Android
    itchat 应该行
    kindjeff
        12
    kindjeff  
       2016-10-22 08:24:08 +08:00 via iPhone
    我建议用按键精灵点安卓模拟器
    NxnXgpuPSfsIT
        13
    NxnXgpuPSfsIT  
       2016-10-22 09:00:22 +08:00 via Android
    @orange88 非常感谢你的支持!但 itchat 实际不包含朋友圈的 api ,关于朋友圈的抓取还是建议阅读其他的回复。
    1130335361
        14
    1130335361  
       2016-10-22 09:26:48 +08:00   ❤️ 1
    所以我一直在想微信书( https://weixinshu.com/)是如何实现的
    ctsed
        15
    ctsed  
       2016-10-22 09:53:40 +08:00 via iPhone
    告诉微商自己喜欢什么 帮你留意一下
    ytmsdy
        16
    ytmsdy  
       2016-10-22 10:10:11 +08:00
    用 fiddler 伪造证书,抓微信客户端的通信数据。手机模拟器里面不停的刷新朋友圈, fiddler 监控数据流,如果是图片就保留下来。
    est
        17
    est  
       2016-10-22 10:17:54 +08:00
    根用什么语言没关系。
    lovesky
        18
    lovesky  
       2016-10-22 11:14:59 +08:00   ❤️ 1
    不用抓包, 用 Xposed 就可以搞定. 已有导出朋友圈的插件, 直接使用就可以.
    xssing
        19
    xssing  
       2016-10-22 16:31:15 +08:00
    抓妹子照片,又想去除微商。怎么搞
    fchypzero
        20
    fchypzero  
       2016-10-22 16:58:21 +08:00   ❤️ 1
    @1130335361 参考使用说明 https://xinshu.me/reading/books/e90846f49151/articles/b4f8a772519aad
    估计用的是魔改的客户端,对接自己的服务器做的一个服务,类似 xposed 的那种。
    kxboy
        21
    kxboy  
    OP
       2016-10-22 22:28:22 +08:00
    @ctsed 多谢建议!这个办法不能批量留存,我不是想买东西,而是想整合朋友圈里的微商资源。目前和这些卖家就是点对点沟通,效率太低,人工沟通成本也太高了。
    kxboy
        22
    kxboy  
    OP
       2016-10-22 22:29:19 +08:00
    @lovesky 求插件名字
    kxboy
        23
    kxboy  
    OP
       2016-10-22 22:35:17 +08:00
    @xssing 话说我是十分建议朋友圈能出一个朋友圈分组折叠,或者关键词屏蔽的内容过滤插件功能,能做到部分内容精准屏蔽与过滤。

    我的朋友圈基本上被业务合作伙伴发的产品宣传图片刷屏,虽然对这种东西十分厌恶,但是又不能完全屏蔽,因为有些信息对工作有帮助,每天十分苦恼。
    zhangneww
        24
    zhangneww  
       2016-10-23 00:26:01 +08:00
    @kxboy Xposed 的“微信防撤回”模块可以屏蔽朋友圈关键字,另外一个可以在酷安搜索“微信朋友圈数据导出”,不过好像只支持导出文本
    mmutuyu
        25
    mmutuyu  
       2016-10-23 02:34:04 +08:00
    @fchypzero 魔改客户端是什么?
    everever
        26
    everever  
       2016-10-23 12:41:35 +08:00
    朋友圈的数据是能够代码抓取的,你去参考同步圈 app http://tongbuquan.com/download
    Senevan
        27
    Senevan  
       2016-10-23 21:41:31 +08:00
    先搞一套 py 圈的 api= =,如果有的话
    kushao1267
        28
    kushao1267  
       2016-10-24 13:01:56 +08:00
    python 有微信接口的啊,看看它的文档,然后就当网页抓取
    diylcy
        29
    diylcy  
       2019-04-02 17:57:15 +08:00
    商用朋友圈采集方案。QQ83474196
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   979 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 20:27 · PVG 04:27 · LAX 13:27 · JFK 16:27
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.