V2EX 首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python 学习手册
Python Cookbook
Python 基础教程
Python Sites
PyPI - Python Package Index
http://www.simple-is-better.com/
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
V2EX  ›  Python

Python 分布式抓取京东商城评价并且使用 pandas 进行快速、全面、高提炼度和高对比度的数据分析

  •  2
     
  •   awolfly9 · 124 天前 · 1911 次点击
    这是一个创建于 124 天前的主题,其中的信息可能已经有所发展或是发生改变。

    分布式抓取京东商城评价并且使用 pandas 进行快速、全面、高提炼度和高对比度的数据分析

    互联网购物现在已经是非常普遍的购物方式,在互联网上购买商品并且使用之后,很多人都会回过头来对自己购买的商品进行一些评价,以此来表达自己对于该商品使用后的看法。商品评价的好坏对于一个商品的重要性显而易见,大部分消费者都以此作为快速评判该商品质量优劣的方式。所以,与此同时,有些商家为了获得好评,还会做一些 "好评优惠" 或者 "返点" 活动来刺激消费者评价商品。

    既然商品评价对于消费者选购商品而言至关重要,那么我想试试可以从这些评价信息中获取到怎样的价值,来帮助消费者快速获取到关于该商品的一些重要信息,给他们的购物带来更加可靠地保证?

    所以,我认为,一种快速、全面、高提炼度和高对比度的信息获取和展示方式将会非常必要。 于是,我采用分布式快速抓取京东的评价信息,然后使用 pandas 对抓取到的数据进行分析。

    话不多说先附上使用地址
    体验地址:http://awolfly9.com/jd/
    体验示例地址:http://awolfly9.com/article/jd_comment_analysis

    想要分析京东商城的商品评价信息,那么需要做些什么呢

    • 采用分布式抓取,尽量在短时间内抓取需要分析的商品足够多的评价信息

    • 将抓取到的评价信息都存储到数据库

    • 从数据库中取出所有数据进行数据分析

      • 生成好评的词云,并且获取关键字
      • 生成中评的词云,并且获取关键字
      • 生成差评的词云,并且获取关键字
      • 分析购买该商品不同颜色的比例,生成柱状图
      • 分析购买该商品不同配置的比例,生成柱状图
      • 分析该商品的销售数量和评论数量和时间的关系,生成时间则线图
      • 分析该商品不同省份购买的的比例,生成柱状图
      • 分析该商品不同渠道的销售比例,生成柱状图
    • 利用 Django 搭建后台,将数据抓取和数据分析连起来

    • 前端显示数据抓取和分析结果

    分布式抓取京东商城的评价信息

    采用分布式抓取的目的是快速的在短时间内尽量抓取足够多的商品评价,使分析结果更精确

    1. iPhone7 https://item.jd.com/3995645.html 为例,通过 Chrome 抓包分析出京东商城的评价请求 URl https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv2940&productId=3995645&score=0&sortType=5&page=1&pageSize=10&isShadowSku=0
    2. 找出评价请求 URL 规律,获取到如下 URL 组合链接
    3. 利用 Chrome 插件 Postman 测试链接是否可用,发现京东获取评价信息并没有验证 Cookie 之类的反爬措施
    4. 开始编码利用 scrapy 抓取京东商城的商品评价信息并存入数据库以备使用

    数据分析

    1. 从数据库中取出相应数据,开始分析
    2. 使用 python 的扩展库 wordcloud 分别提取好评、中评、差评的关键字,并且生成相应的词云图片
    3. 分析该商品不同颜色的销量占比,并且生成柱状图,例如 iphone7 的不同颜色金色、玫瑰金色、银色、黑色、亮黑色、还有最新出的红色的占比
    4. 分析该商品不同配置的销量占比,并且生成柱状图,例如 iphone7 32G 、 64G 、 128G 存储
    5. 分析该商品销售和评论时间并且生成折线图,分析出商品在什么时间最畅销
    6. 分析用户购买该商品的渠道,例如用户通过京东 Android 客户端、微信京东购物、京东 iPhone 客户端购物的比例,并且生成柱状图
    7. 分析购买该商品的用户的地域省份。例如北京、上海、广州那个城市在京东上购买 iPhone7 的人更多
    8. 将以上分析结果都存储保留

    Django 后台 WEB

    使用 Django 搭建一个简易的后台 jd_analysis ,将分布式抓取数据和数据分析连起来,并且将分析结果返回前端显示。

    1. jd_analysis 提供一个接口接受用户请求分析的京东商城商品的 URL 链接
    2. jd_analysis 接受到商品链接后开启爬虫进程开始抓取需要分析的商品的名称和评价数量
    3. 组合出完整的评价链接插入到 redis 中,实现分布式爬虫抓取,尽可能在短时间内抓取足够多的该商品评价信息(我现在是 30s 时间大概可以抓取 3000 条评价信息)
    4. 主服务器等待一定的抓取时间,例如主服务器等待 30s , 30s 后一定要给前端返回分析结果,所以等 30s 后清空 redis 中该商品的链接,从服务器没有读取不到需要抓取的链接也就自动关闭
    5. 开启分析进程,开始分析抓取到的所有数据,并且生成图标等信息

    前端展示

    在客户端第一次请求时,生成一个 GUID ,并且存储在 cookie 中。然后开启一个定时器,带上 GUID 不断的向 jd_analysis 后台请求结果。 jd_analysis 后台利用请求的 GUID 从 redis 中获取抓取信息和分析结果的所有内容,返回给前端。前端显示请求到的结果。

    最后附上两张效果图

    购买和评论时间折线图
    购买渠道柱状图

    大功告成

    以上就是完整的抓取京东商品的评价信息并且使用 pandas 分析评价然后利用 Django 搭建后台前端显示抓取和分析结果的所有步骤。

    再次贴上使用地址:http://awolfly9.com/jd/ 欢迎多多尝试,多挑毛病~
    如果你对这个项目感兴趣欢迎和我交流沟通,我也建立了这个项目和数据分析的微信群,也可以加我好友进微信群,我的个人微信

    第 1 条附言  ·  124 天前
    目前服务放在阿里云最低配的机器人,所以承载量不大,现在后台显示很多人在访问,随时可能挂掉。


    我已经建好了微信群,但是人数超过 100 了。加我好友,我拉进群。
    第 2 条附言  ·  124 天前
    晚上,我会关闭一台服务器,抓取会慢一些,请耐心等待
    22 回复  |  直到 2017-04-22 12:55:08 +08:00
        1
    awolfly9   124 天前
    服务器已挂,正在重启
        2
    xiaoyu9527   124 天前
    这个真屌。
    有没有实现思路?
        3
    awolfly9   124 天前
    @xiaoyu9527 上面不是已经说明了完整的实现思路吗
        4
    yanchao7511461   124 天前
    不错啊
        5
    gimp   124 天前
    挺好的
        6
    awolfly9   124 天前
        7
    awolfly9   124 天前
    @gimp 谢谢
        8
    zhy   124 天前
    分布式抓取?就是有很多台机器很多 ip 了?
        9
    awolfly9   124 天前
    @zhy 目前我只有三台服务器,加上我自己的电脑是四台。同时抓取是大概 30s 能抓 3000 条左右数据
        10
    zhy   124 天前
    @awolfly9 挺厉害,学习~
        11
    onelove   124 天前
    厉害,学习了。
        12
    justtery   124 天前 via Android
    叼叼叼,来学习一下
        13
    awolfly9   124 天前
    @justtery @onelove 欢迎加我微信,进入微信群
        14
    0Zyc   124 天前
    全球购 item.jd.hk 类似这样链接好像都不行,功能很棒。思路很不错学习了。
        15
    awolfly9   124 天前
    @0Zyc 是的,现在不支持全球购。
        16
    xuyl   124 天前
    很好,如果开源出来就好了。
        17
    hanbing135   124 天前 via Android
    词云啥意思
        18
    AlisaDestiny   123 天前
    可以的小伙子,下次再京东买东西就先在你这分析一下。
        19
    maemo   123 天前
    楼主, ip 的问题是怎么解决的
        20
    awolfly9   122 天前
    @hanbing135 百度下词云
        21
    awolfly9   122 天前
    @AlisaDestiny 欢迎多多尝试~
        22
    awolfly9   122 天前
    @maemo 可以参考我之前的开源项目 https://github.com/awolfly9/IPProxyTool
    DigitalOcean
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   鸣谢   ·   1677 人在线   最高记录 3541   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.7.5 · 53ms · UTC 00:48 · PVG 08:48 · LAX 17:48 · JFK 20:48
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1