python 爬取的数据要如何展现(可视化)?

2016-08-02 21:45:39 +08:00
 Merlini

最近无聊去熊猫 tv 直播了一小会,写了个爬虫,爬取主播 id 和竹子数量进行排序啥的看看。
然后爬取的数据不知道怎么展现,以前都是放在本地自己看看。
现在暂时把 python 脚本放在学生主机上了,每天 8pm 爬取一次,保存为 csv 格式。
那么问题来了,这些数据如何展示出来了?我暂时有几个想法:

  1. csv 直接变成 html 表格
  2. 使用类似 jinja2 之类的模板
  3. 将数据存储起来,用 js 处理,正好做个网站(本人学了一丢丢前端知识)为什么要用 js 处理呢,因为感觉加上 h5 和 css3 ,数据展示效果应该会很棒比较酷炫。就是不知道 js 处理数据能力怎么样,但是其实我这边数据也很少

github 地址: panda-bamboos-rank

代码写的很入门级,希望大家多多发表意见

7416 次点击
所在节点    Python
25 条回复
20150517
2016-08-03 21:46:42 +08:00
@Merlini 嗯 刚看了 echarts 也不错
namco1992
2016-08-03 23:24:23 +08:00
@slysly759 就是 c3.js 啊,说 d3 学习曲线陡峭的可以尝试一下,我这种前端一窍不通的都能写,这种比较基础的图表很简单啊,数据组织好了就只剩下调调参数而已了。
namco1992
2016-08-03 23:32:54 +08:00
@Merlini 关系型数据库偏重结构化的数据, mysql 对 json 的支持也是 5.7 加入的,估计很多人还没用上吧。而爬取的数据很难结构化,并且多变,又用不到关系型数据库的那些强项,使用文档型的 nosql 存储比较合适。而且 mongodb 应该算是 nosql 里面最像 mysql 的了,有索引,查询方便。

综上原因,所以选择了 mongodb 。
coreki
2016-08-06 19:34:20 +08:00
我也在用 scrapy 写爬虫玩,打算用 mongodb 存数据,用 flask 和 js 的图形控件可视化
Merlini
2016-08-06 23:27:06 +08:00
@coreki 你是准备本地爬取存储分析 然后上传数据么 我在纠结要不要给服务器搞个数据库 又怕吃不消

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/296674

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX