比赛数据有效性处理的一个问题

2019-07-19 13:14:33 +08:00
 greenhat233

mjj 们,现在在弄一个比赛信息显示与管理的网站(主要显示比赛数据,以及登录后收藏比赛数据什么的),现在在弄显示功能。流程主要是爬虫抓取别的网站上的比赛信息,然后汇总到一个网站上面显示。现在数据已经爬到了,打算直接存到 MongoDB 上面,然后前端定时到数据库拿数据。 现在有一个问题就是不知道怎么处理数据库里面的数据,怎么判断这个数据实时性?就是有时候这个比赛时间过了,这个数据在数据库里面,然后就不能拿给前端了。目前只能想到这个办法是全部拿出来,然后筛选,然后再排序,然后再发给前端,还有没有别的高效的办法呢?

1171 次点击
所在节点    问与答
5 条回复
q937298063
2019-07-19 16:11:46 +08:00
额,存到数据库的时候 ,不存时间之类的吗。。
greenhat233
2019-07-19 17:52:10 +08:00
meik2333
2019-07-19 18:33:57 +08:00
http://contests.sdutacm.cn/contests.json

https://github.com/MeiK2333/recent_contests

我的做法是结束时间小于当前时间的直接扔了,简单粗暴
greenhat233
2019-07-19 19:13:21 +08:00
@meik2333 抓取简单,就是配合前端这里。想问你抓取的这个数据有在哪里用嘛
meik2333
2019-07-19 20:06:49 +08:00
@greenhat233

配合前端,就直接用当前时间和数据库里的结束时间比较一下呗,mongodb 也有这样的语句。

我这个数据就是爬着玩,基本没有应用。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/584384

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX