大数据学习个人项目： SZT-bigdata 深圳地铁大数据客流分析系统，开源了

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

已注册用户请登录

这是一个创建于 1465 天前的主题，其中的信息可能已经有所发展或是发生改变。

   ___     ____   _____           _         _      __ _      _             _
  / __|   |_  /  |_   _|   ___   | |__     (_)    / _` |  __| |   __ _    | |_    __ _
  \__ \    / /     | |    |___|  | '_ \    | |    \__, | / _` |  / _` |   |  _|  / _` |
  |___/   /___|   _|_|_   _____  |_.__/   _|_|_   |___/  \__,_|  \__,_|   _\__|  \__,_|
_|"""""|_|"""""|_|"""""|_|     |_|"""""|_|"""""|_|"""""|_|"""""|_|"""""|_|"""""|_|"""""|
"`-0-0-'"`-0-0-'"`-0-0-'"`-0-0-'"`-0-0-'"`-0-0-'"`-0-0-'"`-0-0-'"`-0-0-'"`-0-0-'"`-0-0-'

项目说明🚩：

🎈该项目主要分析深圳通刷卡数据，通过大数据技术角度来研究深圳地铁客运能力。
✨🎉 强调学以致用，本项目的原则是尽可能使用较多的常用技术框架，加深对各技术栈的理解和运用，在使用过程中体验各框架的差异和优劣，为以后的开发项目选型做基础。
👑 解决同一个问题，可能有多种技术实现；实际的企业开发应当遵守最佳实践原则。

核心技术栈(持续更新)⚡：

Java/Scala
Flink-1.10
Redis-3.2
SpringBoot-2.13
knife4j-2.0 （前身为 swagger-bootstrap-ui ）
kafka-0.11 (最佳 CP kafka-eagle)
CDH-6.2
Docker
Elasticsearch-7
Spark-2.3
Hive-2.1
Impala
HBase
...

github： https://github.com/geekyouth/SZT-bigdata

技术栈

项目

大数据

✨🎉

22 条回复 • 2020-04-19 02:03:38 +08:00

levelworm

2020-04-14 07:35:41 +08:00 via Android

国内还有这数据，不错啊！可以撸一把，像你说的用 Kafka 做成实时流。

tigerstudent

2020-04-14 08:10:44 +08:00 via Android

好奇数据源哪里来的？

tigerstudent

2020-04-14 08:11:48 +08:00 via Android

噢，看到 readme 里的描述了

1more

2020-04-14 08:47:05 +08:00 via iPhone

正好最近在研究 kafka，已 star

wudalang123

2020-04-14 09:41:43 +08:00

我也好奇数据来源在哪里

wudalang123

2020-04-14 09:43:06 +08:00

@tigerstudent 找到了数据源🌍：

深圳市政府数据开放平台，深圳通刷卡数据 133.7 万条 [离线数据] ，https://opendata.sz.gov.cn/data/api/toApiDetails/29200_00403601

理论上可以当作实时数据，但是这个接口响应太慢了，于是本项目采用离线思路处理。当然，如果采用 kafka 队列方式，也可以模拟出实时效果