dlmy

dlmy

V2EX 第 578137 号会员,加入于 2022-04-13 13:59:48 +08:00
今日活跃度排名 1365
根据 dlmy 的设置,主题列表被隐藏
二手交易 相关的信息,包括已关闭的交易,不会被隐藏
dlmy 最近回复了
20 小时 35 分钟前
回复了 kirieievk 创建的主题 生活 现在公务员工资这么低吗
湖南 18 线小县城,高速上的收费员,月薪 3200 ,一年总包也有 10w 左右,公务员不可能只靠死工资的
长沙薪资低,但工作强度一点也不低,我之前在深圳某厂拿 35 ,回长沙后在"兴盛优选"拿 20 ,加班比深圳还猛,干了 2 个月顶不住又来深圳了。

高级开发在自研的公司拿 15 算正常,但是干外包尽量多要点,因为长沙的外包可能随时被裁。
3 天前
回复了 za30312 创建的主题 程序员 物联网行业, clickhouse 表设计
@za30312 #14 我这边的业务是充电桩,有 30 多万台设备,我觉得跟你的大致业务应该差不太多。

我目前在做的这个方案借鉴了原大数据数仓的分层模型,但是具体设计跟实现细节还是有着很大的差别,这里更注重于数据模型的抽取跟存储架构的落地,先把结构化数据和非结构化数据的公共存储模型抽取出来进行固化,后续业务团队想进行任何数据相关的操作就很简单了,因为数据模型设计的好,存储流程也很规范,所以整体架构运行的很稳定,能快速响应各种各样的数据需求。

只不过我这个方案是企业级的数据治理平台,而你要做的需求是其中的一个小功能,我不熟悉你的具体业务,没法更细的提供技术方案,但如果后续你公司的业务发展起来了,可以参考一下这个架构。
3 天前
回复了 za30312 创建的主题 程序员 物联网行业, clickhouse 表设计
@za30312 #7 @za30312 如果项目规模不大,团队人手也不多,前期真没必要考虑什么扩展。

你可以参考一下我目前在弄的一个数仓分层方案:
1 、将采集到的原生数据作为基础数据层,标记为 ODS 层,存入 Kafka 中,后面接入 Flink
2 、使用 Flink 对 ODS 层的数据进行清洗和规范化操作,标记为 DWD 层,存入 Kafka 中
3 、使用 Flink 对 DWD 层数据进行加工补齐,也可在此阶段做一些基础宽表,标记为 DWM 层,存入 Kafka 中
4 、使用 Flink 对 DWM 层数据进行处理,分组、聚合、开窗、统计、多流合并,形成主题宽表,标记为 DWS 层,存入 ClickHouse 中
5 、根据需求从 ClickHouse 中读取数据,标记为 ADS 层,进行可视化展示

这个架构你想怎么扩展都行,数据可以在任意一层进行持久化,因为数据分层后形成了固化的存储模型,可以提供平台级别的通用组件支持。

但要注意的点是:这个方案特别烧钱,我目前所在的团队有 40 多个人,已经做了 3 年多,没人没钱的话不建议去碰这个。
3 天前
回复了 za30312 创建的主题 程序员 物联网行业, clickhouse 表设计
你这点内容完全可以放在 ClickHouse 的一张表里,我司的宽表每张都有几百个字段,也是放在一张表里,缺点就是查询的时候不能带很多列
4 天前
回复了 LiJavaT 创建的主题 程序员 RabbitMq 消息积压问题
消费者的消费速率 < 生产者的发送速率,消息才会积压
7 天前
回复了 PainfulJoe 创建的主题 职场话题 6 年 PHP3 年 Java 简历怎么写
PHP 、Java 各写一份简历,工作经验写 9 年,分别投递
23 天前
回复了 VforVendetta 创建的主题 程序员 最快入门框架的方法
那你 debug Netty 框架试试看
[email protected]
已注册,谢谢!
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2618 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 12ms · UTC 05:29 · PVG 13:29 · LAX 22:29 · JFK 01:29
Developed with CodeLauncher
♥ Do have faith in what you're doing.