请教一个统计相关的问题

6 小时 52 分钟前
 Mayerchan
rt ,现在在做一个高频相关的违规模型,背景有点类似与营业厅人员的操作,这种非规律性的数据,我需要怎么去定义一个高频的阈值呢🤔


目前计划以“人员在某个时间窗口内的操作次数”作为统计指标,但数据分布较不均匀,可能还会受到岗位、网点、业务类型和时段等因素的影响,因此不确定应该如何定义“异常高频”。

目前的思路是结合分位数和箱线图规则:先将 P90 以上的数据作为重点观察范围,再使用 Q3 + 1.5 × IQR 作为异常高频阈值。但实际结合数据分析后,发现识别效果并不理想,存在一定的误报或漏报。

想请教以下问题:

P90 和 Q3 + 1.5 × IQR 是否适合用于这类偏态或长尾的计数数据?
阈值应该全局统一设置,还是按人员、岗位、网点、业务类型或时段分别计算?
除分位数和 IQR 外,是否有更合适的统计方法或异常检测方法?
如果需要,我也可以补充数据分布、时间窗口以及当前误报和漏报情况。



内容用 AI 修饰了一下 ,大伙将就着看哈
261 次点击
所在节点    问与答
2 条回复
Sawyerhou
1 小时 28 分钟前
既然“操作次数”“会受到岗位、网点、业务类型和时段等因素的影响”,那阈值理论上也应该随着不同的“岗位、网点、业务类型和时段等因素”而变化。

阈值紧,误报多,漏报少;阈值松,误报少,漏报多。没有免费的午餐,总要有取舍。具体怎么取舍,还是取决于业务场景的需求。

我觉得用分位数就行,不过 90%分位数似乎有点低,98%、99%差不多,不过不清楚业务具体情况,也不敢确定。
Mayerchan
58 分钟前
@Sawyerhou 就是这个取舍 还有误报这个问题,有点头疼

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1232659

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX