关于 django 的分组查询 annotation, 似乎只能按照具体数值来分组?

2021-03-23 09:08:58 +08:00
 IurNusRay
比如有个订单表,需要统计近一月总销售额的变化,那么笨办法是先获得近一个月的所有日期,然后遍历,进行 30 次这样的查询:Order.objects.filter(create_time__lte=date).aggregate(sum=Sum("amount")) ,但是用 annotation 又只能统计每一天单日的销售额,不能获得一个时间段内的总和,大佬们有没有啥更好的办法
1724 次点击
所在节点    Python
16 条回复
ericls
2021-03-23 09:10:28 +08:00
annotate 再 values 之后 再 annotate
ericls
2021-03-23 09:10:59 +08:00
values 其实相当于是 group by
ericls
2021-03-23 09:31:03 +08:00
Order.objects.filter(create_time__lte=date).annotate(day_of_month=...).values('day_of_month').annotate(sum=Sum("amount").values('day_of_month', 'sum')
IurNusRay
2021-03-23 09:40:16 +08:00
@ericls 没太看懂。。假如每天的销售额都是 100,那么我想得到的数据类似: {"2021.3.1": 100, "2021.3.2": 200, "2021.3.3": 300}, 是累加的数值而不是单日的
ericls
2021-03-23 09:43:14 +08:00
@IurNusRay 如果是累加的话 可以用 subquery 或者 window?
HelloViper
2021-03-23 09:50:19 +08:00
还不如建个新表起个 job,每次结算下前一天的持久化
IurNusRay
2021-03-23 09:59:08 +08:00
@ericls 没太用过,我去看看
SjwNo1
2021-03-23 09:59:13 +08:00
没用过 django 的 orm 哈,不过应该有 convert date 的方法,然后 group_by 即可
IurNusRay
2021-03-23 10:00:54 +08:00
@HelloViper 我这个只是用在首页的一个数据统计,所以只需要看看有没有啥办法优化一下查询语句
SjwNo1
2021-03-23 10:16:30 +08:00
```
Order.objects.annotate(day=TruncDay('create_time')).values("day"). annotate(sum=Sum("amount")) .values("day", "sum")
```
IurNusRay
2021-03-23 10:21:05 +08:00
@SjwNo1 这样还是统计的单日销售额,我需要查的是累加的值
lvhuiyang
2021-03-23 10:41:40 +08:00
如果 ORM 中没有针对于当前特定业务的实现的话,手动处理下也不繁琐。大概想到两种方式:

- 1. 帖子开头描述的遍历一个月的所有日期,进行 30 次左右的 query 。
- 2. 上面用 annotate 一个 query 语句按照 day of month 进行 group by 查询出每天的销售额,然后用 Python 进行逻辑上的累加。

```python
In [9]: from collections import OrderedDict

In [10]: od = OrderedDict([('2020-01-01', 10), ('2020-01-02', 12), ('2020-01-03', 15)])

In [11]: pre_value = 0
...: result = OrderedDict()
...: for k, v in od.items():
...: pre_value += v
...: result[k] = pre_value
...:

In [12]: result
Out[12]: OrderedDict([('2020-01-01', 10), ('2020-01-02', 22), ('2020-01-03', 37)])
```

对比第 1 种多次查询带来的开销,第 2 种的 Python 累加的开销可以忽略不计,要我我选第 2 种实现。
IurNusRay
2021-03-23 10:45:15 +08:00
@lvhuiyang 恩,第二种方法的确也不错
lvhuiyang
2021-03-23 10:47:40 +08:00
#12 复制的代码缩进有点问题,发个截图:

IurNusRay
2021-03-23 11:24:25 +08:00
@lvhuiyang 刚刚想了一下,这样好像也有个问题,首先根据日期分组的时候,如果某一天没有订单产生,则不会出现在 QuerySet 的结果里面,所以还要将缺失的数据比如 {"2020-01-01": 0} 插入到结果中。。
lvhuiyang
2021-03-23 11:43:58 +08:00
@IurNusRay 呃确实需要先将缺失的数据插入到结果,不过这些应该都是对 query 结果的逻辑操作,感觉逻辑上也不复杂。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/764125

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX