数据分析、挖掘、大数据的问题请求大佬解答

[Geekerstar]

有一个商品订单记录宽表，是经过多表清洗后形成的，每条数据以一条订单为维度，里面有几个重要的字段（下单人的年龄、性别、喜好、本次订单的购物商品），其中，商品是以 JSON 数组存储在单个字段中的。

需求：基于这些字段，通过一些数据分析、挖掘等操作后，可以离线计算，形成一个对外提供的服务，支持以下功能： 1 、根据喜好推荐商品，判定依据需要来源于上述的数据。 2 、根据上述字段，输出一些统计分析的结论出来

我不太懂大数据、数据分析挖掘相关的东西，想请教一下各位大佬，处理这个需求有没有什么适用的中间件或数据库，百度了一圈也不太清晰，如 Flink 、ClickHouse 、Neo4j 、ES 、Pandas 等等

PS：上述的商品订单场景，是为了方便理解，举个类似例子，实际的场景是垂直行业，不太好描述😆

[murmur]

你是做研究还是做生产，生产是不用这个算法的，直接给每个商品打 tag ，比如用户购买了化妆品，那么疯狂推荐化妆品就对了

这就是现在各大电商平台的算法

[liprais]

你首先要解决的是人的特征是什么，商品的特征是什么
人的特征 vs 商品的特征 怎么计算距离
然后一个人来了找出他的特征计算跟他最近的商品的距离，这就是推荐给他的商品
人的特征一般就是他的购买历史还有浏览商品啥的，反正整出来一个向量
商品的特征一般都是跟他一块下单的别的商品，还有品类啥的，反正也整出来一个向量
然后你就做逻辑回归训练完事

[Geekerstar]

@murmur 感谢回复，商品订单是为了方便理解举的例子，实际不是这个场景

[murmur]

@Geekerstar 场景和论文是有区别的

你会发现落地算法都是 tag 直接关联推荐，打 tag 比规则算法更重要

你以为的关联规则是：鸡蛋 西红柿 菜刀 砧板 葱
实际上购物推荐是：化妆品 化妆品 化妆品 化妆品 化妆品

女性的消费能力太强了，直接可以影响算法决策

抖音头条不一样，因为他所有的东西都是没意义，都是打发时间部分优劣，所以可以随便推送

你既然是做产品，看一下竞品的规则是什么样就知道了

[ihehe]

推荐很简单啊，哪用得上什么高深技术，随便搞个把 demo 方便以后吹水就行了
用户搜索过，查看过，收藏过，购买过啥，就疯狂推这个东西给他😎。
目前 99.9999%的大厂都这么做的

[czfy]

喜好和商品在实际场景里，需要 NLP 吗？还是能直接用数值指代

[Cheons]

网购更多的情况是不满意再买一个🌚

[235777178]

协同过滤

https://zhuanlan.zhihu.com/p/80069337

推荐你要看量级，量级不大就标签，省心省人。

[zxCoder]

@murmur 太真实了。。。