如何评价一篇文章的质量？

[alexapollo]

// 科技类的新品发布内容可能很少，质量很低；而深度的产品解剖、行业分析质量很高。

抛开以上不说，浏览、点赞、评论是很值得参考的值，是否有一个经验公式来将这些因素组合成质量？ 还是一定得用标注样本来训练一遍？

各位有什么好想法？

[menc]

@alexapollo 泛化特征就是内容特征，你回去仔细看

[menc]

@alexapollo 我在公司做的本来就是质量打分，你跟我说牛头不对马嘴，我也是觉得有点无可奈何

[alexapollo]

@menc 可能是我们角度不同，你的角度是“推荐质量打分”而不是“内容质量打分”吧？
推荐质量是另一个话题了，跟内容质量是两码事。。按你说的就是去做 CTR 、时长，以及长期目标优化了。

再者，内容质量不是单纯的 w2v 、 lda 就能表达的。。像头条里，我看深度文章（ AI 方向）不少，但只给我推我看的一两个头条号，在我看来是非常愚蠢的。。

[cqcn1991]

@alexapollo 我本来打算抓国内内容, 但是确实没找到比较简单的指标。另一方面，国内优质内容本来也很少（确实有，但是极少）

其实基本来源有哪些，大概也就 36kr, 知乎。而 36kr 的客推内容基本来自于公众号。然而我对这种本身自带“营销属性”的内容，不是很喜欢。

[gzelvis]

马上要睡了，明天可以给你点评一下

[menc]

@alexapollo 我就是内容质量打分，个推是另外一个领域，是流水线的后面的部分。

[gzelvis]

@cqcn1991 想问下 “ 36kr 的客推内容基本来自于公众号” 这句话应该怎么理解？愿闻其详

[alexapollo]

@menc
但我觉得你说的跟内容质量没啥关系啊。。你说的都是个性化推荐的部分，或者说稍微靠前一点，用户画像的生成。
> 那么对于文章的评价，要用统计量来对文章的质量作评价，合适的 label 有：
> 对于已经过滤掉了标题党的文章，可以使用 ctr
> 对于没有过滤过内容的文章，可以使用平均停留时长
> 或者，以上两者的加权平均。
文章深度我觉得是独立的，不依靠人群的，只是一个 feature 而已，不是你说的这类 label 。。

[alexapollo]

@cqcn1991 科普性质还有虎嗅、极客公园，以及像知乎的一些领域， V2EX 某些好帖吧

[alexapollo]

@menc
A. 如果单从文章角度出发，用文章的各个特征去预估 CTR/平均时长 ，那么我认为这是个文章曝光门槛。
B. 如果从个性化角度出发，用不同人群结合文章的各个特征去预估 CTR/平均时长，那么我认为就是个性化推荐了。

如果你做的是 A ，那我觉得很 OK ，但和这贴的主题还是两码事，或者说，头条有很多数据：点击率 /数、收藏率 /数、阅读时长 /百分比、点赞率 /数，等等，这些特征怎么组合成你的目标，这才是我关心的。。

[alexapollo]

@menc 当然，这些说的跟我讲的行业深度仍然是两码事。

[FrankFang128]

论文不是根据引用数嘛

[cqcn1991]

@alexapollo 原来仔细看过这些科技媒体的内容，最后的结论就是质量实在是…

@gzelvis 36kr 上优秀的内容主要来自于“读者投稿”，来自于某些公众号。这些内容本身有很大一部分“自我营销”的目的在里面。我不喜欢“自我营销”过于明显的内容

当然这也是我对于内容的要求过高了。从自我提升的角度，我觉得看这些内容的提升远远不如读书。

[alexapollo]

@cqcn1991 这些科技媒体很多都是追新，深度报道、分析比较少。但深度报道说实话看的人很少的（所以他们天天在发追新）。

[cqcn1991]

@alexapollo 是的，所以我很少看…

[menc]

@alexapollo
真是想骂人，怎么组合我都告诉你了，难道非要我说
0.自己打 label
1.自己抽 feature
2.用 xgboost ，用 gbdt 这样的 tree ensemble 模型
3.调参，让 rmse 最小
4.打出模型看看是怎么样的一个模型，每个特征权重是多少

你才能听懂么？

[menc]

你想要你想要的，你就自己打 label ，不靠其他的东西，最后得到的就是顺你心的结果。

你来定义行业深度，文章质量，就是一个 label ，有什么不能做的呢？

至于你定义的和客观上的有什么区别，你肯定是觉得你觉得好的比客观上的要好，因为 bias 的存在

[menc]

@alexapollo 个性化推荐和质量打分没你想得这么简单，是两个完全不同的问题，考虑问题的角度也完全不一样，不是一个问题拿来这看看是打分，那看看是推荐。

你没看过朋友圈每小时更新的全部公众号数据，良莠不齐，从几十万文章里面筛选出几百篇堪读的文章，不管用户群体是什么。这是最典型的质量打分。

之所以采用历史特征如 CTR ，停留时长，只是基于一个朴素的假设：用户不是傻子，用户趋向于点击和阅读更高质量的文章。

[alexapollo]

@menc 你说的这些我想是个从业者都知道吧 :)

关键点还是一点
label ：我不认为只关心阅读时长和点击率是有益的，用户的交互很多时候更重要 —— 如果你觉得这不归质量，归到最后的产品策略，那当我没说

[451223358]

@menc 他没懂，他说的其实是文本传播质量
@alexapollo 您说的，其实是单纯的从文本角度去评估文章质量，这个其实目前通用型的文章机器做不了，因为没有标准。某个特定的文本素材或许会有标准，比如政务发布的文章。