一个简单的网络小说推荐系统

[nladuo]

大概去年的时候 10 月份的时候，看到了 v 友的这篇帖子:一个简单的网文推荐系统，解决书荒。

这位 v 友当时没有给出源码地址，于是我就打算自己也实现一个。不过，由于算法复杂度太高以及自己学习的很浅(现在学习的也不深)，也没有想到好的办法就暂时搁在了一边。拖到了最近，使用了局部敏感哈希(LSH)的方法降低了最近邻搜索的时间复杂度，也算简单的把它实现了，推荐结果算是勉强可以看了，效果如下图：

算法流程如下：

• 1 、爬取小说
• 2 、小说分词
• 3 、 TF-IDF 向量化
• 4 、最近邻搜索

由于小说爬取的比较杂乱，什么女频的男频的都有，所以有些推荐结果可能有些诡异，另外使用局部敏感哈希来搜索也会影响推荐的准确度，下面贴出链接希望 v 友能给出些改善建议。
推荐测试地址：http://tx.kalen.site:38438/
github 链接： https://github.com/nladuo/novelRS

[coderluan]

试了一下，楼主你其实是在骗我们吧，你这个就是彻头彻尾随机推荐吧...

[chengfu]

好像很厉害的样子，既然是纯搜索功能，能不能做成一个 wp 可以使用的插件呢，集成到 wp 还是不错的说；另外，相似度的准确性怎么算的，有多高（不是说百分比数据，而是“相似度”这个参数本身）

[coderluan]

说正经的，我建议楼主可以爬优书网（龙空）的数据，然后按分类和评分高低推荐。

[nladuo]

@chengfu 相似度就是余弦相似度，把两本小说分词，转换成 Bag-of-Words 模型，通过两个向量的点乘再除以两个向量的模来计算相似度。

[enenaaa]

不如爬优书网的书单， 以用户和书单收藏来推荐。

[v2pro]

LDA 或者 LSA 效果应该比 hash 好。。。
如果是爬的小说，带有原来的类别或者标签就更好了，带标签的 LDA 效果更好些。。。

[wolfan]

看书不如写书，写书不如神精网络生成，以后编剧什么的就不存在了。

[nladuo]

@coderluan 谢谢建议，可能是由于书的质量原因吧，感觉 YY 小说的推荐结果稍微靠谱一些，不知道是不是我爬的数据的原因。像盘龙、星辰变这样的图书结果确实是不太好。

[nladuo]

@v2pro 非常感谢，我去研究一下。

[v2pro]

@nladuo 工具推荐 gensim ，简易好用，效果也不赖。

[nladuo]

@v2pro 这个我知道，不过还没有试过，自己机器太渣跑什么都要跑好久。

[nladuo]

@wolfan hh

[lcatt]

很多小说都没有。。。。

[nladuo]

@lcatt 只是一个 demo ，还不是很完善。

[lcatt]

我搜《王牌进化》，结果出来的都是一些乱七八糟的推荐。。。理想中应该是同一作者的《最终进化》，然后是同一类别的其他作者热门书籍比如《死亡名单》《无限进化》等等。。。

[whale]

目前在看的十几本小说都显示未找到！只能查全本？

[wzha2008]

小说推荐还是用协同过滤更好一些

[Sn0wM4n]

搜了几部都未找到，看来我口味独特

[xiaome]

可能，也许，大概，应该是数据不够？

[smdx]

程序员会看小说吗