提取标题关键字方法,非预训练模型

2023-04-08 22:37:02 +08:00
 beryl

目标是想提取一句话中的关键词,例如『看来是要放弃 edge 了』。只想要部分属性的名词,期望的只提取 edge 互联网类的名词

使用结巴分词的 TF-IDF 方式。试了下提取出来的前三个结果是:edge 、看来、放弃。

想着是不是可以有开源的行业词表作为标签库,再找一些停用词表。有哪些开源的行业词表么,搜了一大圈没有合适的,或者四五年不更新了。

想着有个基础版,后面自己在这个基础上更新也可以。

或者大家有没有其他的思路呢

词典还一个思路是输入法词典是不是也是一种思路,不过也没找到开源的,这种应该属于商业数据吧

972 次点击
所在节点    程序员
2 条回复
buyan3303
2023-04-09 08:45:34 +08:00
词库的话 谷歌上 中文 词库 github:
https://github.com/thunlp/THUOCL
https://github.com/fighting41love/funNLP
https://github.com/ling0322/webdict
https://github.com/GanjinZero/awesome_Chinese_medical_NLP
https://github.com/foowaa/Chinese_from_dongxiexidian
等等
四五年不更新了 那么不是还有 4 5 年前的数据,先自己做成自定义词库先。
murmur
2023-04-09 19:49:41 +08:00
我感觉这玩意挺扯淡的,首先中文互联网的标题都是惊了!注意了! xx 不会告诉你的!错过就晚了!

具备概括能力么

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/930893

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX