网站内容同时存在多种语言的标题时， 怎么做搜索分词？

[skypyb]

RT.

假如一个网站需要支持文章搜索。
那么当文章标题可能存在 中文|日文 时, 这个文章应该如何分词？ 用户输入时又如何分词？

来个好哥哥指点一下

[ryh]

个人觉得可以不用那么复杂，依照用户设置的显示什么语言 或者 header 里的 accept-language 搜那个语言的标题就好了，其他语言忽略

显示中文 但搜 平假名 片假名 这种倒是好处理，搜日语的就行， 搜汉字的话你怎么处理，只有用户定义（ client 设置 /自选）搜索语言

[learningman]

你看看谷歌怎么处理的呗，你不定义就按网站语言来
当然谷歌可能还有机器学习之类的东西，但这个方向应该没啥问题

[niubee1]

ES 里存多条

[skypyb]

@ryh
@learningman

网站就是中文网站， 但是站内内容可能会出现相当一部分的日文标题 （因为是二次元相关）
如果只搜中文， 那就会漏东西了 😂

[YouLMAO]

```
1. title analyzer 设置中加日, 浪费索引速度 2 倍
2. 当你知道这个视频包含日语, 比如只占 0.1%的视频, 则同时索引进 title 和 title_jp, 其他情况索引进 title
```

当 query 包含日语, 同时搜索 title+title_jp

[YouLMAO]

markdown 咋搞的, 不好用

[leekafai]

p**b 好像就是这样，多语种 title 都可以搜索得到

[zhuangjia]

@YouLMAO 仅主贴支持，评论不支持

[huayumo]

上 elasticsearch 搜索引擎,数据库分词什么的鼓捣半天不如 es