使用卷积神经网络与代理服务器实现骂人弹幕的自动屏蔽

2017-02-06 15:09:31 +08:00
 Yinz

https://yinzo.github.io/14863637393852.html

使用的是 TensorFlow 后端的 keras , 3000 条弹幕的识别时间在 5s 左右(指的是 model.predict 的单句计时 5s 左右),可能是 model 隐层节点太多了?不知道前辈们有没有一些提高速度的方法呢,如果能帮我指一下方向那将会非常有帮助:D

接下来准备继续学 RNN 以及 LSTM 来继续优化这个玩具分类器:D

另外后排继续寻找广州的机器学习实习岗,希望有 dalao 收留简历在这里

11711 次点击
所在节点    程序员
80 条回复
cnallenzhao
2017-02-06 15:15:16 +08:00
朱芳芳迷弟路过
Yinz
2017-02-06 15:17:46 +08:00
@cnallenzhao 2333 我也!
Livid
2017-02-06 15:23:57 +08:00
很有意思。

话说我在想,我们也需要类似的技术来识别水贴……

赠送你 1 个小时的置顶 :)
Yinz
2017-02-06 15:26:04 +08:00
@Livid 这个鼓励非常大 XD 这次实现觉得最困难在于样本获取,我是日思夜想怎么弄到 B 站举报弹幕的数据,相信 Livid 作为站长应该是不存在这个问题的 :D
winkidney
2017-02-06 15:42:51 +08:00
默默支持 LZ ,武运昌隆 23333
Yinz
2017-02-06 15:45:35 +08:00
@winkidney hhhhh 给阿毛拜个晚年
DlYgod
2017-02-06 15:47:16 +08:00
朱芳芳女粉路过
popil1987
2017-02-06 15:51:04 +08:00
光用 gensim 不也行吗? svm 训练好,分类就是毫秒之间
knva
2017-02-06 15:52:09 +08:00
电竞恶霸朱芳芳,等一个开黑 你被强化了啦#5167
Yinz
2017-02-06 15:56:39 +08:00
@popil1987 svm 确实没有尝试过,效率这么高吗,我觉得我可以去尝试一下,因为这边 CNN 效率算下来也是 1.7 毫秒 /条
jzp113
2017-02-06 15:56:44 +08:00
只要样本多。用朴素贝叶斯也可以啊
Yinz
2017-02-06 15:58:59 +08:00
@jzp113 2333 对的,我之前用的贝叶斯分类器写过,但是就是训练数据必须得符合现实分布,样本收集起来就很麻烦。而这里我是通过搜索关键词收集的骂人弹幕,所以就方便一点。
lan894734188
2017-02-06 16:08:46 +08:00
厉害了 同求广州地区网工运维职位
qq316107934
2017-02-06 16:10:17 +08:00
直播官方没法屏蔽弹幕拉黑人真的是硬伤。。。
之前做了个 js 版熊猫 tv 弹幕的 filter ,只能屏蔽指定关键字,结合这个后端就方便多了,支持下。
另外要不要稍微改下变成反代版的?这样改 hosts 就行了,不影响正常上网。
gejigeji
2017-02-06 16:12:42 +08:00
请问深圳的岗位考虑吗?
Yinz
2017-02-06 16:14:17 +08:00
@qq316107934 原本我也是想着通过 host 来解决的,不过想起 Surge 有 URL Rewrite 就直接用了 XD ,我想大概改 host 也能直接生效?
Yinz
2017-02-06 16:18:59 +08:00
@gejigeji 深圳也是可以考虑的,不过可能就是需要很适合我才会去的了,因为下学期还有两门课可能需要我来回两头跑

说得比较直接,望见谅 :D
wb14123
2017-02-06 16:19:45 +08:00
记得 keras 代码里面的一个例子就是用 RNN 做分类器,可以试试。
Yinz
2017-02-06 16:20:07 +08:00
@wb14123 感谢,我可以参考一下:D
Yinz
2017-02-06 16:24:45 +08:00
@gejigeji 当然,鹅厂的话我觉得是值得我两头跑的 :D

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/338455

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX