V2EX 首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
Sponsored by
二向箔安全
​一对一的线上 web 安全培训服务
咨询微信:twosecurityrefer
Promoted by 二向箔安全
V2EX  ›  分享创造

熊猫吃短信:全新的基于机器学习的垃圾短信过滤应用(iOS ¥ 1 元特价)

  waylybaye · 12 天前 · 7423 次点击

作为一个生活在移动互联网时代的技术宅,饱受骚扰短信之苦,但没有一个简单的又不用上传自己短信的过滤应用。于是我从自己收到的两万多条短信以及测试期间用户提交的短信样本中训练出了熊猫。

iOS 11 带来了非常强大的 CoreML 机器学习框架,开发者都用来做视觉处理了,我就用它做一个文本归类的应用吧,让熊猫可以在手机里安家。

View on AppStore

熊猫吃短信

准确的语义识别

熊猫从庞大的样本中学习到了垃圾短信的文本模式,可以非常准确的从复杂的语义环境中对短信进行分类。比如下图中非常相似的 [京东支付] 的两条短信。

垃圾短信样本

你可以拷贝短信后,在应用里面点击 准确性测试 来测试准确度。

使用非常简单

您只需要安装后打开 设置 → 信息 → 未知与过滤信息 然后选中 熊猫吃短信 即可。熊猫就会默默的帮你吃掉垃圾短信。

关注隐私

熊猫不需要服务器端,不需要联网。应用自带完整的训练模型,使用 CoreML 就可以在手机上对短信进行分类。iOS 11 的沙盒限制也不允许短信过滤器访问网络以及向主 App 共享数据。虽然通过配置项可以让 iOS 11 向自己的服务器上发送短信在云端判断,但是熊猫并没有使用这一功能。

自动进化

熊猫正在飞速成长中,分类准确性依赖于熊猫有没有见过类似的信息。但是世界那么大,总有没吃过的东西,熊猫也有见识浅的时候。基于自愿原则,您可以在应用里面提交新的短信样本喂养熊猫,熊猫会从新的样本中学习到新的垃圾或者正常短信模式。

注意:提交短信样本会将短信匿名上传到服务器上,并非本地训练,熊猫将在云端完成学习,然后分发到所有人的手机上。

关于偏食

由于熊猫是我教的(监督学习),其一定程度上继承了我的喜好,对于有些比较模糊的短信,比如优惠、促销信息,我是一律标记为骚扰短信的。但是有些人可能会喜欢收到此类通知,大家自行取舍。

系统限制

由于 iOS 11 的系统设计原因,被过滤的短信也会显示角标,以及在 Apple Watch 上通知。另外 iOS 11 过滤短信是基于对话的过滤,如果同一个号码既发骚扰短信又发正常短信,那么整个对话都会被过滤。这种现象常见于五位数的号码,但 10 开头的短信发送端口非常少见。

最后

  • 熊猫的 Logo 来自于我最喜欢的一个滚滚背影图。
  • 熊猫目前只针对中文做了训练,其它语言环境下可能会撂摊子。
  • 我是一名全职的独立开发者,全干工程师,会移动开发,Python 十年老司机,略懂设计,求个关注(
188 回复  |  直到 2017-12-14 20:19:47 +08:00
1  2  
    101
Mcatt   11 天前   ♥ 1
已经购买支持
    102
waylybaye   11 天前
@trotyoung 熊猫痴汉(
    103
lingo   11 天前   ♥ 1
好像买了的都有爱心诶,我也买了我也要
    104
latteczy   11 天前
之前提了 tf 为啥木有通过咩?
    105
waylybaye   11 天前
@lingo 😉 补一个

@latteczy 你的短信不是瞎填的吧,我把瞎填的都给删了
    106
ChenPeiPei   11 天前   ♥ 1
资瓷~已买全家桶
    107
wethen   11 天前
能不能把带“验证码”的文本信息权限调高一点,中国联航的验证码信息都被屏蔽掉了
    108
waylybaye   11 天前
@wethen 能发个样本吗,有些验证码不是用验证码这个词…
    109
Patrick95   11 天前   ♥ 1
已购买支持!
    110
cloverstd   11 天前
能不能提供『训练』的 URL Schemes
    111
wethen   11 天前 via iPhone
@waylybaye
[中国联航] xxxxxxxxx,终于等到你,从今天开始您就是我们的会员啦!登录官网 m.flycua.com 完善您的个人信息即可尊享更多优惠,小联将竭诚为您服务哦~您的动态验证码为:xxxxxx,感谢您对中国联航的支持!好朋友,一起飞!
    112
waylybaye   11 天前
@cloverstd 可以可以,我还打算加个 3D Touch 的快捷方式。
    113
waylybaye   11 天前
@wethen 感谢,我下个版本重新训练下熊猫,确保验证码类的准确率接近 100%
    114
Patrick95   11 天前 via iPhone
我测试了测,信用卡的营销短信基本都被识别为正常短信了,看来还得继续喂养。
    115
Patrick95   11 天前 via iPhone
喔我知道了,如果是招行信用卡的营销短信,熊猫是不屏蔽的,如果屏蔽了,消费提醒短信也会受到牵连,因为是基于会话屏蔽的。
    116
Thiece   11 天前
emmmm,已经存在的短信不会进行规律整理吗?
    117
xcatliu   11 天前   ♥ 1
购买支持~
    118
waylybaye   11 天前
@Patrick95 虽然你脑补的很好,但事实应该是熊猫判断错了 😂

如果你是在 App 里面的 [准确性测试] 里边测试出来是熊猫判断为正常短信的那就是判断错了。不过我用招行这么多年,它的营销短信我都标注为垃圾短息了,一般也不会判断错啊……
    119
jinzhe   11 天前
既然能得到内容会不会自动收集私人短信?细思极恐
    120
waylybaye   11 天前
@Thiece 不会啊,只有新短信会。
    121
Thiece   11 天前
@waylybaye 我还想事实让他帮我整理下我近 1w 条的短信。
    122
waylybaye   11 天前
@jinzhe 请看完正文再发表评论


@Thiece 已有的短信没有权限读取的,只有新短信才会调用接口来进行过滤。
    123
gtanyin   11 天前   ♥ 1
已支持,界面好评
    124
binjoo   11 天前
刚在小众上看到了。
    125
Charkey   11 天前   ♥ 1
购买支持一下
    126
lingo   11 天前
@jinzhe 所以之前腾讯管家的我就没用,这个我想试试是因为,我挺惊讶的是,这个 APP 完全就没要联网。。。
    127
LeungJZ   11 天前   ♥ 1
已购买支持
    128
soupice   11 天前   ♥ 1
已购买
    129
Narwhal   11 天前
啥时候出 Google play 版 0-0
    130
revival83   11 天前   ♥ 1
已表示支持!要加油哦!
    131
revival83   11 天前
不知道过滤了拉近短信后,短信图标的小红点还提示吗?
    132
Jreen   11 天前 via iPhone
@revival83 #131 还是会出现小红点,没办法,iOS 的问题
    133
RickyBoy   11 天前 via iPhone   ♥ 1
支持一个已买
    134
exciting   11 天前 via iPhone   ♥ 1
发现需要 iOS11。。。还是算了。。
    135
waylybaye   11 天前
@lingo 提交样本时还是会请求网络权限的 (捂脸

@Narwhal 暂时没有时间表…
    136
paullee   11 天前 via iPhone   ♥ 1
昨天在推上看到了推广,已购,同时期待拦截骚扰电话的功能,这样就可以省掉腾讯那个庞然大物了
    137
Wao   11 天前 via iPhone   ♥ 1
感谢,已入
    138
hvanke   11 天前 via iPhone   ♥ 1
已支持,试用一下
    139
hubert3   11 天前
ios10 咋办呢
    140
zhr0769   11 天前 via iPhone
香港要 8$
    141
waylybaye   11 天前 via iPhone
@hubert3 10 没办法……谁都支持不了

@zhr0769 1 元是中国特有的价格,其他区对应最低价格的本地货币
    142
JasonMerlin   11 天前   ♥ 1
支持了, 已购买~
    143
trotyoung   11 天前 via iPhone
@waylybaye 你就知道我是个汉…而且你这么暴露我……
    144
wanwan   11 天前   ♥ 1
支持下
    145
jackysc   11 天前   ♥ 1
发现除了那个被下架的 app 以外 楼主的 app 我都入手了。。
    146
zyu0090   11 天前
把短信删完之后,短信.app 里面没有新建短信的加号了。。这锅谁背啊??
    147
waylybaye   11 天前
@trotyoung 🌝

@jackysc 😎

@zyu0090 反正不是我背……
    148
zyu0090   11 天前
@waylybaye 好神奇。。收了一条短信那个编写按钮就出来了。。。不过还是闪一闪的。。
    149
waylybaye   11 天前 via iPhone
@zyu0090 #bugOS
    150
zyu0090   11 天前
@waylybaye 提个小建议,提交垃圾短信样本之后可以考虑来个 feedback,我一直在等。。。
    151
kimcool   11 天前   ♥ 1
超棒啊!购买支持下!
    152
waylybaye   11 天前
@zyu0090 正在想交互方式…
    153
lxz6597863   11 天前   ♥ 1
支持,试用中
    154
Pu   11 天前   ♥ 1
已购
    155
xjoker   11 天前   ♥ 1
全家桶用户前来支持
    156
caiyue1993   11 天前
看来 CoreML 有点意思,感谢作者的实践
    157
trotyoung   11 天前 via iPhone
@waylybaye 好罢
    158
latteczy   11 天前
@waylybaye #105 不是瞎填的啊,我是从我的收件箱里面找的垃圾短信复制上去的
    159
waylybaye   11 天前
@caiyue1993 哈哈,我也是好奇这么久了为啥没有人想着用 CoreML 来做文本分类就自己搞了个。

@latteczy hmmm 正常填的我都发了邀请了,但是也有不少人没有安装,也许你填错邮箱了,或者被当成垃圾邮件了……
    160
kuhung   11 天前
老哥,你的线下基线多少?用 ACC 还是 F1 做评价指标?从一个建模人员看,你的模型还有很大提升空间。
    161
loserwn   11 天前
@waylybaye 我已经支持。感谢作品。我有个问题,根据你对比判断,现在腾讯手机助手支持的「垃圾短信」拦截机制是通过什么方法?跟你通过 CoreML 最大的不同是什么?有明显的对比例子么?
    162
waylybaye   11 天前
@kuhung 用的 F1,不过根据我的测试,准确度跟样本息息相关,所以我现在主要在做标注样本的收集工作…
    163
Lothar   11 天前   ♥ 1
支持买了~不过不能帮忙归档老的短信哎。。
    164
waylybaye   11 天前
@loserwn 根据腾讯自己的介绍:

> 2 )智能识别及过滤垃圾短信,查看短信更快捷;
> 默认过滤诈骗违法等短信,开启“过滤增强”智能模式后可进一步过滤广告推销短信

它的离线判断应该只是过滤诈骗违法短信的,要过滤推销短信需要上传到服务器进行判断。

明显的区别就是离线状态它不拦截财付通理财类的推广,以及其它各种营销推广短信。我没试过它的云查怎么样,我是绝对不会把自己短信上传的。
    165
waylybaye   11 天前
@waylybaye 不对,是我误解了,它的“过滤增强”模式好像和云查不是一回事。过滤增强模式应该也是离线的。
    166
xinhugo   11 天前   ♥ 1
不错,已购
    167
kuhung   11 天前
这里就会有个问题:用户会把垃圾短信上传,而部分误判的、有隐私的正样本选择不上传,最后训练的正负样本和现实分布不同,误判率会上升...
    168
waylybaye   11 天前
@kuhung 不会啊,虽然不到 1:1 但是差别也不是太大… 好多人都知道提交验证码、通知类的短信。
    169
dsphper   10 天前
楼主我出两元求模型加余料
    170
dsphper   10 天前
语料
    171
waylybaye   10 天前
@dsphper 你出 4 块我直接把源码卖给你呗……
    172
vinxee   10 天前
为什么不直接用腾讯手机管家?免费而且里面是一个十几人的团队用机器学习技术来识别的,数据量还贼多。
    173
waylybaye   10 天前
@vinxee 没人不让你用啊,爱用哪个用哪个。
    174
feifan00x   10 天前   ♥ 1
已买
    175
zyu0090   10 天前
有没有办法不让来垃圾短信显示角标?
    176
waylybaye   10 天前
@zyu0090 没办法…等苹果改吧…… 一个很傻的方法是在设置里面把整个信息的角标都禁了
    177
Thiece   9 天前
@waylybaye 一天用下来,对于熊猫对于电商营销的判断还是不尽人意,(双 11 买的东西比较多,现在快双 12 了,营销短信哗哗的就过来了),我想帮助熊猫的成长,但是很明显 IOS 一条一条的复制喂养效率太低了,有什么更高效的方法吗?我手机上可提供的样本还是蛮多的(每次换手机短信都同步过去几年来一直积累)
    178
waylybaye   9 天前
@Thiece 你可以用 iMazing 把短信全部导出来打包发给我 😜

这两天刚收集了差不多一万条短信,我正标注然后训练呢。
    179
shunia   9 天前   ♥ 1
哇,这功能,神 tm 牛*,赶紧去买买买
    180
permaylau   9 天前   ♥ 1
不错,希望出 android 版,我用我的博客:春晓网,www,uwexp.com 给你的产品宣传一下。
    181
lwd2136   8 天前
@waylybaye 开发一个垃圾电话拦截嘛
    182
qf19910623   8 天前   ♥ 1
先支持在下载~
    183
vincentD   8 天前
@waylybaye 需 IOS11 吗,我的备用机 5c 是移动卡。每天都会有好几条开发票的推荐短信,都烦透了。这个软件能治吗,好想解决这个问题。
    184
waylybaye   7 天前 via iPhone
@lwd2136 这个真做不了……
@vincentD 是的,11 是硬要求
    185
blakejia   7 天前
长沙银行的短信被整个拦了。囧
    186
waylybaye   7 天前
@blakejia 银行的老是用同一个号码发短信,没有好办法
    187
irockytan   3 天前 via Android
居然是你,你的 hyperapp 是下架了么? tg 找你也没回
    188
waylybaye   2 天前
@irockytan 被下架了,tg 私聊不经常看…
1  2  
DigitalOcean
关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   鸣谢   ·   1196 人在线   最高记录 3541   ·  
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.0 · 76ms · UTC 16:48 · PVG 00:48 · LAX 08:48 · JFK 11:48
♥ Do have faith in what you're doing.
沪ICP备16043287号-1