有点标题党,这个产品叫「寻隐」(英文版叫 Queryable),之前在 V 站推广过: t/905377, 因此这里不再赘述它的功能了,简单来说,它是一个离线的自然语言相册搜索工具,你可以用「一只狗在玩滑梯」来搜索你的 iPhone 相册,而不是搜单纯的“狗”,并且不联网。
昨天我把这个产品免费&开源了:App Store | Github | 网站
「将 CLIP 模型部署在手机上,用自然语言搜相册」这个 idea 源自于 2022 年 9 月,直到去年 12 月我才有空闲和能力完成,在今年的 2 月 7 日上了Hacker News 首页,让 Queryable 在当天占领了全部欧洲国家工具榜#1 ,美国工具榜#2 。
后续国内的果壳、差评、少数派的自来水曝光,让我从 1-3 月几乎每个月可以获得 1-2 万块的收入。因为运行在手机端,在不想添加新功能的情况下,也不需要维护和服务器成本。从 4 月份起,没有任何流量曝光、不做任何更新的情形下,平均每月大概可以获得 3000 元的收入。
我在前天限时免费了一次,很惊讶有很多人下载。我想,与其维持这样每月 3000 块的收入,可能阻止了 99%的人发现这个产品(用户数决定了关键词排序),不如让所有人都可以使用它,因此产生了「让它一直免费的念头」。
在昨天,我决定这么做了。
想起来过去半年,一直有用户对寻隐/Queryable 的相册隐私安全提出疑虑,很多美国人也天然反感中国开发者的产品,而另一些开发者也常常发邮件询问我技术方案。既然决定让产品免费,不如也一起开源了:你可以从了解如何做 LLM 模型的本地加载、向量计算、存储和排序。
因为我需要生存。 当时刚从之前的工作离开,我需要新的收入维持生计,并且缓解焦虑。 现在,我有了新的收入(虽然不多),焦虑感也降低了很多,因此才下定决心,帮助他人的想法战胜了对收入的依赖。
项目的协议是MIT,所以将这个 repo 用于商业产品使用是完全可行的,但是我不建议你换个 icon 上架 App Store ,或者类似的恶性竞争,你可以试试开发自己的 Android 版本。
我并非 iOS 工程师,所以代码里 Swift 的部分非常的烂,但你可以参考其中关于模型的部分。我希望它能帮你实现本地向量存储、搜索,这样对于短文本构建向量,可能也不需要 OpenAI Embedding API 了。如果你有想实现的功能,非常欢迎贡献 PR 。
另外,中文模型的训练使用了一些非公开语料,所以抱歉目前只公开了英文模型权重。
![]() |
1
Emyorii 149 天前 via iPhone
大佬牛逼,支持💪🏿
|
![]() |
2
Smilencer 149 天前
大佬牛逼,学习!
|
3
x1abin 149 天前
感谢大佬分享!膜拜
|
![]() |
4
dassh 149 天前
膜拜大佬
|
![]() |
5
vsitebon 149 天前 ![]() 有决心将非生命末期的商业产品开源的人,令我佩服
|
6
jdkxnktkdkxod 149 天前
无私
|
7
tbg 149 天前
格局很大,感谢分享
|
![]() |
8
nikenidage1 149 天前
厉害,自己训练的模型也包含吗
|
![]() |
9
SleepyRaven 149 天前
为开源点赞
|
![]() |
10
abersheeran 149 天前
下载试了试,应该是中文转了英文之后再搜索的。😂出现的结果让我有点尴尬
|
![]() |
11
wseani OP @nikenidage1
英文模型是公开的,中文模型训练数据是非公开的,所以模型无法以 MIT 协议开源。 |
![]() |
12
zhangsimon 149 天前
瑞思拜
请教下大佬 Appstore 的评价只有 3 个 是累积评论只有 3 个吗?还是评论只展示最新 App 版本的 |
![]() |
13
wseani OP @zhangsimon 只是 中国区/Mac App Store 下的。
|
![]() |
14
nikenidage1 149 天前 ![]() @wseani 厉害,后续可否写写文章介绍下训练模型这部分,我比较好奇
|
15
tuangouzi 149 天前
膜拜大佬
|
![]() |
16
WngShhng 149 天前
盈利模式是什么?谷歌相册不是有相同的功能吗?
|
![]() |
18
lsming22 149 天前
大佬牛逼,支持
|
19
vueli 149 天前
|
21
jiezaichan 149 天前
太帅了把
|
22
longbo666 149 天前 ![]() 羡慕啊,我长大以后也想成为你这样的人。
(暂时忘记自己已经 30+的事实 |
23
grahamsa0503 149 天前
之前支持了,痛失 12
|
![]() |
24
idblife 149 天前 via iPhone
赞格局
|
25
ffkjjj 149 天前
首先为大佬点赞。
请问下,这个 App 对于开启了 优化 iPhone 存储空间 照片是怎么处理的。我尝试了一下,似乎结果不太准确。 |
![]() |
26
auv1107 149 天前 ![]() 几个月前看到作者文章下载了少数派只为了关注作者,今天看到仍有收入的产品免费且开源,心里只有两个字,敬佩!
|
27
liangtao927190 149 天前
感谢大佬
大佬牛逼 |
![]() |
28
maemolee 149 天前 ![]() 大佬牛逼,之前付费支持了!
|
![]() |
29
mervinmemory 149 天前
为大佬点赞。
|
![]() |
30
wseani OP @ffkjjj 本地有缩略图就没问题,结果的准确性方面:试试长句,尽量不要用 1-2 个字的单词。而且个人实际使用上的感觉:准确率是一个不太重要的东西,我用它是为了搜脑海里已经有了的画面,输入描述句子,通常能在 top10 中找到想要的那张,就足够了。
|
![]() |
31
SWBMESSI 149 天前
相册权限为 “选中的照片” 数量 300 张, 构建模型时显示:共有-1 张照片需要构建索引 为什么呢
|
![]() |
32
jsjjdzg 149 天前
大佬太厉害了
|
![]() |
33
wseani OP @SWBMESSI 好像是 app 的 bug ,没有支持允许部分相册权限。如果是隐私疑虑,则不必担心(毕竟不联网),如果是只需要这么多,那确实不支持部分相册。可以卸载 App 、重装,然后允许访问全部相册。
|
![]() |
34
K1W1 149 天前 via iPhone ![]() 应用不错,很早就付费入了
|
![]() |
35
huangjinjiang20 149 天前 ![]() Android 版我已经上架 Google Play,详情看我的帖子: https://www.v2ex.com/t/954758
|
36
ovtfkw 149 天前 via iPhone
为啥我搜“护照”,出来的是一对屁股和胸部的图片呢
|
38
zycode 149 天前
希望开源和免费能给大佬带来新的机遇
|
40
zhaoweihao 149 天前
想请问下老哥的博客用的什么主题 看着好简洁好喜欢 https://mazzzystar.github.io/index.html
|
![]() |
41
wseani OP ![]() |
![]() |
42
TheAlwaysHaveYou 149 天前 via iPhone
支持大佬
|
![]() |
48
zhaidoudou123 149 天前
支持大佬,下载试试看
|
![]() |
49
wseani OP |
50
ffkjjj 149 天前
@wseani 您好,我使用 寻隐 App 进行搜索,结果也和 Queryable 表现一致。就是无论输入什么描述,结果都是同一组照片。iOS 版本为 17.0 beta 3
|
51
cs3230524 149 天前
溜啊,什么时候才能像你一样优秀。
|
![]() |
53
est 149 天前
这个牛批啊
|
![]() |
54
spicy777 149 天前
瑞斯派,大佬牛逼
|
![]() |
55
AirBai2 149 天前
真·大佬
|
![]() |
56
saimax 149 天前 via iPhone
瑞斯拜😜
|
57
yukinotech 149 天前
瑞思拜
|
![]() |
58
yhxx 149 天前
羡慕
格局 |
59
XiaoBaiYa 149 天前
这个软件对于相册重度使用者的我,相当有用,才知道有这么一个 APP ,还是开源!大佬牛逼!
|
![]() |
60
wellerman 149 天前
赞一个
|
![]() |
61
houshengzi 149 天前
赞一个,瑞思拜
|
62
iOCZ 149 天前
前几天我自己写了一个 demo ,支持 iOS14
|
![]() |
64
bs10081 149 天前
大佬有沒有考慮做一個基於 Whisper 的輸入法啊?能離線使用的
|
![]() |
65
Nachtblut 149 天前 via iPhone
支持一下
|
![]() |
66
dage 149 天前
大佬牛逼
|
67
iOCZ 149 天前
@wseani 我存储了特征向量。作为非专业 iOS ,写出目前这样的代码已经很不错了,photos api 让人看着其实挺头大的,SwiftUI 也有不少东西需要掌握。
|
68
hopeoffer 149 天前 ![]() 两个月前研究过大佬这个项目,没想到开源了,很期待能讲解下模型本地化的问题
|
![]() |
69
putaozhenhaochi 149 天前 via iPhone
大模型现在这么火,手机厂家是不是会很快内置这种功能
|
![]() |
70
woshinide300yuan 149 天前
强势
|
![]() |
71
wseani OP |
![]() |
72
Jimson 149 天前
啊,居然不支持 XR... 这是为什么
|
73
owen800q 149 天前
很好用啊。支持一波
|
![]() |
74
waylife 149 天前
6 哇,支持老哥
|
![]() |
75
kebamt 149 天前 via iPhone
美区 App Store 会上线吗?
|
76
iOCZ 149 天前
尝试降低工程的系统要求,发现模型本身要求 iOS16 ,我直接用的 CLIP ,发现是 iOS14+就行了。不清楚楼主是怎么制作的。
|
78
Heisenbery 149 天前 via iPhone ![]() 楼主文笔不错啊,“一次杀人”这一篇写得很有味道
|
![]() |
79
iluhcm 149 天前 via iPhone ![]() 想法很棒。我最近的工作重点和 po 主类似,通过相似性语料向量召回的方式实现意图识别,embedding 模型用的是 large-chinese-text-v2 ,但没有想过把功能用于图片检索上。
|
![]() |
81
wseani OP @iOCZ 两个考虑:1) iOS 16 对 Core ML 优化加速很大,因为之前是商业产品,所以为了确保花钱购买的人能用起来舒服,相比「让更多人用」而言,试图「让人用起来不崩溃/更流畅」,是一种对设备的反向筛选。2) 另一个是因为我参考了 Apple 的 Core ML 加载代码,只在 iOS 16.0 上生效。 不过既然免费了,兼容 16.0 以下也可以接受了,你可以提交 PR : )
|
![]() |
83
myfate 148 天前 via iPhone
膜拜大佬
|
84
Steaven 148 天前
大佬牛逼
|
![]() |
85
izzy27 148 天前
太牛了,学以致用
|
87
horizon 148 天前
牛逼
|
![]() |
88
SupperCoder 148 天前
大佬牛逼
|
![]() |
90
hustlzp 148 天前
大佬牛逼
|
91
ningfan120 148 天前
大佬牛逼,学习!
|
92
ju0594 148 天前
点赞!
|
93
fengdechoulian 148 天前
点赞
|
94
VersionGod1 148 天前
大佬牛逼!
|
![]() |
95
seawavecau 148 天前
真~大佬
|
![]() |
96
ivanyin 148 天前
大佬牛逼
|
![]() |
97
weilanwl 148 天前
而你!是我的英雄!
|
98
weng1993 148 天前
强无敌! star 了
|
![]() |
99
icemberry 148 天前
感谢分享,fork 一份学习一下
|
100
HangoX 148 天前
大佬,别完整开源呀,肯定会有人编译后上架市场的,有公司专门这样干的。
开源是好事情,但是我不希望看到你看到 appstore 的李逵后伤心 |