开发了一款“比较智能”的苹果相册 APP,可以文搜图或者按人脸和地点快速查找照片

3 天前
 jobives2023

我对苹果原生相册的智能化不太满意,例如我想快速查找证件照片或者快速查找在某个地方拍的照片,再或者想快速查找某人相关的照片,原生相册几乎只能凭记忆翻找

恰好这两年有些小型 AI 模型已经支持在较新款的 iphone 上运行,作为一个程序员,所以我决定自己来做这个 APP ,其实去年就做出来了,但没做任何推广和优化就直接发布到 AppStore 了,这段时间刚好有空,本着既然做了就做好的想法,又把 APP 优化了更新一次。完美支持了上诉所有功能,我自己和几个朋友一直在用,听他们反馈说比原生相册好用,当然可能是因为朋友关系的缘故,我自己照片不多,大概五六千张。用着感觉还不错,特别是有时候需要快速查找某张照片,几乎都能在几秒钟内快速找到。如果你也需要类似功能,欢迎使用。对了,我还集成了橡皮擦,可以快速擦出照片中不需要的部分。

APP 叫 “思黛相册” ,只做了苹果版本。

1544 次点击
所在节点    Apple
43 条回复
BiteDXH
3 天前
谁和你说没这功能的,能不能调研一下先?
9G
3 天前
@BiteDXH 但是很多时候搜不出来。

我比较担心隐私问题,应该都在本地吧。
9G
3 天前
刚看到介绍有写保护隐私,文件有点大,下了半天,可能也是我网的问题。
AOK123
3 天前
在用“寻隐”,一样的功能,看了 appstore 的版本记录,是 23 年 1 月发布的
AOK123
3 天前
@AOK123 #4 搜了一下居然早就已经开源了
YsHaNg
2 天前
在用 immich 服务器有独显 力大飞砖 虽然不能离线使用
maizero
2 天前
5 、6000 可能体现不出什么差异。6 、7 万张试试看。
jobives2023
2 天前
@BiteDXH 大哥我没说原生相册没有这个功能,我说的是对这些功能不满意 不好用,举个例子,你要找某个人在大理拍的所有照片,或者想直接搜“蓝天白云”来看相关照片,原生相册对我来说还是不太方便的
jobives2023
2 天前
@9G 是在本地,就是本地塞了几个模型用于分析人脸,支持文搜图,AI 消除这些功能,所以安装包稍微有点大
jobives2023
2 天前
@AOK123 我看了下介绍(收费的所以没机会体验具体功能),这个 APP 功能好像是专注于文搜图,收费的还有一百多的评价,应该有过人之处。
jobives2023
2 天前
@maizero 最开始想的是自己用,没有测试过这么多图片,几万张照片第一次启动分析可能比较耗时,分析完了搜索应该是快的,有本地向量存储引擎。但可能在其他功能上影响性能,但这么多照片不好搭测试环境,如果有这种多照片的用户反馈出了问题我再看看优化吧
jobives2023
2 天前
@YsHaNg 您这是专业用户,普通用户可能不适合这种方案。
maizero
2 天前
@jobives2023 我的懒猫微服、飞牛 NAS 上有 6T ,大概几十万张照片和视频,iCloud 上有 7 万 6 张照片(视频被我备份后删掉了,占地方),我在测试 AI 相册。

目前:
1 、懒猫微服的 AI 相册自然语言搜图效果最好,在 Intel 集成显卡下,能有这样的效果,很不错
2 、飞牛用增强模型,N 卡跑( 2080TI 22G/P1000)效果会好一些
3 、我在等苹果自己的 AI ,希望在 Mac/iPhone 上有类似效果

寻隐用过,不太好用……
可以试试你这个,不知道模型大小如何、推理速度在 iPhone15 Pro 效果如何

会考虑出 Mac 利用 m 芯片的算力不?
jobives2023
2 天前
@maizero 思黛相册内部集成的是比较小的模型,所以才能在 iphone 上跑起来,就这我感觉已经是移动设备的极限了,你描述的这种场景算是很少见的了,手机端目前肯定是不行,太慢了。新款 Mac ,M2 以上的芯片估计能做,如果要做肯定要重构 mac 端的 UI ,目前我没有这个计划,做这么个应用还是比较耗时的。
MacsedProtoss
2 天前
怀疑你是国行烈士
你说的什么蓝天白云+大理的 ai 搜索,其实在 Apple Intelligence 里面有…
jobives2023
2 天前
@MacsedProtoss 咋说呢,也算吧,不过去年发布思黛相册的时候其实国外版的 Apple Intelligence 也还没支持文搜图,为什么我还更新呢?有两个原因,第一是 Apple Intelligence 国行并不可用,第二是思黛相册不光有文搜图,还有比原生更易用的人脸搜索和地区筛选,有比原生更彻底的照片隐藏。可能是我帖子介绍的问题,让大家以为思黛相册只有文搜图功能,但我也不好意思说我做得有多好,毕竟这只是一个我根据个人兴趣开发的小应用,没有经过严格的大规模全量测试,所以不同环境的用户使用都可能会出 bug ,不过呢,还是希望给有需要的用户提供一些帮助吧,毕竟 APP 内 95%的功能都是可以费使用的。
DIMOJANG
2 天前


我这边试了一下,系统自带的相册搜 [地点+天气+主体] 是没有问题的,照片数量目前是 49460 图片+3597 视频。不过我也确实一直觉得系统相册搜索的局限性很大,比方说可能“宝可梦手办”、“小米路由器”之类的特殊关键词(甚至动画角色的分类)如果可以搜索其实挺有用的。

所以我感觉 OP 的项目可能可以提供如何微调一个适用于《思黛相册》的模型的指南?这样社区也可以参与进来提高搜索体验。
8G
2 天前
7w 张照片闪退,分析人脸,每次都要重新加载的吗
jobives2023
2 天前
@DIMOJANG 感谢建议,我看你提供的截图应该使用的是 mac 的相册吧,你提到的“宝可梦手办”或者“小米路由器”目前思黛相册使用的微型模型应该没办法区分具体品牌,不过应该可以搜到手办或者路由器,再通过相似搜索快速找到。但 5 万张照片第一次全量分析时可能会出性能问题。文搜图用的是开源的 CLIP 模型(由 apple 团队提供的移动设备版),并未做微调,对于照片数量这么多的场景,我这边目前暂无测试环境(我还用的是 iPhone 14 Pro 128G 版本,暂时没办法搞这么多照片),如果反馈问题的用户较多我会搭建一个 5 万张照片的测试环境进行优化。
jobives2023
2 天前
@8G 感谢反馈,首先回答你的问题,目前首次加载的流程是,先编码所有图片(既然你能进入主页,说明这一步成功了),进入主页之后会进行一次人脸的全量分析,这一步比较消耗资源,然而手机的性能比较有限,所以这一步也最容易出问题,因为模型会对每张照片进行人脸检测和归类,全部分析只进行一次,但如果被中断就不算完成,所以如果第一次未成功,后续打开仍然会进行人脸分析,您当前由 7w 张照片,我这里目前没有测试过这么多照片的情况。
然后,您是否可以提供使用的设备型号,如果可能的话,您可以将崩溃报告发送给我(这不会包含任何您的隐私信息)以帮助我分析崩溃原因,具体位置在 设置-隐私与安全性(滚动到底部)- 分析与改进 - 分析数据 ,搜索 StyartPhoto 相关标题的文件(如果有),点击右上角的分享即可邮件发送给我。
这么多照片要保持稳定确实有点难,不过如果在我能力范围之内,我会尽量解决。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1157544

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX