V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
jobives2023
V2EX  ›  Apple

开发了一款“比较智能”的苹果相册 APP,可以文搜图或者按人脸和地点快速查找照片

  •  
  •   jobives2023 · 2 天前 · 1282 次点击

    我对苹果原生相册的智能化不太满意,例如我想快速查找证件照片或者快速查找在某个地方拍的照片,再或者想快速查找某人相关的照片,原生相册几乎只能凭记忆翻找

    恰好这两年有些小型 AI 模型已经支持在较新款的 iphone 上运行,作为一个程序员,所以我决定自己来做这个 APP ,其实去年就做出来了,但没做任何推广和优化就直接发布到 AppStore 了,这段时间刚好有空,本着既然做了就做好的想法,又把 APP 优化了更新一次。完美支持了上诉所有功能,我自己和几个朋友一直在用,听他们反馈说比原生相册好用,当然可能是因为朋友关系的缘故,我自己照片不多,大概五六千张。用着感觉还不错,特别是有时候需要快速查找某张照片,几乎都能在几秒钟内快速找到。如果你也需要类似功能,欢迎使用。对了,我还集成了橡皮擦,可以快速擦出照片中不需要的部分。

    APP 叫 “思黛相册” ,只做了苹果版本。

    38 条回复    2025-09-08 18:08:05 +08:00
    BiteDXH
        1
    BiteDXH  
       2 天前 via iPhone
    谁和你说没这功能的,能不能调研一下先?
    9G
        2
    9G  
       2 天前
    @BiteDXH 但是很多时候搜不出来。

    我比较担心隐私问题,应该都在本地吧。
    9G
        3
    9G  
       2 天前
    刚看到介绍有写保护隐私,文件有点大,下了半天,可能也是我网的问题。
    AOK123
        4
    AOK123  
       1 天前
    在用“寻隐”,一样的功能,看了 appstore 的版本记录,是 23 年 1 月发布的
    AOK123
        5
    AOK123  
       1 天前
    @AOK123 #4 搜了一下居然早就已经开源了
    YsHaNg
        6
    YsHaNg  
       1 天前
    在用 immich 服务器有独显 力大飞砖 虽然不能离线使用
    maizero
        7
    maizero  
       1 天前
    5 、6000 可能体现不出什么差异。6 、7 万张试试看。
    jobives2023
        8
    jobives2023  
    OP
       1 天前
    @BiteDXH 大哥我没说原生相册没有这个功能,我说的是对这些功能不满意 不好用,举个例子,你要找某个人在大理拍的所有照片,或者想直接搜“蓝天白云”来看相关照片,原生相册对我来说还是不太方便的
    jobives2023
        9
    jobives2023  
    OP
       1 天前
    @9G 是在本地,就是本地塞了几个模型用于分析人脸,支持文搜图,AI 消除这些功能,所以安装包稍微有点大
    jobives2023
        10
    jobives2023  
    OP
       1 天前
    @AOK123 我看了下介绍(收费的所以没机会体验具体功能),这个 APP 功能好像是专注于文搜图,收费的还有一百多的评价,应该有过人之处。
    jobives2023
        11
    jobives2023  
    OP
       1 天前
    @maizero 最开始想的是自己用,没有测试过这么多图片,几万张照片第一次启动分析可能比较耗时,分析完了搜索应该是快的,有本地向量存储引擎。但可能在其他功能上影响性能,但这么多照片不好搭测试环境,如果有这种多照片的用户反馈出了问题我再看看优化吧
    jobives2023
        12
    jobives2023  
    OP
       1 天前
    @YsHaNg 您这是专业用户,普通用户可能不适合这种方案。
    maizero
        13
    maizero  
       1 天前
    @jobives2023 我的懒猫微服、飞牛 NAS 上有 6T ,大概几十万张照片和视频,iCloud 上有 7 万 6 张照片(视频被我备份后删掉了,占地方),我在测试 AI 相册。

    目前:
    1 、懒猫微服的 AI 相册自然语言搜图效果最好,在 Intel 集成显卡下,能有这样的效果,很不错
    2 、飞牛用增强模型,N 卡跑( 2080TI 22G/P1000)效果会好一些
    3 、我在等苹果自己的 AI ,希望在 Mac/iPhone 上有类似效果

    寻隐用过,不太好用……
    可以试试你这个,不知道模型大小如何、推理速度在 iPhone15 Pro 效果如何

    会考虑出 Mac 利用 m 芯片的算力不?
    jobives2023
        14
    jobives2023  
    OP
       1 天前
    @maizero 思黛相册内部集成的是比较小的模型,所以才能在 iphone 上跑起来,就这我感觉已经是移动设备的极限了,你描述的这种场景算是很少见的了,手机端目前肯定是不行,太慢了。新款 Mac ,M2 以上的芯片估计能做,如果要做肯定要重构 mac 端的 UI ,目前我没有这个计划,做这么个应用还是比较耗时的。
    MacsedProtoss
        15
    MacsedProtoss  
       1 天前 via iPhone
    怀疑你是国行烈士
    你说的什么蓝天白云+大理的 ai 搜索,其实在 Apple Intelligence 里面有…
    jobives2023
        16
    jobives2023  
    OP
       1 天前   ❤️ 1
    @MacsedProtoss 咋说呢,也算吧,不过去年发布思黛相册的时候其实国外版的 Apple Intelligence 也还没支持文搜图,为什么我还更新呢?有两个原因,第一是 Apple Intelligence 国行并不可用,第二是思黛相册不光有文搜图,还有比原生更易用的人脸搜索和地区筛选,有比原生更彻底的照片隐藏。可能是我帖子介绍的问题,让大家以为思黛相册只有文搜图功能,但我也不好意思说我做得有多好,毕竟这只是一个我根据个人兴趣开发的小应用,没有经过严格的大规模全量测试,所以不同环境的用户使用都可能会出 bug ,不过呢,还是希望给有需要的用户提供一些帮助吧,毕竟 APP 内 95%的功能都是可以费使用的。
    DIMOJANG
        17
    DIMOJANG  
       1 天前


    我这边试了一下,系统自带的相册搜 [地点+天气+主体] 是没有问题的,照片数量目前是 49460 图片+3597 视频。不过我也确实一直觉得系统相册搜索的局限性很大,比方说可能“宝可梦手办”、“小米路由器”之类的特殊关键词(甚至动画角色的分类)如果可以搜索其实挺有用的。

    所以我感觉 OP 的项目可能可以提供如何微调一个适用于《思黛相册》的模型的指南?这样社区也可以参与进来提高搜索体验。
    8G
        18
    8G  
       1 天前 via iPhone
    7w 张照片闪退,分析人脸,每次都要重新加载的吗
    jobives2023
        19
    jobives2023  
    OP
       1 天前
    @DIMOJANG 感谢建议,我看你提供的截图应该使用的是 mac 的相册吧,你提到的“宝可梦手办”或者“小米路由器”目前思黛相册使用的微型模型应该没办法区分具体品牌,不过应该可以搜到手办或者路由器,再通过相似搜索快速找到。但 5 万张照片第一次全量分析时可能会出性能问题。文搜图用的是开源的 CLIP 模型(由 apple 团队提供的移动设备版),并未做微调,对于照片数量这么多的场景,我这边目前暂无测试环境(我还用的是 iPhone 14 Pro 128G 版本,暂时没办法搞这么多照片),如果反馈问题的用户较多我会搭建一个 5 万张照片的测试环境进行优化。
    jobives2023
        20
    jobives2023  
    OP
       1 天前
    @8G 感谢反馈,首先回答你的问题,目前首次加载的流程是,先编码所有图片(既然你能进入主页,说明这一步成功了),进入主页之后会进行一次人脸的全量分析,这一步比较消耗资源,然而手机的性能比较有限,所以这一步也最容易出问题,因为模型会对每张照片进行人脸检测和归类,全部分析只进行一次,但如果被中断就不算完成,所以如果第一次未成功,后续打开仍然会进行人脸分析,您当前由 7w 张照片,我这里目前没有测试过这么多照片的情况。
    然后,您是否可以提供使用的设备型号,如果可能的话,您可以将崩溃报告发送给我(这不会包含任何您的隐私信息)以帮助我分析崩溃原因,具体位置在 设置-隐私与安全性(滚动到底部)- 分析与改进 - 分析数据 ,搜索 StyartPhoto 相关标题的文件(如果有),点击右上角的分享即可邮件发送给我。
    这么多照片要保持稳定确实有点难,不过如果在我能力范围之内,我会尽量解决。
    jobives2023
        21
    jobives2023  
    OP
       1 天前
    @jobives2023 对了,如果您愿意发送崩溃报告,请发到邮件 [email protected]
    jobives2023
        22
    jobives2023  
    OP
       1 天前
    @jobives2023 对了,如果您愿意发送崩溃报告,请发到邮件 [email protected]
    8G
        23
    8G  
       1 天前 via iPhone
    @jobives2023 好,我等下发,还有一个问题是点人脸,然后下拉的时候会疯狂抖动
    8G
        24
    8G  
       1 天前 via iPhone
    @jobives2023 三个文件发到这里了 希望有帮助
    aero99
        25
    aero99  
       1 天前
    几年前用过好像叫寻隐的,也就 v2 的人开发的,但是我用的是美区的,然后那个 APP 还分外区和国区,然后外区还只能用英文搜索,然后用了几次就懒得用了。这种类型模糊搜索如果做好了我觉得还是有前景的,尤其照片比较多的场景,我的也有五六千照片了,建议 op 可以好好优化做大做强
    jobives2023
        26
    jobives2023  
    OP
       1 天前
    @8G 邮件已收到,感谢🙏,点每个人脸都会抖动还是个别特定人脸呢?
    jobives2023
        27
    jobives2023  
    OP
       1 天前
    @aero99 上面的朋友也提到了这款应用,我看了一下,对于文搜图这个功能应该和我不谋而合,都是利用开源的 CLIP 模型进行构建的,他貌似做的比较早,好像确实收获了不少用户,应该做得比较好吧。做大做强不敢说,但还是希望自己做的产品给用户带来便利而不是带来麻烦,所以只要用户反馈的问题在我能力范围内,还是会尽力解决的。
    jobives2023
        28
    jobives2023  
    OP
       1 天前
    @8G 我仔细分析了日志,有了大致定位问题的方向,请问是在哪个页面崩溃的?是主页进行人脸分析的过程中还是其他地方?
    9G
        29
    9G  
       1 天前
    @jobives2023 个别特定人脸,就是那个熊猫脸的表情包,可能只有几张,一滑动整个 view 就疯狂抖动。还有我发现有个别小朋友的侧脸单独被识别成一个人。

    奔溃就是一开始加载的地方,是主页进行人脸分析的过程
    jobives2023
        30
    jobives2023  
    OP
       16 小时 18 分钟前
    @9G 好的,感谢反馈,我争取下个版本修复这些问题。
    labdum
        31
    labdum  
       13 小时 42 分钟前
    @jobives2023 #8 但是你说的不是“例如我想快速查找证件照片或者快速查找在某个地方拍的照片,再或者想快速查找某人相关的照片,原生相册几乎只能凭记忆翻找”吗?
    “几乎只能凭记忆翻找”?你原话说的功能都完全自带相册实现以比还可以的准确率实现了。和你说的差距那么大,当然会以为你跟本就不知道有这些功能呀?
    jobives2023
        32
    jobives2023  
    OP
       13 小时 19 分钟前
    @labdum 好好 我的,我表达的问题,国行版的 iPhone 其实现在并没有集成语义搜索(文搜图),我推断他们现在的实现方式是按分类模型来的,所以只能支持一些常见的分类单词。当然并不是他们做不了,思黛相册集成的模型也出自 apple 对于移动设备的改良版本,估计是原生相册需要考量的因素太多,为了兼容以及当地政策这些原因。思黛相册的目标不是比原生相册做的更加大而全,也不可能比原生相册做得好,而是集中在几个可能能给用户带来更多便利的小功能上。没能帮到你,也是很遗憾。
    Daniel0829
        33
    Daniel0829  
       10 小时 38 分钟前
    搜了下,真的是够贵的,感觉是为了富哥准备的 App 。
    sylarchang
        34
    sylarchang  
       10 小时 26 分钟前
    初次使用索引階段就閃退,重開多次均無法完成,機型 16PM ,系統 18.6.2
    jobives2023
        35
    jobives2023  
    OP
       10 小时 0 分钟前
    @Daniel0829 95%的功能是免费的
    jobives2023
        36
    jobives2023  
    OP
       9 小时 57 分钟前
    @sylarchang 你好,请问您的相册大概多少张照片?如果可能的话,您可以将崩溃报告发送给我(这不会包含任何您的隐私信息)以帮助我分析崩溃原因,具体位置在 设置-隐私与安全性(滚动到底部)- 分析与改进 - 分析数据 ,搜索 StyartPhoto 相关标题的文件(如果有),点击右上角的分享即可邮件发送给我。邮件地址 [email protected]
    Leronron
        37
    Leronron  
       8 小时 58 分钟前 via iPhone
    老哥用的什么模型,能分享一下吗,我也是 iOS 开发者 目前也在做一个相机应用
    jobives2023
        38
    jobives2023  
    OP
       8 小时 7 分钟前
    @Leronron 文搜图用的 apple 优化版的 CLIP 模型,橡皮擦用的 lama ,人脸识别模型不方便透露,因为并不是开源模型。
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1124 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 18:15 · PVG 02:15 · LAX 11:15 · JFK 14:15
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.