低端手机慎入!安卓本地离线“实时字幕”App

11 天前
 wulikanhuaz
大概在几年前,经常深夜孤独寂寞看片的人都知道,很多影片没有字幕的难受~

虽然目前已经很多工具软件可以在 PC 端可以实现近实时生成字幕,但是在移动端却很少见,由于某些隐私因素大家可能不想上传云端处理(其实是我穷用不起在线 api ),于是这块语音转字幕 APP 出现啦!它可以监听系统全局音频或者监听某一款 APP ,你在观看直播、或者看无字幕视频都能用上。字幕会在系统最上层实时显示

因为技术壁垒/性能问题,目前没法近实时翻译,只能实时生成原文,断句后翻译。

大概的技术方案是:ASR 模型转写文字-->文字喂给传统翻译模型 or ai 模型通过提示词翻译

目前这款 APP 还是 demo 阶段,需要大家体验提出一下意见,想要翻译最准确,还是得下载里面最大的 ai 模型哦~3 个 G ,但是内存占用不会很大,在 4 个 G 以内

当前为体验阶段,模型放在谷歌云里面的,后期会迁移
下载地址: https://www.pgyer.com/shishiyuyinzhuanxie
1928 次点击
所在节点    分享创造
9 条回复
galenzhao
11 天前
我有个想法不知道实现起来有多复杂,
做个播放器/浏览器,
把视频中的音频提前一小段时间识别翻译,然后评估识别翻译耗时,
类似加载视频缓冲,
然后真正播放视频时叠加上字幕,
galenzhao
11 天前
@galenzhao 音频按一小段一小段,一直提前识别
lin784264272
10 天前
安装着 3.2G 的模型怎么卡在 99% 5 分钟都没安装好
lin784264272
10 天前
真服了,卡了半个小时,兄弟,你发布 app 前至少自测下吧,或者邀请亲朋好友测一下也行啊
wulikanhuaz
10 天前
@lin784264272 抱歉抱歉,这里体验确实不好,正在想办法优化,下载是分段下载的,由于模型太大文件合并太耗时了,我需要加一个进度提前~
wulikanhuaz
10 天前
@galenzhao 这个方案是可行的并且能够实现,但是整部电影处理耗时太长了,可以增加一个专门处理文件的模块,目前还是主要把音频流的优化好,延时一句话应该也够用。
jikun
10 天前
现在手机应该很多都有吧
moyearchou
10 天前
没法实时生成么
FeranyDev
9 天前
你这模型页面加载不出来呀

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1162696

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX