机缘巧合, 我居然做了一个以前梦想中的功能, 实时翻译播放器, 任意外语视频拖进来就看双语字幕

5 天前
 iorilu

以前也发过

www.zimuji.com

我是 V2sub-Ai 字幕机的作者, 算是比较早做这种视频语音识别生成字幕并翻译的人了

现在做这个的也很多, 功能基本大同小异

今年突发奇想, 能不能搞个实时翻译播放器呢

毕竟按本来流程, 需要先语音识别转录字幕, 然后翻译, 一个视频弄下来需要不少时间的

多年前看日本片时总是想, 要有实时翻译就好了...

能不能视频拉进来立马就能看呢, 毕竟不好看可以立马删掉, 不用费事折腾, 而且很多视频也就看一次 也许折腾完了又不想看了

总之, 花了一段时间, 有 AI 协助, 反正也是搞出来了

效果我还是满意的, 视频拉进去几秒钟(看配置可能时间有长有短)就能看到双语字幕了, 大大提高我看比较长英语教学视频的兴趣

昨天就看了近 3 个小时的 YouTube 下载的教学视频

而且现在大模型翻译都很不错

详细使用文档

视频演示

总之这个功能是很多年前梦想的, 没想到真的实现了, 居然还是自己实现的, 想想有点奇妙

反正我没看到有类似的播放器, 有可能是全球首创

说明: 该软件是收费的, 虽然免费版也能用, 但这个功能需要强化版以上

软件内支持多个翻译器, 其中微软谷歌是免费的, 其他大模型翻译器均需要自备 key, 基本支持市面上任意大模型

对翻译要求较高的建议使用大模型翻译器, 流行的都可以, 效果秒杀谷歌微软的

有兴趣的可以留邮箱(可 base64), 可以赠送一个月强化版注册码 , 也算是回馈 v2 了

或加我微信: aizimuji, 找我要也行

1540 次点击
所在节点    分享创造
31 条回复
iorilu
3 天前
@followad

@VDarker

两位已发
donnywusoftware
3 天前
我说个我的办法,chrome://settings/accessibility 打开浏览器的实时字幕开关,然后播放视频的时候使用 Chrome 播放就有字幕了
bihui
3 天前
请教大佬,视频本身没有字幕也可以实时翻译吗?如果一个电影长 2 个小时本身没字幕你咋生成字幕并翻译?
调用本机 whisper 会不会太慢,调用别人的 api 会不会也很慢,
我很好奇如何实时获取字幕的

谢谢!
iorilu
3 天前
@bihui 就是用来播放没有字幕的视频的

原理就是上面说的

因为软件原理就是先整体分段, 然后每段语音识别出原视字幕, 然后发送到翻译引擎翻译

whisper 的话看个人机器, 只要又不是太差的显卡(3060 以上) , 肯定是可以实时看的

mac 的 M 系列芯片也没任何问题, 完全可以实时看

即时没显卡, 我提供了缓冲参数, 把缓冲时间放大点也能看
dadadadaadada
2 天前
@justlikemaki #17 什么插件老哥
NicoNya
2 天前
Windows 的,谢谢老哥
ZGp2aW5laDhAZ21haWwuY29t
iorilu
2 天前
@NicoNya 已发
justlikemaki
1 天前
@dadadadaadada 右键菜单,字幕,开启 生成有声字幕 和 实时字幕翻译
bihui
8 小时 9 分钟前
谢谢大佬,
大概理解了下,用 ffmpeg 提取音频并分段,whisper 识别每一段,分别提交翻译引擎..

那效果估计跟 youtube 的实时翻译差不多吧.
4zp8oaahntzvhd
3 小时 22 分钟前
mac 的,我想体验下那些外语视频翻译过来效果怎么样,谢谢大佬
ma5onxu
2 小时 34 分钟前
NDQyODkxNjMzQHFxLmNvbQ== 我也想试试,大佬

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1158021

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX