使用 whisper.cpp 加载 large-v3-turbo 模型生成字幕的问题

5 天前
 xbox360

目标是中文语音生成字幕.因为显存只有 3G,所以只能用 ggml-large-v3-turbo.bin 和 ggml-medium.bin,但是生成的 srt 字幕,v3 在每一行里会将很多字挤在一起,而 medium 基本上每一行不会有太多字

基本上个人觉得 medium 还可以

还有如何在 prompt 控制输出成简体中文?有时候繁体简体混在一起,有时候全繁体或全简体.

命令如下
main.exe Z:\1.mp3 -m Z:\Model\ggml-medium.bin -l chinese -osrt
771 次点击
所在节点    问与答
5 条回复
powerfulyang
5 天前
感觉 v2 中文效果 更好
Liu6
5 天前
opencc 可以将繁体变成简体， 后处理一下就好了。
zcf0508
5 天前
whisper 的 prompt 不是命令，而是示例
heimoshuiyu
5 天前
v3-turbo 效果不如 v3
v3 中文效果不如 v2
很难说 v3-turbo 和 medium 在中文上哪个更好

使用 prompt 出简体我基本上是瞎写：“以下是简体中文的会议记录摘要。有完整的标点符号。”
或者用 opencc 处理一下
3G 显存够跑 large-v2 的，可以看我项目 https://github.com/heimoshuiyu/whisper-fastapi
xbox360
4 天前
@heimoshuiyu
3G 显存只能跑 large-v2-q8_0,这个容量为 1.54GB 的模型在 whisper.cpp 运行时占用显存达 2.9G,6 分 30 秒的音频输出字幕时间为 4 分钟多一点.
而 large-v2 容量为 2.88GB,加载后也是占用 2.9G 显存,但可能是太大了,显卡满载占用 20 多分钟都没输出过一行字幕

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1155945

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX