视频可以怎么可以传到服务器,然后播放的时候自动加上生成的字幕,比如 youtube 上,有什么可以实现的思路吗

2024-06-03 15:08:21 +08:00
 MasterLei
1683 次点击
所在节点    程序员
7 条回复
xxmaqzas
2024-06-03 15:17:49 +08:00
Whisper ?
uncat
2024-06-03 19:02:19 +08:00
1. 使用扩展程序从浏览器捕获音频。
2. 通过 WebSocket 将音频数据作为分块数据( 512 字节)发送到服务器。
3. 使用 VAD (语音活动检测)预处理数据。
4. 将预处理的数据发送到 Whisper 。
5. 将文本发送回浏览器。
6. 使用 JavaScript 将文本插入到与视频播放器相关的 DOM 中。
gaobh
2024-06-03 22:18:42 +08:00
你这需求是要前后端配合,视频和字幕文件传到 oss ,套一层 cdn ,前端集成个视频播放器就行了。不懂的话就上传到视频网站然后嵌入网站就行了。
milzero
2024-06-04 10:55:47 +08:00
1. 如果你上传到视频网站比如 youtube 这些,他们自己就会帮你加,
2. 如果是自己网站,上传自后,用 Whisper 子类的生产字幕,比如 ass 格式啥的,关键点是时间对齐
3. 播放的时候,同时下载视频和字幕,字幕渲染到视频就可以了

之前帮人搞过这种
MasterLei
2024-06-04 12:00:31 +08:00
@uncat 谢谢大哥,初步按这个方法实现试试
emartcn
2024-06-04 14:41:20 +08:00
基于 html5 的大杂烩,我实现了个,https://wp.iyou.city ,看看是不是这个效果?
uncat
2024-06-04 22:57:21 +08:00

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1046382

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX