yichuanwei99
(Eason)
2024 年11 月 24 日 06:06
1
请教各位佬友都是怎么处理「无字幕外语视频」的字幕问题的？有什么比较成熟、理想的解决方案吗？
我尝试过如下几种：
视频上传 B 站自动生成中文字幕
优点：比较省事，能多端同步在线观看
缺点：审核不一定能通过、无法展示双语字幕（貌似目前只能自动生成翻译后的中文字幕，无法显示原始英文字幕）
视频上传 YouTube 配合沉浸式翻译食用
优点：如果能上传成功，这将是比较理想的解决方案
缺点：视频上传 bug 频出，长视频比较麻烦
通义千问
优点：上传方便，字幕生成和翻译速度快且比较准确，并且支持双语字幕
缺点：字幕的样式设计真的是一坨，基本就是 Chrome 自带字幕的感觉
CapsWriter-Offline + PotPlayer
优点：CapsWriter 系开源项目本地运行，字幕生成速度快，使用方便；PotPlayer 可以比较优雅的调整字幕样式
缺点：字幕准确率一般、PotPlayer 自带 Bing/Google 在线翻译也一般
剪映
优点：有一说一字幕加翻译确实效果还不错，并且字幕样式调整的自由度更高
缺点：收费、字幕生成的速度较慢、剪映运行比较吃电脑配置（拯救者 2022 Y9000X 3070 + 16 + 512 运行起来略卡，目前没出现过卡死）
虽然说目前只要不保存项目就不需要会员，tb 也有便宜会员可以买，但是不知道为什么我 400mb 的视频生成字幕后保存最小都要 700mb，直接打断了保存的想法
目前感觉方案 4 比较理想，如果能够使用什么工具调整一下生成的字幕文件就好了…
36 个赞
dyskwkcb5745
(rrzisYr)
2024 年11 月 24 日 06:12
2
chrome → setting → accessibility → live translate
5 个赞
CaptainVIX
(Edward)
2024 年11 月 24 日 07:39
3
我记得有第三方转录的软件的，配合api可以实现，github上搜搜看
1 个赞
passerby
(半杯无糖)
2024 年11 月 24 日 07:40
4
站内有佬友做的软件你找找
2 个赞
bojue
(博爵)
2024 年11 月 24 日 08:31
5
有个软件是可以语音转文字，字幕文件可以用剪映或者其他软件编辑
1 个赞
lylinuxdo2
(lylinuxdo2)
2024 年11 月 24 日 08:38
6
可以在b站找比如
总结
【全自动AI生成字幕开源！全自动烤生肉！-哔哩哔哩】 【全自动AI生成字幕开源！全自动烤生肉！-哔哩哔哩】
【VideoLingo：一键视频翻译开源工具！GPT-SoVITS对齐配音，自动生成双语字幕！-哔哩哔哩】 https://b23.tv/az82vXp 等等
6 个赞
zen67060
(zen)
2024 年11 月 24 日 08:48
7
github.com
GitHub - zhangyiming748/MultimediaProcessingPipeline: 使用了yt-dlp下载视频 然后使用openai-whisper生成视频...
使用了yt-dlp下载视频 然后使用openai-whisper生成视频 再使用translate-shell 翻译为双语字幕 最后合成为mkv外挂字幕的视频 以上这些功能会以流水线的形式处理多个视频
7 个赞
wojingke
(我荆轲)
2024 年11 月 24 日 08:51
8
github.com
GitHub - Huanshere/VideoLingo: Netflix-level subtitle cutting, translation,...
Netflix-level subtitle cutting, translation, alignment, and even dubbing - one-click fully automated AI video subtitle team | Netflix级字幕切割、翻译、对齐、甚至加上配音，一键全自动视频搬运AI字幕组
4 个赞
zhubaiwan-oozzxx
(十万洋兰)
2024 年11 月 24 日 08:59
9
还是觉得上传 YouTube是最友好的
2 个赞
ViiTetrix
(ViiTetrix)
2024 年11 月 24 日 09:02
10
自用是，whisper 转录 - Spacy 重新断句 - AI 翻译&对齐 ，不过速度较慢，质量还可以，最终想要完美还是得手动校对下
3 个赞
sxjeru
(sxjeru)
2024 年11 月 24 日 09:11
11
两种自用的建议方案。
一和楼上类似，whisper 转录，AI 翻译，手动对齐时间轴，大概有 90% 以上的准确率。
二更适合直播等实时性强的场景，使用 Win11 自带的 live caption 实时字幕功能转录，LunaTranslator 实现实时翻译。准确率稍低。
bilibili.com
我实现了语音流式转录翻译!（win11实时字幕+Luna Translator hook）_哔哩哔哩_bilibili
一个免费的语音流式转录翻译方案，可将语音流式转录生成实时字幕，并实现实时字幕翻译。支持系统音频及麦克风语音。延迟极低，可媲美各付费工具。语音转录基于win11实时字幕，win11实时字幕支持的语音都能识别；字幕翻译基于Luna Translator，可调用各在线翻译api或采用本地离线大模型翻译。视频演示中采用有道词典在线翻译，也可采用sakura等本地大模型离线翻译，但那样对GPU性能要求更高。, 视频播放量 14963、弹幕量 0、点赞数 193、投硬币枚数 110、收藏人数...
3 个赞
yichuanwei99
(Eason)
2024 年11 月 24 日 17:01
12
感谢回复，Chrome 自带字幕的字体一般比较小，并且不支持双语显示，所以暂时不考虑~
2 个赞
yichuanwei99
(Eason)
2024 年11 月 24 日 17:03
13
感谢！明天研究一下这两种方式，看起来非常不错
2 个赞
elfmaid
(Elf)
2024 年11 月 24 日 17:05
14
whisper，你哪些上传平台的，有些视频内容不支持的
2 个赞
yichuanwei99
(Eason)
2024 年11 月 24 日 17:05
15
谢谢！这个解决方案看起来也很不错，回头试试，应该很方便
1 个赞
yichuanwei99
(Eason)
2024 年11 月 24 日 17:08
16
是的哈哈哈，就是有时候有些视频传不上去有点麻烦
1 个赞
yichuanwei99
(Eason)
2024 年11 月 24 日 17:09
17
感谢提供线索！之前检索相关信息竟然没找到这个项目 orz
1 个赞
Pokeman
(Pokeman)
2024 年11 月 24 日 17:10
18
有显卡的话，可以用whisper。
LearnData 开源笔记 – 18 Nov 22
找不到字幕？Whisper 让不懂外语的你也能看懂日剧
从大学开始，我看日剧十几年了，但是日语毫无进步，只能听懂几句耳熟能详的句子，看国外电影必须靠字幕组。我曾经想过学日语，报了暑期班，但成绩被七岁的小妹妹同学吊打。这让我被自己的语言能力说服了，认为这辈子都离不开字幕组。这种情况一直持续着，直到我测试视频剪辑工具 AutoCut 时遇到了 Whisper。 Whisper 是今年 9 月被 OpenAI 开...
2 个赞
yichuanwei99
(Eason)
2024 年11 月 24 日 17:11
19
没错~对于一些较短的视频来说这个流程已经足够优雅，可惜 AI 翻译&对齐这个环节对于过长的视频内容可能比较麻烦（例如一个两小时的英语视频）
1 个赞
yichuanwei99
(Eason)
2024 年11 月 24 日 17:16
20
感谢！实时翻译的方案非常值得借鉴~
1 个赞