5 分钟 Whisper 测评，看完没有人比你更懂“语音识别”

奶酪对“语音识别”的研究，

最早是想把自己喜欢的视频文案保存起来，因为视频内容不仅占用空间大，还没办法全文索引。

将视频的内容“文本化”，我们就能提炼出视频的关键信息，而且还能获得视频细小处的一些遣词用字。

把 20GB 的视频，压缩为 2MB 的文本。

这在以前是断不敢想像的事情，然而现在有了人工智能的加持，这一切都变得触手可及。

国内最早免费开放在线语音转文字的应用，是网易见外。

它不但是速度快，准确率还超出了人们预期，真正做到了一键转录，被盛赞业界良心，然后没多久，它就下架了。

而现在接棒的是——飞书妙记。

飞书妙记是抖音旗下产品，注册登陆后就直接上传音频和视频，即使不需要介绍，你也一看就知道怎么用。

地址：https://www.feishu.cn/product/minutes

速度：快，10 分钟视频只花费了 1分 25 秒。

准确率：绝大部分内容都能正确识别，而且能区分不同说话人。

特色功能：支持中英日 3 种语言，能自动添加标点符号和章节分段，支持免费导出为 TXT 和 SRT 格式。

如果要说有什么缺点的话，那就飞书妙记的免费用存储空间，从原来的 100G 变成 2G，一下子就寒酸了许多。

但和同类产品相比，飞书妙记仍然是更好的选择。

比如讯飞听见、钉钉闪记、阿里云、百度云等产品，它们要么免费额度少，要么需要申请 API，使用门槛高。

而飞书妙记，你可以将视频转换为音频来缩小体积，又或者通过删除已经转写的内容来释放空间。

换句话说，你还是可以无限白票。

如果你需要转录的内容很多，又或者很长，那么，使用桌面软件来操作会更加方便。

而在这个领域的佼佼者是 —— 剪映。

剪映也是是抖音旗下产品，它是一款桌面视频剪辑软件，但同时提供了识别语音功能，使用时需要联网使用。

使用方法也很简单，点击导航栏“文本”，然后选择“智能字幕”，即可一键生成字幕。

地址：https://www.capcut.cn

同样是抖音系产品，剪映的准确率也很高，转录速度更是极奇的快，同样 10 分钟的视频，剪映只用 32 秒。

而且，我们不用像“飞书妙记”那样担心空间不够用。

因为抖音不担心自己的语音识别技术被白票，它们担心的，是没有人上传视频到抖音。

抖音推出剪映的目的，是为了降低用户制作视频门槛，让更多的人参与到视频制作来，抖音的收益在别处罢了。

目前国内能与剪映对标的，当属 B 站推出的“必剪”。

它的产品逻辑一样，也是为了方便用户创作视频，然后上传到 B 站。

然而在免费额度上，必剪远不如剪映，必剪只支持 15 分钟的音频转录，而剪映最大支持 2 小时且不限使用次数。

而且，剪映现在还支持导出字幕，你可以将导出的字幕用在其它软件上，抖音格局大了。

应该说，剪映是视频创作者的必备。

上面的两款应用都需要联网使用，如果你比较在意隐私的问题，那么你需要一款离线的语音识别工具。

OpeanAI 推出的 Whipser 语音识别模型，绝对是目前最好的选择，没有之一。

对，它和 ChatGPT 是同门师兄弟。

Whipser 多语言语音识别模型，通过了 68 万小时的语音数据训练，支持 99 种语言，对英文的表现更是强无敌。

更重要的是，它开源免费，在电脑上就能离线使用。

地址：https://github.com/openai/whisper

在速度方面。

为应对不同的语音转录需求，Whipser 推出了 tiny、base、small、medium、large 5 个档次的模型。

转录效果依次增加，但相应花费的时间也会增加。

Whisper 使用了 Python 开发，安装后，在文件所在目录打开终端，运行 whisper audio.mp3 即可进行转录。

想要自定义设置的话，则可以在后面追加命令参数，具体包括：

whisper audio.mp3 --命令参数

--task

指定转录方式，默认使用 --task transcribe 转录模式，--task translate 则为翻译模式，目前只支持英文。

--model

指定使用模型，默认使用 --model small，Whisper 还有英文专用模型，就是在名称后加上 .en，这样速度更快。

--language

指定转录语言，默认会截取 30 秒来判断语种，但最好指定为某种语言，比如指定中文是 --language Chinese。

--device

指定硬件加速，默认使用 auto 自动选择，--device cuda 则为显卡，cpu 就是 CPU， mps 为苹果 M1 芯片。

如果使用 Python 命令行这种形式，门槛太高了，那么图形化软件 WhisperDesktop 会是一个简单的方案。

地址：https://github.com/Const-me/Whisper

为方便下载，我已经将 WhisperDesktop 和模型文件搬运到了国内的不限速网盘。

公众号后台回复关键字 A24 即可下载。

使用方法分为两步：下载软件 + 载入模型。

下载 WhisperDesktop 后，点击运行，然后加载模型文件，最后选择文件即可进行转录。

由于支持 GPU 硬解，转录速度非常的快，我测试了一个 2 分钟的视频，使用 medium 模型，花费不到 20 秒。

PS：具体还得看显卡的性能。

另一款基于 Whisper 的图形化软件是 Buzz，支持多个平台，但它不支持 GPU 渲染，导致转录速度非常慢。

好在 Mac 下还有一款叫 Whisper Auto Captions 的应用。

它基于 Whisper.cpp 开发，可以调用 GPU 渲染，转录速度大幅提高，相比原版 Whisper，速度快了 4-45 倍。

而且，它还是目前唯一一款开源免费的 Whisper.cpp 应用，其它的都需要“收费”才能体验完整功能。

更让人惊喜的是，作者还是我们中国的女程序员。

地址：https://whisperautocaptions.com

使用方法：

1、软件大小将近 5G，原因是附带了 Whisper 的所有模型。

2、软件暂不支持视频转录，你需要先将视频转换为 mp3 等音频格式。

3、作者开发的目的是与 FinalCut Pro 搭配，所以打开应用后，你需要在帧率里输入 30，否者软件将无法启用。

3、点击“Create”后，软件会进行转录。

实际测试，一个2分30秒的音频，Small 模型只花费了 11 秒，Medium 花费了 30 秒，Large 模型花费了 55 秒。

下面我们对飞书妙记、剪映、Whisper 这三款语音识别工具进行一下对比。

就准确性而言。

三款产品里，飞书和剪映在中文识别上的效果更好，大体与 Whipser 的 large 模型相当。

飞书妙记甚至还有标点符号、文章分段、智能纠错等功能，在测试中，飞书也是唯一个能正确转录“谷爱凌”的。

原因是联网转录，“云词库”会自动选择更符合上下文的同音词。

Whisper 的音频数据只有 1/3 来自非英语，在准确性方面，Whisper 对英文的识别错误率为 4.2，中文则为 14.7。

如果转录的内容是英文，那么用 samll 模型就能保证绝大多数正确。

而如果转录的内容是中文，那么至少要用 medium 模型，才能保证绝大多数正确。

Whisper 强在多语言支持，还有超高的英语识别率。

在转录速度方面。

飞书妙记和剪映都需要联网上传，其中剪映的速度最快，而 Whisper 的转录速度，极度依赖显卡的加持。

下面是使用显卡加速，同一段 10 分钟视频的速度对比。

飞书和剪映仅支持“中英日”三种语言，而 Whisper 支持 99 种，Whisper 是外语转录的不二选择。

而无论怎样，任何一款语音识别工具都没办法保证 100% 准确，我们还需要有一定的技巧。

如果转录的是歌曲，又或者有嘈音，背景音乐很大，使用人声分离工具，突出人声，那么识别效果将大大提高。

这样的工具很多，可以选择在线应用，也可以选择免费开源的 UVR5。

在线应用：https://vocalremover.org

UVR5：https://ultimatevocalremover.com

Whisper 有时转录出来的文本是繁体中文，又或者你想把字幕翻译为英语来做双语字幕。

一个简单的方法，就是将字幕文件在 Chrome 浏览器中打开，使用自带的翻译功能，即可一键翻译为想要的语言。

或者，你也可以选择更专业的字幕工具，比如 Subtitle Edit。

地址：https://github.com/SubtitleEdit/subtitleedit

当然，使用 ChatGPT 翻译工具 Subtitle Translator 会更加准确， 不过前提是你有 ChatGPT 的 API Key。

地址：https://github.com/gnehs/subtitle-translator-electron

除了飞书外，其它转录工具都没有标点符号，而且也没有章节分段，如果你想把语音识别后的文本，保存为文章。

一个简单的方法，是利用 ChatGPT 来重新排版，只需要前置输入“提示词”就可以了。

具体是：“修复下面这段文章的标点符号并分成段落：”。

需要注意的是，GPT-3.5 输出的最大限制是 777 个字符，所以每一次输入最好不要超过 777 个中文。

但如果你用的是 GPT-4 的话，就没有这个限制。

如果我有大量的视频转文字，还有视频字幕生成需求，有没有办法一键转录？

有的！

奶酪研究出了一套方法，只需要一个 .bat 文件即可一键转录，具体我会在下期《A25 - 语音一键识别》中介绍。

除了转录视频，有没有办法实时转录直播或者播放中的视频？

当然也有！

我们同样可以利用 Whisper 来实现同声传译，具体我们在下下期《A28 - 同声传译》中再做介绍。

OpenAI 发布的 Whisper 多语言语音识别模型，绝对算得上是一个“游戏改变者”。

在可预见的未来。

首先，语音识别将会彻底免费，并成为一项公共服务。

其次，视频的语言屏障将会彻底打破，视频一键生成字幕，甚至自动生成字幕，已经成为现实。

还有，视频也将转向文字化，一个 20GB 的视频内容，可以被压缩为 2MB 的文本内容，并且能全文索引。

最后，Whisper 的入场，也会加速人工智能从单模态到多模态的发展。

动动嘴皮就能拍出一部电影的魔幻场景，也正在发生！

强人工智能时代的我们，太幸福啦！