语音转文字 – Openai ChatGPT 文档

学习如何将音频转换为文本

语音到文本 API 提供了两个端点，transcriptions和translations基于我们最先进的开源大型Whisper-v2模型。它们可以用于：

将音频转录成任何语言。

将音频翻译并转录成英语。

文件上传目前限制为 25 MB，并支持以下输入文件类型：mp3、mp4、mpeg、mpga、m4a、wav 和 webm。

转录 API 的输入是您想要转录的音频文件和所需的音频转录输出文件格式。我们目前支持多种输入和输出文件格式。

默认情况下，响应类型将是包含原始文本的json。

要在请求中设置其他参数，您可以添加更多的 --form 行并使用相关选项。例如，如果您想将输出格式设置为文本，则应添加以下行：

在这种情况下，输入的音频是德语，输出的文本如下：

你好，我叫沃尔夫冈，来自德国。你今天要去哪里？

目前我们只支持英语翻译。

我们目前通过transcriptions和translations支持以下语言：

南非荷兰语，阿拉伯语，亚美尼亚语，阿塞拜疆语，白俄罗斯语，波斯尼亚语，保加利亚语，加泰罗尼亚语，中文简体、繁体 ，克罗地亚 、捷克 、丹麦 、荷兰 、英文 、爱沙尼亚 、芬兰 、法国 、加利西亚（西班牙）, 德国 , 希腊 , 希伯来 , 印地 , 匈牙利, 冰岛, 印度尼西亞, 意大利, 日本語, 卡纳达 (卡纳拉),哈萨克斯坦(哈萨克) , 韩国 (朝鲜) , 拉脱维亚 (列托) ，立陶宛 （立陶宛人） ，马其顿 （马其顿人），马来西雅（马来），马拉提（印度），毛里族（毛里求斯）， 尼泊尔 （尼泊尔人） ，挪威 （挪威人） ， 波斯語/ فارسی، 波兰语，葡萄牙语，罗马尼亚语，俄罗斯语，塞尔维亚（塞尔维亚人），斯洛伐克 （斯洛伐克人） ， 斯洛文尼亚 (斯洛文尼亚) ，西班牙語, 斯瓦希里語, 瑞典語, 塔加路族(菲律宾)，泰米爾語/ தமிழ் , 泰国 、土耳其 、乌克兰 、乌尔都语 / اردو، 越南和威尔士。

虽然底层模型是在98种语言上进行训练的，但我们仅列出了超过50％单词错误率（WER）的语言。这是一种行业标准基准测试方法来衡量音频转文字模型的准确性。该模型将返回未列出以上支持的其他所有语言结果，但质量会较低。

默认情况下，Whisper API仅支持小于25 MB的文件。如果您有一个超过此大小的音频文件，则需要将其分成每个不超过25 MB或使用压缩音频格式的块。为了获得最佳性能，我们建议避免在句子中间断开音频，因为这可能会导致一些上下文丢失。

处理此问题的一种方法是使用PyDub开源Python软件包来拆分音频：

OpenAI 不保证像 PyDub 这样的第三方软件的可用性或安全性。

您可以使用提示来提高Whisper API生成的转录质量。模型将尝试匹配提示的风格，因此如果提示也使用大写和标点符号，则更有可能使用它们。但是，当前的提示系统比我们其他语言模型要受限得多，并且仅对生成的音频提供有限控制。以下是一些示例，说明如何在不同情况下使用提示：

这份记录是关于OpenAI的，他们开发了像DALL·E、GPT-3和ChatGPT这样的技术，并希望有一天能够构建一个造福全人类的AGI系统。

为了保留被分割成片段的文件的上下文，您可以使用前一个片段的转录提示模型。这将使转录更加准确，因为模型将使用先前音频中的相关信息。该模型仅考虑提示的最后224个标记，并忽略任何早期内容。

有时候，模型可能会跳过转录中的标点符号。您可以通过使用包含标点符号的简单提示来避免这种情况：

你好，欢迎来听我的讲座。

嗯，让我想想，嗯……好的，这就是我在想的。