用微信扫码二维码

分享至好友和朋友圈

文 | 王启隆

出品丨AI 科技大本营（ID：rgznai100）

两周前，OpenAI 为全世界展示了GPT-4o的惊艳首秀。虽然 Sam Altman 不久之后就卷入了一场“离职风波”中，但关于 GPT-4o 的新闻可从未停歇过。近日，在巴黎的 VivaTech 大会上，OpenAI 的开发者体验负责人 Romain Huet 为全欧洲带来了一场精彩的 GPT-4o 实机演示，再次刷新了我们认知中的“多模态天花板”。

双语字幕视频奉上：

VivaTech 自称为“欧洲排名第一的创业与科技盛会”，更有法国人称其为“科技版的戛纳电影节”。观察嘉宾名单，我们会发现这名号可不是吹出来的，参会者不仅有我们熟悉的马斯克，“AI 三教父”的杨立昆与本吉奥，李彦宏，谷歌 CEOEric Schmidt，Hugging Face 创始人Thomas Wolf，亚马逊 CTOWerner Vogels；还有Mistral AI，Anthropic等 AI 新星的公司一把手。

众星齐聚，Romain Huet 的演示却并未逊色，他还预告了两件事：OpenAI 2024 年 11 月即将发布众望所归的旗舰模型 “GPT-5”，实际上命名为 GPTNext；此外，OpenAI 的“下一步”将会是打造「多模态 Agent」，在一年内让 GPT-4o 已展现出的强大多模态能力进入下一个更强的阶段。

演讲围绕 AI 的前景、GPT-4o 的发布及其对未来的影响展开，强调了 AI 技术的飞速进步，尤其是 ChatGPT 的惊人增长，从低调发布到迅速累积超过1 亿用户，凸显了 AI 领域的爆发力。Huet 强调，OpenAI 的使命是创造通用人工智能（AG I），旨在为人类带来福祉，同时作为一家研究公司，它已吸引了300 万开发者在其平台上构建应用，涵盖从初创公司到全球 500 强企业。

在众多现场演示中，有一段令人印象深刻：Huet 和 GPT-4o 共同解决了一个编程问题，改进 Mac 应用中 React 组件的响应式布局，以适应不同屏幕尺寸。4o 不仅能催着 Huet 要看代码，还能看懂代码涉及一个展示 Discover 卡片组件的网格布局，数据来源于 trips.json 文件。

随后，4o 建议使用 Tailwind CSS 框架的响应式设计特性，根据屏幕尺寸自动调整网格中的列数，以解决内容在小屏上显示紧凑的问题。

GPT-4o 提供了具体的实施指导，包括如何使用 Tailwind CSS 的类来控制不同屏幕尺寸下的列数，确保布局随屏幕大小变化而自适应，并在得到 Huet 同意后自己完成了操作；它还详细说明了如何为不同屏幕尺寸设置不同的列数，比如默认情况下设置一列，小屏幕两列，中等屏幕三列等。最后，4o 凭借自己的多模态能力，亲自用“眼睛”查看后确认改动有效，如同一位拥有生命的人类工程师。

现场还展示了如何通过 Assistance API 集成辅助功能、实时知识检索、代码解释器，以及利用 Sora 扩散模型生成视频内容，进一步证明了 OpenAI 在多模态交互方面的创新。

以下为部分演讲内容整理：

Romain Huet：今天能来到巴黎，我感到非常激动。巴黎这座城市的 AI 氛围令人惊叹，能够故地重游，让我感到惊叹不已。我的职业生涯正是从这里起步，令人惊叹的是，见证法国生态系统在过去 15 年间的发展与演变，真是感触良多。

我现在在 OpenAI 负责开发者体验，主要关注如何让你们这些开发者、构建者和创始人真正成功地在我们平台上构建，并且是以一种真正无摩擦的方式，以便你们可以将 AI 融入到你们的应用中。在加入 OpenAI 之前，我自己也是一名创始人，就像你们许多人一样，我亲身体验了前沿模型的玩法。现在我很高兴能在这里的 VivaTech 上为大家带来“魔法”。

Huet 致敬了 Sam Altman 之前形容 GPT-4o 的话：Magic.

今天我想讲三个内容。首先，关于 AI 的前景，以及我们是如何发展到今天这一步的。接下来，我想谈谈 GPT-4o，这是我们刚刚发布的下一代旗舰模型，相信你们中的很多人可能已经有所了解了。最后，我想讨论一下我们接下来的方向以及 OpenAI 未来的发展。

首先，关于 OpenAI 和我们的使命。OpenAI 的使命是真正创造出 AGI，即通用人工智能，并以造福全人类的方式实现。但我们首先是一家研究公司。当我们审视平台上的现状和采用情况时，我们现在拥有 300 万开发者在 OpenAI 上构建应用。我们有幸从一开始就与众多企业合作，从快速成长的初创公司到财富 500 强企业，都在这个平台上。在某种程度上，我们对自己如何达到这一步感到相当惊讶。

许多公司通常需要多年时间才能达到这一规模。但这提醒我们，在像 AI 这样快速发展的领域，很容易低估其发展速度。事实上，ChatGPT 就是一个很好的例子。当我们于 2022 年 11 月推出 ChatGPT 时，原本计划是一次低调的发布，作为研究预览，正如我们在内部所说的那样。不用说，这次发布远非低调。我们收到了大量的注册申请，现在已有超过 1 亿用户注册了 ChatGPT，ChatGPT 拥有 1 亿周活跃用户，并且这一数字还在持续增长。

但当人们想到 OpenAI 时，往往首先想到的是 ChatGPT。然而，更值得关注的是，这并非 OpenAI 推出的首个产品。其首个产品是开发者平台及 API。GPT-3 让我们初尝大语言模型（LLMs）的潜力。这是我们在 2020 年首次向开发者及构建者开放的模型，供其集成到应用中。

AI Dungeon 是当时 OpenAI 的一个流行用例。这是一款角色扮演游戏，玩家可以即时生成独特的故事。是的，这就是当时 OpenAI 平台上的情况。

2023 年，GPT-4 又开启了全新的时代。它彻底改变了人们能够应对的使用场景类型。它能够访问工具。它拥有更优秀的推理能力。当然，许多创始人和建设者试图采用这一点，以便他们能在这里使用他们的产品。我最喜欢的一个 GPT-4 用例是关于 Spotify 的，用法很简单，能为你的早晨定制一个独特的精选播放列表。

但让我们记住，当我们谈论这一切时，我们仍处于这个转变的早期阶段，这代表了我们在构建、实施以及消费软件方式上的一个真正根本性的转变。因此，我们在 OpenAI 的目标是成为提供平台解决方案的最佳服务者，以便你能在此转型中构建应用。

然后，到了GPT-4o，我们的全新旗舰模型。它现在具备实时跨音频、文本、和视觉进行推理的能力。我预计，随着 GPT-4o 的推出，我们将看到一系列全新的辅助体验，对此我深信不疑。与 GPT-4o 相伴，借助这种原生的音频和图像处理能力，我们现在能够以一种前所未有的方式实现真正的人机交互。对于每一波技术浪潮，我们坚信，推动创新的正是那些初创企业。

赋能初创企业对我们至关重要。我们深信，始终推动技术边界、为产品创造 AI 原生形态的，正是这些初创企业。而客户服务、知识援助、代理等，将成为我们见证最多重塑的领域。我们预计，实际上有几个产品很可能会从法国诞生，并最终成为各自类别的领导者。这确实是构建者打造原生 AI 公司的最激动人心的时刻。接下来，一起来深入了解我们推出的新模型，GPT-4o。

如我所述，GPT-4o 是我们的全新旗舰模型，它使你能够构建最自然的人机交互。今天我想强调三点：

1. GPT-4o真正实现了超低延迟的多模态。我认为这是我们之前从未实现过的真正独特之处。对于那些曾经使用过 ChatGPT 语音模式的用户，或者在座的某些开发者过去曾构建过语音体验，你们可能还记得，为了进行转录、推理，以及最终的文本到语音转换，你们需要拼接多个模型。当然，这反过来增加了一些延迟，并稍微丢失了一些上下文。但现在有了 GPT-4o，我们称之为真正的“全能模型”，它是一个能处理所有这些步骤的同一模型。

当你看到这张图表时，会发现 GPT-4o 实际上也是我们在聊天和编程方面性能提升的新一代推理模型。这个排行榜由 LMSYS 管理，用户实际上是在盲测中尝试，基本上，将两个模型并排放置，让用户选择他们偏好的模型，而不告知他们底层是哪个模型。

图表最左边的 GPT-4o，在推理能力方面确实独树一帜。最后我想强调的是，我们还为 GPT-4o 模型带来了巨大的效率提升。这意味着我们也能将这些效率优势传递给所有基于我们平台构建的用户。对于使用 API 的开发者来说，这意味着GPT-4o 的速度是 GPT-4 的两倍，其价格则是 GPT-4 Turbo 的一半。最后，它的速率限制也提高了 5 倍。因此，与之前的 GPT-4 Turbo 相比，开发者现在能在这个平台上实现更大规模的扩展。

2. 我们现在可以实时打断模型。我不需要等到整个音频结束，而是可以随时重新参与对话。

3. GPT 现在能理解并生成语调。所以当我试图让 ChatGPT 更加投入，更加兴奋时，这反过来改变了音频输出。且它在幕后拥有惊人的推理能力，这意味着我可以将其用于大量的应用场景，比如实时翻译。你可以将这些能力用于教育或任何类型的应用，如旅行和实时使用案例，真的很有趣。

此外，GPT-4o 还具备实时视觉能力的概念。所以我实际上可以画点什么，展示一段视频，而非像以前那样仅拍摄照片。仅凭一张糟糕的图画，ChatGPT 就能识别出哪些是地标，并利用地铁图进行实际导航。

我个人还非常喜欢将其作为编程助手使用。所以我可以在界面右侧调出 ChatGPT，并向 ChatGPT 发送一些代码，让它为我们提供这段代码的背景信息，并尝试实时修复一个 bug。我想指出的是，GPT-4o 不仅可以参与，还可以像解决编程问题一样深入探究问题。同样值得指出的是 GPT-4o 的速度，你可以并排比较 GPT-4o 和 GPT-4 Turbo，如果我点击运行来创作一首关于奥运会的歌曲，你可以看到它创建内容比 GPT-4 Turbo 快多少。因此，它具有非常高的推理能力，速度超过两倍。

我还想介绍一下关于 OpenAI 下一步思考的展望。有四个投资领域：

1. 文本智能。我们的核心信念是，如果我们提高文本智能，这将释放人工智能的变革性价值。我们坚信，提升大型语言模型智能的潜力巨大。我们认为，如今的模型已经相当出色。它们就像是一年级或二年级的学生。它们能够做出恰当的回应，但偶尔仍会犯些错误。不过，我们应该提醒自己，这些模型已经是最不智能的状态了。它们可能转眼间就成为学霸，或是将在医学研究或科学推理方面表现出色。我们认为，或许从现在起的一到两年内，这些模型将变得与今日截然不同，难以辨认。因此，今年我们还计划进一步拓展这一边界。我们期待下一个前沿模型能够到来，并带来推理能力的大幅提升。

2. 确保模型始终更便宜、更快速。我们知道，并非所有应用场景都需要最高级别的智能。因此，我们希望确保在这些方面进行投资。目前 GPT-4 的定价在短短一年内下降了约 80%，而我想说，这是相当独特的，新技术如此迅速地降价实属罕见。但我们认为，这对于你们所有人构建和实现与你们试图达成的目标以及创新 AI 原生产品规模化至关重要。我们希望确保发布不同大小的模型，以满足你在需要扩展时的所有需求。在某些代理工作流程中，例如，可能会始终推动推理需求的前沿。但它们也可能需要对子流程使用一些更注重延迟的小型模型，例如。因此，我们今天没有具体的时间表可以分享。但只想分享，我们对此非常兴奋，并正在积极投资。此外，我们也希望帮助你运行异步工作负载。就在几周前，我们推出了批量 API。批量 API 是一种非常方便的方式，可以将你的所有请求批量发送给 OpenAI。这意味着，对于不需要即时响应的任务，你将能够享受额外 50% 的折扣。所以它非常适合做一些 —— 例如，如果你想发送大量图片和图像进行视觉分析，或者大量文档，使用这个批量 API 真的非常方便。

3. 我们正在大力投资模型定制化。未来，我们认为每个组织都会有不同的方法来实现这一点。但他们都希望拥有一个深入了解自己业务的模型。为此，我们可以提供一系列微调服务。首先是任何人今天就可以开始使用的微调 API。它是完全自助式的。这是一种在模型之上引入数据，微调某些参数，使其行为适应你的特定用例的方法。第二种是辅助微调，当我们的团队可以与你的团队合作，思考如何为非常具体的任务实现更高的性能。我们的专家团队将协助你完成这一过程。最后但同样重要的是，还可以使用 OpenAI 完全训练一个定制模型。这些模型完全且安全地使用专有数据进行训练，仅为我们合作的公司定制。

对此，我想强调一个例子——实际上是两个例子，以强调这一点。第一个例子来自韩国的 SK Telecom。他们采用了辅助微调技术。这使得模型性能在韩国运营和电信业务方面全面提升。第二个让我非常兴奋的例子是美国的一家初创公司 Harvey。他们正在为律师开发一款产品。他们所做的是一个完全定制的模型，专精于美国案例法，他们实现了事实回应准确性提升83%。并且，他们的用户中有97%立即更偏好针对该特定用例的定制模型。

4. 最后同样重要的是，我们也将继续投资于 Agent（智能体）。我们希望确保你能够构建利用我们所展示的所有模态的辅助体验和代理。我们坚信，在未来，Agent 可能是将发生的最大变革。它将改变软件以及我们与计算机交互的方式。根据任务的不同，它们将能够利用文本。它们将能够利用对某些上下文和工具的访问。再次强调，我们提到的所有这些模态也将带来一种完全自然且新颖的与软件交互的方式。我个人非常喜欢的一个例子是 Cognition 团队开发的Devin。他们实际上构建了一个 AI 软件工程师。而且这非常引人入胜，因为它能够处理复杂的任务。它不仅能编写代码，还能理解任务，创建工单，当需要获取新信息时，它还能上网查阅文档。它能部署解决方案，创建拉取请求等。这就像是我非常喜欢的那种代理式用例。

事实上，今年早些时候，Paul Graham的一条推文引起了我的注意，他提到或意识到，现在 22 岁的程序员往往和 28 岁的程序员一样优秀。我认为，当你考虑到 22 岁的年轻人已经在采用 AI 和像 Devin 这样的工具时，他们因为 AI 而变得越来越高效也就不足为奇了。

另一个我认为这次更偏向消费者的代理体验是Presto。而 Presto 让顾客可以通过语音下单。因此使用语音助手。当然，欧洲这里的得来速（drive-thrus，一种汽车餐厅）并不多。但这个例子吸引我的地方在于，它确实帮助了一个劳动力短缺的市场。从而，这不仅提供了极佳的体验，也让员工能够真正专注于食物和为顾客服务。

最后再次强调，我们对这类模型和功能的安全性极为重视。这就是为什么目前我们只向可信赖的合作伙伴提供这些模型。

总的来说，我希望这能激励你的两种思考：“这些模型将能够实现什么？”，“当涉及到构建我自己的应用程序和产品，又该怎么使用？” 如果在本次演讲中，有一件事我希望你们能记住，那就是：OpenAI 的目标不是让你在 OpenAI 上花费更多，而是让你在 OpenAI 上创造更多。这确实是我们希望传达的核心信息。

我们非常致力于支持初创企业和开发者，我们期待与尽可能多地和你们合作。我们经常从开发者那里收到的问题之一是：“该如何准备？我该如何为未来的模型做准备？我应该期待什么？” 对于这个问题，我认为有两种策略可以考虑：

1. 你可以认为模型将大致保持不变。你可以围绕 GPT-4o 及其当前功能进行工作。

2. 你可以思考模型在未来将如何变得更加强大。你可以押注 AI 的未来。我们认为后者更有可能。因此，我们的建议是真正为 AI 的未来而构建。众所周知，这是最具创新精神的开发者能够超越行动缓慢的现有企业的关键。

开发者正在迎接新一轮的技术浪潮变革。由 CSDN 和高端 IT 咨询和教育平台 Boolan 联合主办的 2024 年度「全球软件研发技术大会」秉承干货实料（案例）的内容原则，将于 7 月 4 日-5 日在北京正式举办。大会共设置了 12 个大会主题：大模型智能应用开发、软件开发智能化、AI 与 ML 智能运维、云原生架构……详情：http://sdcon.com.cn/

特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.