AI大戏未落幕 微软GPU资源却告急 内部已采取配额供给制

您所在的位置:网站首页 gpu缩放有延迟 AI大戏未落幕 微软GPU资源却告急 内部已采取配额供给制

AI大戏未落幕 微软GPU资源却告急 内部已采取配额供给制

2024-07-16 03:10:53| 来源: 网络整理| 查看: 265

《科创板日报》3月16日讯(编辑 郑远方)GPT-4 刚刚发布,而OpenAI最大金主微软还将在3月16日发布一整套使用GPT-4的Office 365工具。新工具/应用当然也需要算力支持,但据The Information消息,微软内部已陷入AI服务器硬件短缺的窘境。

为了给新版必应聊天机器人与新款Office 365留下足够的资源,微软在明确客户需求量之前,不得不对AI硬件资源采取“配额供给”机制,限制公司内部其他AI工具开发团队的资源用量。

被迫“让位”的团队中,就包括各种机器学习模型开发队伍,例如微软的图灵自然语言生成模型。这些团队若想使用GPU开发新AI工具或测试现有AI软件时,必须向一位副总裁提交特别申请,获批后才能使用相关硬件资源。

而报道指出,实际上2022年末,微软就一直对内部GPU资源实行配额供给,但1月以来申请审批时间越来越长,如今部分申请需要等待几天甚至几周才能获批。

GPT-4等新AI大模型需要在GPU上运行,而为了处理这些大模型带来的庞大计算需求,微软已将数万个GPU整合成一个个群集,分散到各个数据中心。

而AI硬件资源短缺的核心原因之一,便是新版必应聊天机器人与新款Office工具的资源需求尚不明朗。

微软2月推出新版必应聊天机器人,目前还在加紧测算平均每天有多少人愿意使用这项服务,因此工程师暂时难以预测该功能所需的计算资源;

即将推出的新款Office 365工具中,新功能包括AI文档总结、个性化写作建议以及编辑建议等,这些也可能导致微软客户对OpenAI聊天机器人技术的需求大幅激增。

▌客户“嗷嗷待哺”

眼下正是OpenAI与微软试图推销产品、扩大销售范围的时候。

微软可通过Azure OpenAI服务,向创业公司销售软件,而OpenAI也可将软件直接授权给客户使用。这两项服务定价相同,每次请求收费都不到一美分。而根据双方合作内容,所有OpenAI机器学习模型都必须在Azure服务器运行。

两家公司推出的服务引起了广泛关注,许多公司都希望将ChatGPT的底层技术集成到自家产品中。但随着微软陷入AI硬件资源短缺,使用Azure OpenAI服务的新客户需要等待的时间越来越长。

例如,市场营销软件创业公司TouchCast表示,几乎每次都要遇到延迟访问,不能立刻使用程序。该公司正为多家车企开发基于GPT的互动式用户手册,而这项技术正是通过微软Azure授权的。

不过,此前已购买服务的Azure AI客户几乎未受影响:无人驾驶汽车开发商Cruise和AI搜索创业公司Perplexity都表示,使用Azure的GPU资源时并未遇到困难。

▌微软:正在添置资源

微软表示,公司正在加紧添置更多AI硬件资源,并将遵循“优先满足客户需求、根据需求进行调整”的流程。同时其直言,微软并不担心AI硬件资源问题。

值得一提的是,微软去年11月已与英伟达共同宣布,将新增数万个处理器来扩大AI处理能力,但目前采购进度仍未明确。

双方日前还宣布,Azure客户很快就能抢先使用英伟达新款H100 GPU。The Information指出,微软内部已有少部分团队开始使用H100,但多数部门尚未获得这项权限。

海量资讯、精准解读,尽在新浪财经APP


【本文地址】

公司简介

联系我们

今日新闻


点击排行

实验室常用的仪器、试剂和
说到实验室常用到的东西,主要就分为仪器、试剂和耗
不用再找了,全球10大实验
01、赛默飞世尔科技(热电)Thermo Fisher Scientif
三代水柜的量产巅峰T-72坦
作者:寞寒最近,西边闹腾挺大,本来小寞以为忙完这
通风柜跟实验室通风系统有
说到通风柜跟实验室通风,不少人都纠结二者到底是不
集消毒杀菌、烘干收纳为一
厨房是家里细菌较多的地方,潮湿的环境、没有完全密
实验室设备之全钢实验台如
全钢实验台是实验室家具中较为重要的家具之一,很多

推荐新闻


图片新闻

实验室药品柜的特性有哪些
实验室药品柜是实验室家具的重要组成部分之一,主要
小学科学实验中有哪些教学
计算机 计算器 一般 打孔器 打气筒 仪器车 显微镜
实验室各种仪器原理动图讲
1.紫外分光光谱UV分析原理:吸收紫外光能量,引起分
高中化学常见仪器及实验装
1、可加热仪器:2、计量仪器:(1)仪器A的名称:量
微生物操作主要设备和器具
今天盘点一下微生物操作主要设备和器具,别嫌我啰嗦
浅谈通风柜使用基本常识
 众所周知,通风柜功能中最主要的就是排气功能。在

专题文章

    CopyRight 2018-2019 实验室设备网 版权所有 win10的实时保护怎么永久关闭