生成式 AI 应用程序的模型监视（预览版）

你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

监视生产环境中的模型是 AI 生命周期的重要组成部分。 随着时间的推移，数据和使用者行为的变化可能会影响生成式 AI 应用程序，导致系统过时，从而对业务成果产生负面影响，并使组织面临合规性、经济和信誉风险。

重要

生成式 AI 应用程序的模型监控目前以公共预览版提供。 这些预览版在提供时没有附带服务级别协议，不建议用于生产工作负荷。 某些功能可能不受支持或者受限。 有关详细信息，请参阅 Microsoft Azure 预览版补充使用条款。

使用针对生成式 AI 应用程序的 Azure 机器学习模型监视，你可以更轻松地按节奏监视生产环境中的 LLM 应用程序的安全性和质量，以确保其产生最大的业务影响。 监视最终有助于维护生成式 AI 应用程序的质量和安全性。 功能和集成包括：

有关整体模型监视的基本概念，请参阅使用 Azure 机器学习进行模型监视（预览版）。 本文介绍如何监视由托管联机终结点提供支持的生成式 AI 应用程序。 可采取以下步骤：

指标由下述最先进的 GPT 语言模型生成，这些模型配置有特定的评估指令（提示模板），充当序列到序列任务的评估器模型。 与标准生成式 AI 评估指标相比，此方法显示出强有力的实证结果以及与人类判断的高相关性。 有关提示流评估的详细信息，请参阅提交批量测试和评估流（预览版）。

以下 GPT 模型受支持，将被配置为 Azure OpenAI 资源：

支持以下指标。 如需每个指标的更多详细信息，请参阅监视评估指标说明和用例

需要以下输入（数据列名称）来衡量生成安全性和质量：

根据下表，数据资产中配置的哪些参数决定了你可以生成哪些指标：

注意

如果计算实例位于 VNet 后面，请参阅提示流中的网络隔离。

在“监视概述”页中创建监视器

在监视创建向导中，将“模型任务类型”更改为“提示和完成”，如屏幕截图中的 (A) 所示。

如果已使用模型数据收集器，请选择两个数据资产（输入和输出）。

从提示流中手动输入列名称 (E)。 标准名称为（“提示”|“完成”|“上下文”|“ground_truth”），但你可以根据数据资产对其进行配置。

（可选）设置采样率 (F)

进行配置后，信号将不再显示警告。

不需要执行任何操作。 可以根据需要配置更多收件人。

成功配置后，监视器应如下所示：

如果配置成功，监视管道作业会显示以下内容：

监视器概述对信号性能进行了概述。 可以进入信号详细信息页以获取详细信息。

可以通过信号详细信息页查看一段时间内的指标 (A) 并查看分布直方图 (B)。

只能调整信号阈值。 可接受的分数固定为 3/5，并且只能调整“可接受的总体百分比通过率”字段。