使用事件处理程序编辑器处理事件数据 您所在的位置:网站首页 事件记录器怎么打开 使用事件处理程序编辑器处理事件数据

使用事件处理程序编辑器处理事件数据

2023-05-28 10:20| 来源: 网络整理| 查看: 265

使用事件处理程序编辑器处理事件数据 项目 05/23/2023

Lakehouse 目标中的事件处理器允许在数据引入 Lakehouse 目标之前对其进行处理。 事件处理程序编辑器是一种无代码体验,可提供拖放体验来设计事件数据处理逻辑。 本文介绍如何使用事件处理程序编辑器设计处理逻辑。

重要

Microsoft Fabric 目前为预览版。 此信息与预发行产品相关,相应产品在发行之前可能会进行重大修改。 Microsoft 不对此处提供的信息作任何明示或默示的担保。

先决条件

若要开始,必须满足以下先决条件:

获取对具有参与者或更高权限的高级工作区的访问权限,其中事件流所在的位置。 获取对具有“参与者”或更高权限的高级工作区的访问权限,其中 Lakehouse 所在的位置。 使用编辑器设计事件处理

按照步骤打开事件处理程序编辑器并使用它设计事件处理。

创建 Lakehouse 目标并在右窗格中输入必要的参数。

选择“ 打开事件处理程序 ”,在右窗格中打开事件处理程序编辑器。

在事件处理程序编辑器中,可以选择事件流节点来预览其数据架构、重命名列或更改右窗格中的数据类型。

从功能区中的 “操作 ”菜单中选择运算符,添加事件处理逻辑。 例如 ,管理字段。

选择 eventstream 和 lakehouse 之间的行,并点击 删除 键删除它们之间的连接,以便在它们之间插入管理字段运算符。

选择 eventstream 节点左边缘的绿色圆圈,并按住鼠标并将其连接到“管理字段”运算符节点。 同样,将“管理字段”运算符节点连接到 Lakehouse 节点。

选择 “管理字段” 运算符节点。 在“管理字段”配置面板中,选择要输出的字段。 如果要添加所有字段,请选择“添加所有字段”。 还可以使用“内置函数”添加新字段以聚合来自上游的数据。 目前支持的内置函数是“字符串函数”、“日期和时间函数”、“数学函数”中的某些函数。

配置 “管理”字段 后,可以通过单击“ 刷新静态预览”来预览将使用此运算符生成的数据。

如果有任何配置错误,底部窗格中的“ 创作错误 ”选项卡会通知你。

如果预览数据后一切正常,则可以选择“ 完成 ”以完成事件处理设计,并返回到 Lakehouse 目标配置窗格以创建 Lakehouse 目标。

事件处理程序编辑器

使用事件处理程序可以转换要引入目标的数据。 它适用于 Lakehouse 类型的目的地。 配置 Lakehouse 目标时,可以在右侧面板的中间找到“事件处理”部分。 在此处,可以打开事件处理程序编辑器,通过拖放体验定义数据转换逻辑。

事件处理程序编辑器提供画布和底部窗格,使你能够:

使用拖放体验生成事件数据转换逻辑。

从头到尾预览每个处理节点中的数据。

发现这些处理节点中的创作错误。

整个视图布局类似于main编辑器。 该环境包括:

带关系图视图的画布:可以通过从功能区中的“操作”菜单中选择运算符来设计数据转换逻辑。 然后,可以通过拖动行来连接事件流节点、运算符节点和目标节点。 如果要删除两个节点之间的连接,可以选择两个节点之间的行,并点击删除键。 右编辑窗格:可在其中配置所选操作节点或查看事件流和目标的架构。 包含数据预览和创作错误选项卡的底部窗格:可以使用“数据预览”选项卡预览所选节点中的数据。它提供“你所看到的就是你得到的”的体验。 当操作节点中未正确或完全配置某些内容时,还可以发现创作错误。

若要详细了解如何使用事件处理程序编辑器定义数据转换逻辑,请参阅 使用事件处理程序编辑器处理事件数据。

转换运算符

事件处理器提供六个运算符,可用于根据业务需求转换事件数据。

聚合

你可以使用“聚合”转换来计算一段时间内每次新事件发生时的聚合(总和、最小值、最大值或平均值)。 此操作还允许你根据数据中的其他维度对聚合进行筛选或切片。 在同一转换中可以有一个或多个聚合。

展开

使用 Expand 数组转换为数组中的每个值创建新行。

筛选器

使用“筛选器”转换以基于输入中的字段值筛选事件。 根据数据类型 (数字或文本) ,转换会保留与所选条件匹配的值。

Group by

使用“分组依据”转换计算某个时间窗口内所有事件的聚合。 可以按一个或多个字段中的值进行分组。 它类似于 聚合 转换,但提供了更多聚合选项。 它还包括时间窗口的更复杂选项。 同样,与“聚合”类似,你可以为每个转换添加多个聚合。

转换中可用的聚合如下:

平均值 计数 最大值 最小值 百分位(连续和离散) 标准偏差 Sum Variance

在实时流方案中,对临时窗口中包含的数据执行操作是一种常见模式。 事件处理程序支持 开窗函数 ,并与 Group by 运算符集成。 可以在此运算符的设置中定义它。

管理字段

利用“管理字段”转换,你可以添加、删除或重命名从输入或其他转换中传入的字段。 使用侧窗格上的设置可以选择添加一个新的字段,方法是选择“添加字段”或一次添加所有字段。

还可以使用“内置函数”添加新字段以聚合来自上游的数据。 目前,我们支持的内置函数是字符串函数、日期和时间函数以及数学函数中的一些函数。

Union

使用 Union 转换连接两个或多个节点,将具有相同名称和数据类型的共享字段 (的事件) 添加到一个表中。 不匹配的字段将被删除,并且不包含在输出中。

后续步骤

请参阅 在事件流中添加和管理目标。



【本文地址】

公司简介

联系我们

今日新闻

    推荐新闻

    专题文章
      CopyRight 2018-2019 实验室设备网 版权所有