笔记本上下文监视和调试 您所在的位置:网站首页 dota2ti10本子怎么升级 笔记本上下文监视和调试

笔记本上下文监视和调试

2023-05-26 16:00| 来源: 网络整理| 查看: 265

笔记本上下文监视 & 调试 项目 05/23/2023

重要

Microsoft Fabric 目前为预览版。 此信息与预发行产品相关,相应产品在发行之前可能会进行重大修改。 Microsoft 不对此处提供的信息作任何明示或默示的担保。

笔记本完全基于 Apache Spark。 代码单元在无服务器上远程执行。 Spark 作业进度指示器提供有实时进度栏,可帮助你了解作业执行状态。

监视作业进度

运行以下示例代码并验证笔记本单元格下方的 Spark 作业进度指示器。

%%spark import org.apache.spark.sql.functions.{ countDistinct, col, count, when } val df = spark.range(0, 100000000) df.select(df.columns.map(c => countDistinct(col(c)).alias(c)): _*).collect

Spark 顾问建议

还支持查看 Spark 顾问信息建议,应用建议后,你将有机会提高执行性能、降低成本并修复执行失败。 运行以下示例代码并验证笔记本单元格下方的 Spark 顾问信息消息。

%%spark val rdd = sc.parallelize(1 to 1000000) val rdd2 = rdd.repartition(64) val Array(train, test) = rdd2.randomSplit(Array(70, 30), 1) train.takeOrdered(10)

查看建议

带蓝色灯泡的图标表示可用于命令的建议。 此框显示不同建议的数量。

单击灯泡展开并查看建议。 一个或多个建议将变得可见。

Spark 顾问倾斜检测

它还支持查看 Spark 顾问倾斜检测。 运行以下示例代码,查看 Notebook 单元格下方的数据倾斜 + 时间倾斜警告消息。

%%spark import org.apache.spark.SparkContext import java.util.Random def testDataSkew(sc: SparkContext): Unit = { val numMappers = 400 val numKVPairs = 100000 val valSize = 256 val numReducers = 200 val biasPct = 0.4 val biasCount = numKVPairs * biasPct for (i val ranGen = new Random val arr1 = new Array[(Int, Array[Byte])](numKVPairs) for (i


【本文地址】

公司简介

联系我们

今日新闻

    推荐新闻

    专题文章
      CopyRight 2018-2019 实验室设备网 版权所有