什么是数据目录Catalog | 您所在的位置:网站首页 › 云计算最上层是什么 › 什么是数据目录Catalog |
什么是数据目录(Catalog) 数据目录(Catalog)是数据湖构建(Data Lake Formation)的元数据最上层实体,它可以包含多个数据库。 适用场景主要适用于元数据隔离的场景,比如多个E-MapReduce集群,每个集群绑定不同的Catalog,每个EMR集群间元数据互不可见。 基本操作新建数据目录(Catalog)登录数据湖构建控制台。 菜单选择:“元数据-元数据管理”。 切换标签页到“数据目录”。 点击“新建数据目录”。 在输入框中输入如下内容: 目录ID,必选,唯一标识,不可重名。 描述,可选,输入描述信息。 目录路径,可选,输入默认的存储路径,目前仅支持OSS路径。 登录数据湖构建控制台。 菜单选择:“元数据-元数据管理”。 切换标签页到“数据目录”。 登录数据湖构建控制台。 菜单选择:“元数据-元数据管理”。 切换标签页到“数据目录”。 针对某一行的数据目录,点击右侧的“编辑”按钮。 在输入框中,修改如下内容: 描述,可选,输入描述信息。 目录路径,可选,输入默认的存储路径,目前仅支持OSS路径。 请您谨慎选择删除,删除后,数据将不可恢复! 登录数据湖构建控制台。 菜单选择:“元数据-元数据管理”。 切换标签页到“数据目录”。 针对某一行的数据目录,点击右侧的“删除”按钮。 弹出提示确认框后,点击确认,完成catalog删除。 与计算引擎的适配操作如何修改E-MapReduce集群的数据目录重要修改E-MapReduce集群绑定的 DLF Catalog ID后,该集群将会指向新的Catalog ID,在该集群的对原来Catalog的库/表等操作或运行中的作业均会失效。请充分考虑影响后,再进行切换。 Hive引擎配置修改 在Hive/hive-site.xml文件下,新增配置项:dlf.catalog.id Key=dlf.catalog.id Value=DLF数据目录ID 依次点击以下2个操作,完成配置部署生效。 保存配置。 部署客户端配置。 点击Hive右侧的更多操作,选择重启,将Hive服务进行重启。 重启成功后,Hive状态变为良好,则Catalog ID修改完成。 说明Spark配置修改参考上述Hive配置修改并重启服务。 注意:如EMR主版本 |
CopyRight 2018-2019 实验室设备网 版权所有 |