E 您所在的位置:网站首页 etl技术主要用于 E

E

2023-07-27 23:34| 来源: 网络整理| 查看: 265

第一:E-T-L 技术

        E-T-L(Extract、Transform、Load)共包含了数据抽取、数据转换与数据装载3部分内容,E-T-L技术是在数据仓库技术发展中日趋成熟的。到现在,大家常说的ETL技术已经远远超越出了这E、T、L这三部分的范畴,不再是简单地将数据从一个地方抽出进行转换再装载到另外一个地方这种概念了。时下大家说得最多的名词是数据仓库、数据治理、数据集成、数据中心、数据整合平台、数据交换池、数据管理、数据中台、数据融通等等,这些概念里都涵盖了ETL技术,这些都已经是E-T-L技术的一个大大的分母了。

                                                纷繁复杂需求

第二:数据集成(即数据中台)

E-T-L发展到现在,十几年来滋生如此多的解决方案概念,如:数据仓库、数据治理、数据集成、数据中心、数据整合平台、数据交换池、数据管理、数据中台、数据融通等等,实则始终在解决一个问题—数据中心的数据集成!在数据中心这种解决方案中,E-T-L是基础,其中SOA体系架构、数据质量管理、元数据管理、实时数据响应、Push Down、数据联邦、数据探查等等技术是构成整个解决方案的组成部分。也是构建企业各信息系统之间数据相互交换的一个最优、最坚固、最完善的平台。

                                         数据集成平台

第三:ETL工具

ETL工具是相较手工E-T-L来说的。ETL工具都是在一个个项目中成熟起来,ETL工具本身就是从手工代码E-T-L中发展出来的,主要是用于提高工作效率如用户足够人力资源、时间和精力也可以自己手工建触发器,不过当系统纷繁复杂及数据量级达到时,后期调度和管理通常会成为棘手的问题,这时候也是专业ETL工具产品化展现价值的时机。我们通常谓之为ETL工具厂商, 区别于国内数据集成商, ETL工具厂商提供通用产品和其工具实施方法。如此慢慢不断地重新扩展程序、丰富功能、多年持续完善而成。

                                          ETL工具 应用场景

 

 

第四:E-T-L技术、ETL工具、数据中台

E-T-L技术自数据库以来就有雏形,国内数据集成商绝大部分是针对某行业集成平台,为最终用户提供整体解决方案、买办、定制开发且实施整个平台。目前国内集成商在做数据集成、数据中心、数据整合平台、数据交换池、数据管理、数据中台、大数据治理、数据融通等等时 通常3类情况:

1、手工编程E-T-L (如: 多SQL语句)

2、拿来开源产品(未有功能待手工编码)

3、成熟ETL工具(商用 对原厂技术要求超高)

   其中如开源ETL工具 Kettle 未有重要功能组件—“数据增量同步” “工作流调度”……归属半手工编码。很多集成商包装开源产品上线后,仍然停留在手工编码这些重要的功能上,岂不知开源厂商的商机就在此。

   ETL的流程可以用任何的编程语言去开发完成,由于ETL是极为复杂的过程,而手写程序不易管理,有愈来愈多的企业采用工具协助ETL的开发,工具可以提供较强大的连接功能来连接来源端及目的端,开发人员不用去熟悉各种相异的平台及数据的结构,亦能进行开发。用ETL 工具来解决便捷。为经营企业节省大量的人力、时间、精力。各企业应花更多的时间在业务和应层,反之大量投入在ETL的编码开发上,未能及时、精准提供决策层有力的数据支撑,如此快捷信息时代,后果不堪设想!

                                                ETL工具“数据增量同步”

                                                     ETL工具“ 工作流调度”

 

 

 当然如果企业的总数据量千条之下,手工编码、开源、数据库辅助功能都可,其实大多数小、微企业当前并不需要重型的ETL工具,但对于每个BI人,企业待大数据到来前,理解ETL工具是有必要的。

 



【本文地址】

公司简介

联系我们

今日新闻

    推荐新闻

    专题文章
      CopyRight 2018-2019 实验室设备网 版权所有