etl在什么环境做运维？

你是在电信的数据仓库运维团队工作嘛？貌似这个是ETL Automation。。。

判断题

对（EA底层是用perl开发的）

对（支持）

对（底层除了主从服务器基于socket通信，其他都是文件操作）

错（可以后台执行，界面只是发起指令，也可以通过其他途径发起。这里一定要注意，需要看你们具体运维是不是有什么规范，比如必须通过界面操作什么的）

错（agent是通过socket接收GUI界面指令的）

填空题

控制文件或者说消息

etlmaster

ETL_JOB_LOG

etc，APP

这个很难回答，要看你们具体环境，你到ETL服务器上看看profile里怎么配置的。

简答题

要看你们运维团队是否修改过EA代码。只要相应的后台服务都启动了，查看进程正常就可以啦。暂停时候，必须先看有多少正在跑的作业，评估脚本是否支持重跑，杀掉作业，再杀掉后台进程。

最初的版本肯定不是自动负载的，根据经验判断，结合服务器性能，人工设定每个server最大并发数。

这个真不知道了

ETL 全称 Extraction-Transformation-Loading ,

也就是数据的 抽取-转换-加载，让数据在多个数据系统之间流动

目前多应用于商业智能领域，是构建数据仓库的底层基础技术

如有其他疑问，可继续追问

(1)ETL 检验标志任何电气、机械或机电产品只要带有ETL检验标志就表明它是经过测试符合相关的业界标准。

(2)ETL 列名标志任何电气、机械或机电产品只要带有ETL标志就表明它是经过测试符合相关的产品安全标准 ETL认证是产品出口美国及加拿大所需的认证。ETL标志表示产品已经通过美国NRTL及或加拿大SCC的认可测试。ETL标志认可与UL或CSA标志具有等同的效力，并符合有关的安全标准。产品拥有ETL列名标志就意味着，它已经满足了产品安全标准的最低要求。另外，ETL标志更表示生产商的生产场地符合了一定范围的标准要求，并通过学习定期跟进的工厂审查以保证持续一致性。 ETL出现已超过100年。ETL这3个字母是1896年发明家爱迪生先生创立的电器测试实验室（Electrical Testing Labs）的简称。ETL代表着创新、有影响力、独立公开的产品测试及丰富的经验。

ETLus标志（只有us，没有c）：产品进入美国市场的安全标志 cETL标志（只有c，没有us）：产品进入加拿大市场的安全标志 cETLus标志：产品进入美国市场和加拿大市场的安全标志 工厂检查 美国ETL认证需检查4次，加拿大则一年2次；以两者皆有则一年4次。

UL和ETL的区别

UL和ETL都代表产品通过国家认可测试实验室（NRTL）的测试，符合相应的安全标准。所以真正的区别在于服务。作为ETL的客户，您可以享受到量身定制的测试、检验和认证服务，快捷的运作周期和灵活的工作方式。我们正在创造与客户合作更紧密的工作方式，以便您的产品更快、更顺利、更高效地进入市场。

ETL认证和UL认证具有同样的北美市场准入效力，但ETL认证的费用比UL认证低的多，一般只有UL认证的一半,而且，ETL认证的产品检测可以通过CB测试报告转，可以为您节省许多的检测费用。

ETL认证时间也比UL认证要短的多，特殊情况下，ETL可以先发证，再进行工厂审查，为您产品的出口以节省宝贵的时间。 关于ETL列名标志的常见问题

生产商为什么选择ETL列名标志

生产商都希望能有多个选择来满足他们的采购需求，测试与认证服务供应商也是选择的重要部分。

ETL列名标志在法律上是否与UL和CSA列名标志等同

法律要求在美国销售的产品进行测试和认证在美国职业安全与健康委员会(OSHA)指定国家认可的测试实验室(NRTL)进行。 NRTL的职能就是为各种电动、燃气、燃油产品提供独立的评估、测试与认证服务。

产品贴有ETL列名标志说明该产品已经达到指定安全标准的基本要求。 此外，该标志还表示生产商的工厂遵守各种符合性措施，并且接受定期跟踪检查以验证产品是否具备持续的一致性。

什么是NRTL

国家认可的NRTL是由美国职业安全与健康委员会(OSHA)认可的独立实验室，根据适用的产品安全标准(如美华UL和其它标准制定机构所制定的产品安全标准)的要求对产品进行测试。

ETL列名标志意味着什么

简单地讲，ETL列名标志表示您的产品已经经过美国NRTL及或加拿大SCC的认可的测试，符合公认的国家标准，也满足产品销售或分销的最基本要求。 对于经销商、零售商以及客户而言，ETL标志是产品符合安全标准、已经经过第三方机构测试和认证的保证。

贴有ETL列名标志，零售商会接受吗

是的。 因为ETL列名标志是被广泛接受和认可的产品符合性证明，零售商没有理由不接受产品贴有ETL列名标志。 个别零售商或经销商不接受贴有ETL列名标志的产品，很可能是因为市场的误传——就是这种误传误导了一些生产商认为他们不能自己选择第三方测试的合作伙伴。

ETL列名标志不熟悉，还怎么做

没有标准的公式来让用户更好地了解ETL列名标志。 根据具体情形下的背景、环境以及其它细节，正确的方法各不相同。 一些用户只需要向他们出示其它贴有ETL列名标志而且受到大家推崇的产品在《列名产品目录》中能够找到，就可以消除他们的顾虑。 也有些用户可能会坚持认为UL标志是唯一可接受的产品符合性证明，这就需要向他们更加全面地解释第三方产品安全测试所隐含的真正法律要求。 告诉他们NRTL计划的有关事宜，向用户解释产品安全认证计划包含了与UL一样的测试、列名、贴标以及跟踪检查服务。

哪些国家接受ETL标志

在美国和加拿大，ETL标志是广为人们接受的产品符合性证明。

整个北美地区是否都接受ETL列名标志

由于ETL列名标志是广为认可和接受的产品符合安全标准的证明，因此，零售商、检验员、以及具有管辖权的部门(AHJ)都接受ETL列名的产品。

ETL列名标志的历史

“ETL”已经有100多年的历史了。 当生产商为他们的产品申请ETL列名标志时，“ETL”这几个字母带给他们的还有一段充满创新、影响以及独立的历史。 事实上，最初的电气测试实验室(ETL)是由托马斯·爱迪生在1896年成立的。

电气测试实验室的成立是为了解决灯的安全与性能问题。 爱迪生的想法是通过多种产品性能与安全测试向消费者提供保证。 爱迪生开创的第三方灯测试方法的基本原则至今还在沿用，如专家对灯和灯泡进行监测以确定它们的使用寿命、发光强度、以及是否会发生燃烧或爆炸。

对于做过 BI 开发的朋友，ETL 并不陌生，只要涉及到数据源的数据抽取、数据的计算和处理过程的开发，都是 ETL，ETL 就这三个阶段，Extraction 抽取，Transformation 转换，Loading 加载。

从不同数据源抽取数据 EXTRACTION ，按照一定的数据处理规则对数据进行加工和格式转换 TRASFORMATION，最后处理完成的输出到目标数据表中也有可能是文件等等，这个就是 LOADING。

再通俗一点讲，ETL 的过程就跟大家日常做菜一样，需要到菜市场的各个摊位买好菜，把菜买回来要摘一下，洗一洗，切一切最后下锅把菜炒好端到饭桌上。菜市场的各个摊位就是数据源，做好的菜就是最终的输出结果，中间的所有过程像摘菜、洗菜、切菜、做菜就是转换。

在开发的时候，大部分时候会通过 ETL 工具去实现，比如常用的像 KETTLE、PENTAHO、IBM DATASTAGE、INFORNAICA、微软 SQL SERVER 里面的 SSIS 等等，在结合基本的 SQL 来实现整个 ETL 过程。

也有的是自己通过程序开发，然后控制一些数据处理脚本跑批，基本上就是程序加 SQL 实现。

哪种方式更好，也是需要看使用场景和开发人员对那种方式使用的更加得心应手。我看大部分软件程序开发人员出身的，碰到数据类项目会比较喜欢用程序控制跑批，这是程序思维的自然延续。纯 BI 开发人员大部分自然就选择成熟的 ETL 工具来开发，当然也有一上来就写程序脚本的，这类 BI 开发人员的师傅基本上是程序人员转过来的。

用程序的好处就是适配性强，可扩展性强，可以集成或拆解到到任何的程序处理过程中，有的时候使用程序开发效率更高。难就难在对维护人员有一定的技术要求，经验转移和可复制性不够。

用 ETL 工具的好处，第一是整个 ETL 的开发过程可视化了，特别是在数据处理流程的分层设计中可以很清晰的管理。第二是链接到不同数据源的时候，各种数据源、数据库的链接协议已经内置了，直接配置就可以，不需要再去写程序去实现。第三是各种转换控件基本上拖拉拽就可以使用，起到简化的代替一部分 SQL 的开发，不需要写代码去实现。第四是可以非常灵活的设计各种 ETL 调度规则，高度配置化，这个也不需要写代码实现。

所以在大多数通用的项目中，在项目上使用 ETL 标准组件开发会比较多一些。

ETL 从逻辑上一般可以分为两层，控制流和数据流，这也是很多 ETL 工具设计的理念，不同的 ETL 工具可能叫法不同。

控制流就是控制每一个数据流与数据流处理的先后流程，一个控制流可以包含多个数据流。比如在数据仓库开发过程中，第一层的处理是ODS层或者Staging 层的开发，第二层是 DIMENSION维度层的开发，后面几层就是DW 事实层、DM数据集市层的开发。通过ETL的调度管理就可以让这几层串联起来形成一个完整的数据处理流程。

数据流就是具体的从源数据到目标数据表的数据转换过程，所以也有 ETL 工具把数据流叫做转换。在数据流的开发设计过程中主要就是三个环节，目标数据表的链接，这两个直接通过 ETL 控件配置就可以了。中间转换的环节，这个时候就可能有很多的选择了，调 SQL 语句、存储过程，或者还是使用 ETL 控件来实现。

有的项目上习惯使用 ETL 控件来实现数据流中的转换，也有的项目要求不使用标准的转换组件使用存储过程来调用。也有的是因为数据仓库本身这个数据库不支持存储过程就只能通过标准的SQL来实现。

我们通常讲的BI数据架构师其实指的就是ETL的架构设计，这是整个BI项目中非常核心的一层技术实现，数据处理、数据清洗和建模都是在ETL中去实现。一个好的ETL架构设计可以同时支撑上百个包就是控制流，每一个控制流下可能又有上百个数据流的处理过程。之前写过一篇技术文章，大家可以搜索下关键字 BIWORK ETL 应该在网上还能找到到这篇文章。这种框架设计不仅仅是ETL框架架构上的设计，还有很深的ETL项目管理和规范性控制器思想，包括后期的运维，基于BI的BI分析，ETL的性能调优都会在这些框架中得到体现。因为大的BI项目可能同时需要几十人来开发ETL，框架的顶层设计就很重要。

本文整理自互联网，旨在分享有价值的内容，文章如有侵权请联系删除，感谢您的支持。

转载请注明本文地址：https://www.shouxicto.com/yunwei/baike/11255.html