分布式过程实时数据集成方法及其实现

针对异构生产装置数据采集、集成和管理中的数据集成问题,提出一种分布式过程实时数据集成方法,给出系统体系结构和数据集成原理。采用Hash-AVL树的数据结构对生产数据  (本文共3页) 阅读全文>>

流程工业作为国家基础工业，是国民经济中占有重要地位的行业。在生产过程中，集成各种装置的实时运行数据，对于保持生产运行状态平稳，控制生产成本，以及保证生产安全和提高经济效益等都具有重要作用。由于技术发展的原因，很多的流程工业企业存在着多种装置并存的特点，这些装置由于生产厂商，访问标准等不同，给异构数据的集成带来了很大的困难。目前企业迫切希望能提供一个实时数据集成平台来解决整个企业的数据集成，因此，研究生产装置异构实时数据集成方法，具有重要的理论意义和应用价值。本文在详细分析生产装置异构数据集成方法研究现状的基础上，对当前数据集成方法进行分类，提出了一种新的分布式实时数据集成方法；利用XML技术对实时数据及访问请求进行封装，实现统一的数据访问接口；研究了生产数据的实时约束方法，并基于此方法对实时数据查询方法XML-RL的结构进行扩展，采用Hash-AVL树的数据结构对生产数据进行描述，保证数据访问的实时性；通过UML对数据集成系统进...  (本文共84页) 本文目录 | 阅读全文>>

随着中国民航业的蓬勃发展,越来越多的旅客选择乘飞机出行,各大航空公司以及旅行网站每天都在产生海量的民航旅客服务数据。但是这些数据来源不同,存在模式异构和数据冗余等问题,严重影响了数据的有效利用。数据集成正是解决这类问题的关键方法,因此,研究数据集成方法来消除多源异构民航旅客服务数据的模式冲突和数据冗余从而提高数据质量意义重大。首先,针对模式异构问题,提出了一种基于SimHash和混合相似度的多模式匹配方法。该方法基于PMI-SimHash算法构造属性列的签名来表示属性特征以降低特征维度,然后在对属性聚类分析的基础上计算属性的混合相似度并构建属性映射图来展示属性间的匹配关系。其次,针对数据冗余问题,提出一种面向实体匹配的无监督自学习方法。该方法通过局部敏感性哈希算法对多源数据进行分块处理,将特征相似的记录划分到相同块中,减少了候选匹配对的生成数量。然后基于无监督种子挑选算法来选择训练集并提出基于RVM的自学习算法生成有标签的实体数...  (本文共59页) 本文目录 | 阅读全文>>

数据集成在数据管理与分析领域起着重要的作用.尽管从学术界首次提出并开始研究数据集成问题已经过去30多年,但在各个领域仍然存在着大量与数据集成问题密切相关的问题亟待解决.对数据集成领域从2001年开始到现在相关...  (本文共16页) 阅读全文>>

为解决现有数据集成方法的集成成本过高、缺乏语义信息等问题,对带有语义信息的轻量级数据集成方法开展研究。对本体、元数据等相关理论进行概述,给出了一种基于语义的轻量级数据集成方法,并详细分析了...  (本文共5页) 阅读全文>>

随着数据挖掘技术的发展,传统集成方法中的集成规则,例如Max rule,Min rule,Product rule,以及Sum rule,已经不能满足现实中对于二类非均衡数据分类正确率的需要。因此本文提出了基于朴素贝叶斯和欧氏距离的二类非均衡数据集成方法。该...  (本文共5页) 阅读全文>>