全球通讯企业排名:数据集成01

数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享。在企业数据集成领域，已经有了很多成熟的框架可以利用。

      数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享。在企业数据集成领域，已经有了很多成熟的框架可以利用。目前通常采用联邦式、基于中间件模型和数据仓库等方法来构造集成的系统，这些技术在不同的着重点和应用上解决数据共享和为企业提供决策支持。

      近几十年来，科学技术的迅猛发展和信息化的推进， 使得人类社会所积累的数据量已经超过了过去5 000年的总和，数据的采集、存储、处理和传播的数量也与日俱增。企业实现数据共享，可以使更多的人更充分地使用已有数据资源，减少资料收集、数据采集等重复劳动和相应费用。但是，在实施数据共享的过程当中，由于不同用户提供的数据可能来自不同的途径，其数据内容、数据格式和数据质量千差万别，有时甚至会遇到数据格式不能转换或数据转换格式后丢失信息等棘手问题，严重阻碍了数据在各部门和各软件系统中的流动与共享。因此，如何对数据进行有效的集成管理已成为增强企业商业竞争力的必然选择。

      由于现代企业的飞速发展和企业逐渐从一个孤立节点发展成为不断与网络交换信息和进行商务事务的实体，企业数据交换也从企业内部走向了企业之间;同时，数据的不确定性和频繁变动，以及这些集成系统在实现技术和物理数据上的紧耦合关系，导致一旦应用发生变化或物理数据变动，整个体系将不得不随之修改。因此，我们进行数据集成将面临着如何适应现代社会发展的复杂需求、有效扩展应用领域、分离实现技术和应用需求、充分描述各种数据源格式以及发布和进行数据交换等问题。

1、 数据集成模型分类

      数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享。在企业数据集成领域，已经有了很多成熟的框架可以利用。目前通常采用联邦式、基于中间件模型和数据仓库等方法来构造集成的系统，这些技术在不同的着重点和应用上解决数据共享和为企业提供决策支持。在这里将对这几种数据集成模型做一个基本的分析。

     　联邦数据库系统( FDBS)由半自治数据库系统构成，相互之间分享数据，联盟各数据源之间相互提供访问接口，同时联盟数据库系统可以是集中数据库系统或分布式数据库系统及其他联邦式系统。在这种模式下又分为紧耦合和松耦合两种情况，紧耦合提供统一的访问模式，一般是静态的，在增加数据源上比较困难；而松耦合则不提供统一的接口，但可以通过统一的语言访问数据源，其中核心的是必须解决所有数据源语义上的问题。

      中间件模式通过统一的全局数据模型来访问异构的数据库、遗留系统、Web 资源等。中间件位于异构数据源系统(数据层) 和应用程序(应用层) 之间，向下协调各数据源系统，向上为访问集成数据的应用提供统一数据模式和数据访问的通用接口。各数据源的应用仍然完成它们的任务，中间件系统则主要集中为异构数据源提供一个高层次检索服务。

      数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的和不可修改的数据集合。其中，数据被归类为广义的、功能上独立的、没有重叠的主题。这几种方法在一定程度上解决了应用之间的数据共享和互通的问题，但也存在以下的异同:联邦数据库系统主要面向多个数据库系统的集成，其中数据源有可能要映射到每一个数据模式，当集成的系统很大时，对实际开发将带来巨大的困难。

      中间件模式是目前比较流行的数据集成方法，它通过在中间层提供一个统一的数据逻辑视图来隐藏底层的数据细节，使得用户可以把集成数据源看为一个统一的整体。这种模型下的关键问题是如何构造这个逻辑视图并使得不同数据源之间能映射到这个中间层。

      数据仓库技术则在另外一个层面上表达数据之间的共享，它主要是为了针对企业某个应用领域提出的一种数据集成方法，也就是我们在上面所提到的面向主题并为企业提供数据挖掘和决策支持的系统。

2、 数据高速缓存器是关键

      对数据集成体系结构来说，关键是拥有一个包含有目标计划、源－目标映射、数据获得、分级抽取、错误恢复和安全性转换的数据高速缓存器。此外，数据高速缓存器包含有预先定制的数据抽取工作，这些工作自动地位于一个企业的后端及数据仓库之中。

      一个高速缓存器作为企业和电子商务数据的一个单一集成点，最大限度地减少了对直接访问后端系统和进行复杂实时集成的需求。这个高速缓存器从后端系统中卸载众多不必要的数据请求，因此使电子商务公司可以增加更多的用户，同时让后端系统从事其指定的工作。

      数据集成软件与企业应用集成厂商和程序集成商进行联合，而不是取代它们。的确，由于数据集成软件越来越普遍地被用来作为B2B集成的一个工具，它会引人注目地改造B2B集成商一起合作的方式以及企业向Internet迁移的方式。

3、 数据集成对于企业信息系统的作用

      数据集成的出现使企业能够将后端的ERP信息迁移到Internet上。数据集成产品在一个公司的Internet计算机与SAP、Oracle和PeopleSoft等公司的后端系统之间提供“高速缓存”或数据分级。

      数据集成提供了在一个企业主计算机上存储的后端信息的一幅镜像。当一个Internet客户需要检查一项订单的状态时，这项查询就被转移到数据集成软件。因此，并非总需要访问该企业的主计算机。数据集成软件拥有足够的智能，知道什么时候与主计算机保持同步以便使数据不断更新。为电子商务应用集成ERP数据是通过数据分级和直接访问ERP数据这两者的结合来完成的，它包括使用一个数据服务器和一些数据高速缓存器。数据集成软件以智能方式将直接实时的和分批的数据存取方法混和起来，以便从一个ERP系统中抽取数据。

      数据从一个或多个源前进到一个或多个目标表以及信息类型（如XML），数据移动的步骤包括确定应该从中抽取数据的源、数据应当进行的转换以及向什么地方发送数据。用户通过一个图形用户接口来指定数据映射和转换。

      由用户定义的程序控制每一块数据的移动并确定这种移动之间的内部相关性。例如，如果一个目标表依靠其他目标表的值，则使用一些程序来指定一个数据服务器应当按什么次序来管理这些目标表中的单个数据移动。数据移动可以被设计来以批量方式或实时方式运行，并由管理员来创建和管理，以控制ERP、电子商务、客户关系管理、供应链管理以及通信应用之间的数据移动。数据移动使用分布式查询优化、多线程、存储器内数据转换和并行流水线操作来提供很高的数据通过量和可伸缩性。例如，要管理抽取程序并从SAP软件中来执行批量数据抽取，可使用优化的ABAP代码（SAP的专有编程语言），不需要开发和维护定制的ABAP代码。

      数据集成是企业进一步发展面临的问题。通过数据模型建模和相关应用技术在企业信息集成应用上作了一定的分析。在有效应用模型设计思想开发应用的同时，应重点把握以下几点:

(1) 模型的时效性:包括开发期模型和运行期模型，而运行期模型则显示了模型驱动的核心思想。

(2) 模型的进化性:它揭示了模型是否可以根据应用的变化而自我进行改变。

(3) 模型的层级性:随着系统的复杂性增加，模型可以由多层级构成。

4、 IT机构在经济危机中面临的数据集成挑战

       企业要平安渡过当前的经济危机并变得愈发强大，则必须转变为数据驱动型企业。 它们需要将其企业数据视为可用来支持战略和运营决策的宝贵资产。通过转为数据 驱动型，企业可以更为高效地运营、更好地管理风险、改善客户服务、更快做出明智的决策并保持较低成本。
     在此演进过程中，IT 机构发挥着关键作用。企业期望其 IT 团队能够随时随地按需提供完整、准确、一致和最新的数据。数据不仅可以有力促进在经济低潮期“保持业 务持续运转”的关键方案，而且还使企业做好准备，以待将来情况改善时取得发展，获得成功。
     在经济低潮期，IT 也面临严峻挑战。您的 IT 机构如何才能从可用资源（人力资源和技术资源）中“挤出”更多价值？面对每个项目更加严格的预算审查，您如何加快部署？您的团队如何能够始终灵活地响应不断变化的业务需求？简而言之，您如何做到事半功倍（以更少资金、更少资源和更短时间应对更多 
项目）？
面对这些挑战，您的 IT 机构需要做好三件事：
1. 降低成本 
2. 更为高效地运营
3. 最大限度发挥现有技术的价值
而实现这三个目标，IT 机构需要借助一个全面、统一、开放且经济的数据集成平台。

5、 IT 机构中的数据集成问题

企业当前的抉择将决定它们能否顺利度过眼下的金融风暴。各类企业的主管人员都在探索着：
      走向全球   ?  我的企业如何才能实现跨越不同区域的多样化发展，以减少对某一经济体的依赖？
获得市场份额?  我的企业如何才能通过收购实现扩张，拓展宏图？
保持至精至简?  我的企业如何才能降低开销，从而以机动灵活性取胜？
使企业井井有条 ?  我的企业如何才能确保遵守当前和即将颁布的行业和政府法规？
这需要成千上万个决策。但是每个业务规则的成功秘诀只有一个：及时、完整和 准确的数据。这正是需要 IT 的环节。企业期望其 IT 机构能够随时按要求提供业务所需的数据。
但说起来容易，做起来难。数据分散于整个企业 － 应用程序、数据库、桌面上的 PDF、Excel 电子数据表和 Word 文档中。它也存储在公司防火墙之外 － 在与软件即服务 (SaaS) 和业务流程外包 (BPO) 供应商以及与贸易合作伙伴的应用程序“云”中。
IT 机构感觉问题很棘手。每个业务规则生成一个新 IT 方案。每个新  IT 方案创建一个新 IT 项目。每个 IT 项目均需要数据 － 访问数据、迁移和整合数据以及基本清楚数据的质量。

6、传统数据集成方法的不足

      在数据质量方面的表现如何？传统数据集成方法无法保证所有数据（客户数据、物料与资产数据以及财务数据）保持完整、一致、准确和最新，而无论数据驻留于何处。
      如果您的 IT 机构继续采用传统方法进行数据集成，即按部门、按应用程序或按数据库，在“孤岛”中进行数据集成，那么您将花费更多时间和金钱来管理复杂情况并“保持业务持续运转”，而不是集中精力来处理新的业务规则。

7、新的数据集成方法的特点

IT 机构需要采用可靠的新方法进行数据集成 － 新方法可以：
集成企业内的所有内部预置数据孤岛，包括非结构化数据 
集成云计算应用程序和系统中的外部数据 
与贸易合作伙伴之间以企业对企业的形式无缝交换数据 
确保所有数据的质量 
经济高效地管理应用程序生命周期 
而在企业要求其 IT 机构处理更多数据集成项目时，它们已经在财务上严阵以待。 如果没有积极削减 IT 预算，企业则会更加仔细地检查每笔开支。企业正在放缓 IT 采购周期，以做到其它方面的谨慎处理。它们正在延长部署时间，以评估总拥有成本 (TCO) 和分析潜在投资回报 (ROI)。另外，它们正在积极寻找控制成本和消除冗余的方法。
面对这两种相反力量的平衡，您的 IT 机构需要提高 ROI，同时降低 TCO。您可以采用三种平衡方法：
1. 提高运营效率
2. 充分利用现有技术投资
3. 降低开发和部署成本以及运营和维护的开支 
IT 机构可以通过数据集成平台一次性实施所有这些方法。如图 3 所示，数据集成平
台是一整套全面的技术，包括访问、发现、清洗、集成并为扩张的企业提供数据。 
    

数据集成平台支持各种数据集成项目，例如：
数据仓库 
数据迁移 
测试数据管理
数据存档 
数据整合 
主数据管理 
数据同步 
B2B Data Exchange 
现在，我们将查看数据集成平台可以如何帮助您的 IT 机构：
降低成本 
更为高效地运营 
充分利用现有技术投资 

8、 新的数据集成方法帮助企业降低成本

当今密切审核的 IT 预算使成本成为关键的考虑因素。单独的集成方法，例如手动编码或单点解决方案，乍一看好像经济实惠，但是事实很快证明为这样的方法提供支持费时费力。更改单个应用程序或系统将导致跨越多个集成点的连锁反应，以致创建的结果不可靠，从而不得不进行额外的交叉检查和手动清洗。
相比之下，数据集成平台可大为减少部署、维护和管理所需的时间和资源。易用的、基于角色的工具和可复用的开发资产库可提高工作效率并降低部署时间。规范化的方法可消除差异，使结果更准确。高可扩展性和简便的管理可简化维护与升级。这等于使 IT 成本在最初以及一段时间以来均获得一定的减少。
从仅仅是“保持业务持续运转”转变为“不断开发出新项目”
数据集成平台可以帮助您的 IT 机构大大缩减成本，从而从简单的“保持业务持续运转”转变为“不断开发出新项目”。
请看示例。
假设您的 IT 机构通过数据集成平台方便的使用和管理、预建的连接性、可复用的逻辑和规则、高可扩展性和性能以及无缝升级，实现了该平台的成本节省。最终，您获得资源和预算，以推出过去六个月一直要求您推出的单个关键的应用程序。
您面临三个基本问题：
1. 如何将需要的数据从旧系统迁移到新系统，并确保按照业务要求只迁移有用的、准确的和有效的数据？
2. 在发生迁移失败之前，如何测试是否已正确配置系统，如何测试系统是否在正常工作？
3. 如何确保您的应用程序不会随时间而膨胀，以致需要购买更多主存储、更多数据库许可证和更强大处理器，以保持系统有效运行？
您的数据集成平台将是您的妙方。
首先，您需要准确定义对于从遗留应用程序迁移到新应用程序十分重要的数据。借助数据集成平台，您可以识别旧数据和新数据结构并快速建立至新系统的映射。您可以持续使用这些映射，因为您可能要将数据快速移进或移出系统。
其次，您需要测试和配置应用程序。借助数据集成平台，您可以只选择最相关的业务数据，以快速复制和刷新符合您需求的特定生产数据。与创建一个完整系统/数据库备份相比，此方法大大减少了需要的时间、精力和磁盘空间。
最后，在完全建立和运行应用程序之后，您需要将非活动数据从新应用程序迁移至安全存档，从而在存储、数据库许可证和性能方面保持任务关键应用程序的稳定状态。借助数据集成平台，您可以简便地标识和移动非活动数据，使之以联机或脱机方式长期保留，您也可以随时访问已存档数据。

9、新的数据集成方法帮助企业更高效地运营

 随着企业日渐将数据管理视为业务问题，而不再仅仅是 IT 方面的考虑，将多个工具、技能集和供应商的复杂度降至最低对于工作效率的提高变得尤为关键。许多IT 机构都需要了解这重要的一课。它们尝试着处理多个数据集成项目，然而，对于每个项目所采用的方法却仍然建立在“特殊”的基础上。由于每个项目采用不同的工具和方法，并且无法充分利用过去项目中形成和吸取的教训，因此往往只能以成本高、复杂、冗余和不可靠收场。
数据集成平台通过提高工作效率，帮助 IT 机构更为高效地运营。平台使 IT 不必在每个项目上做重复工作。IT 而是可以在所有项目中共享方法、技术和资产，例如逻辑和元数据。
当您在平台上标准化数据集成实践，然后创建集成能力中心（Integration Competency Center，简称 ICC）或卓越中心时，您可以在集成应用程序和数据接口的开发时间与成本以及维护成本方面获得极大节省。
数据集成还涉及许多不同角色 － 从数据管理员和业务分析师到数据架构师和 IT 开发人员 － 各司其职并且各尽所能。IT 部门和业务部门需要协同工作，以便以更为快速和实惠的方式应对不断变化的业务需求。
统一的数据集成平台让 IT 部门和业务部门可以更加有效地协作。平台提供界面和使用感受一致的工具集，使工具集中各部分能够在多个项目中无缝配合使用。这些工具专为各项功能定制，因此各岗位人员都能专注于他们各自的专长领域，并更为迅速地提高自身技能。参与数据集成的各人员只需花费较少时间了解平台，从而可以将更多时间投入本职工作中。

10、 新的数据集成方法帮助提升技术价值

在当前经济环境下，每项技术投资都面临着严格的审核。IT 机构需要充分利用现有技术。借助数据集成平台，IT 机构可以继续使用遗留的系统和应用程序，规避 “淘汰和更换”所带来的浪费和风险。
此外，数据集成平台让 IT 团队可以在项目间重复使用资产，从而减少 TCO 以及培训人员和开发技能集的支出。在多个项目中采用相同的流程和方法使企业可以从小项目入手 － 例如单个数据仓库项目 － 然后根据需要轻松扩大范围。首先，IT 只需采用当前项目必需的特定数据集成工具。然后，在出现新项目时，IT 利用平台的公用引擎、用户界面和元数据以及准备就绪、训练有素的用户，可以经济高效地快速接纳这些新项目。

11、 理想的数据集成平台

第 1 步：访问  大多数机构的数据存储在数千个位置，不只限于企业内部，还存放在防火墙外的业务合作伙伴或 SaaS 供应商的“云”中。无论何种来源或结构，所有数据都必须可以接受访问。必须从隐秘的大型主机系统、关系数据库、应用程序、XML、消息甚至从电子数据表之类的文档中提取数据。
第 2 步：发现 数据源 － 特别是记录不详尽或来源未知 － 必须探查才能了解其内容和结构。需要推断数据中隐含的模式和规则。必须标记潜在的数据质量问题。
第 3 步：清洗  必须清洗数据以确保其质量、准确性和完整性。必须解决错误或疏漏问题。必须强制执行数据标准，并且对值进行验证。必须删除重复的数据条目。
第 4 步：集成  要跨越多个系统保持一致的数据视图，必须集成并转换数据， 以便协调不同系统在定义各种数据元素并使之结构化的方式上存在的差异。 例如，对于“客户盈利”，营销系统和财务系统可能具有完全不同的业务定义和数据格式，这些差异必须得到解决。
第 5 步：交付 必须以适当的格式、在适当的时间将适当的数据交付给所有需要数据的应用程序和用户。交付数据的范围涵盖从支持实时业务运营的单个数据元素或记录到用于趋势分析和企业报告的数百万个记录。必须确保数据的高可用性和交付安全性。
此外，数据集成平台还必须：
审计、管理和监控   数据管理员和 IT 管理员需要协作进行审计、管理和监控数据。不断地对关键指标（例如数据质量）进行衡量，随着时间的推移这些指标会得到有目共睹的稳步提高。这是为了跟踪关键数据属性的进度，并标记任何新问题，以便在将数据传回数据集成生命周期之后，可以解决这些问题并不断改进。
定义、设计和开发  业务分析师、数据架构师和 IT 开发人员需要一套功能强大的工具来帮助他们在定义、设计和开发数据集成规则与流程上展开合作。数据集成平台应包括一套常用的集成工具，以确保所有人员一起有效工作。实现任何数据集成项目
数据集成平台必须足够可靠、灵活和可扩展，以处理任何一类型的数据集成项目，其中包括：
数据仓库 ?
数据迁移 ?
测试数据管理和存档 ?
数据整合 ?
主数据管理 ?
数据同步 ?
B2B Data Exchange ?
从单个部门的数据仓库项目到全局数据迁移项目，您的 IT 机构可以一次性展开许多类型的数据集成项目。您的团队需要能够从小规模的一个项目类型入手，然后在接下来的项目中重复运用相同的技术和资产 － 通过共享元数据实现。
数据集成平台需要能够处理分析数据集成（报告和分析），还要能够处理运营数据集成（与运营执行相关的业务流程）。
以任何周期提供数据
对于数据集成，存在跨度很广的一系列时间范围和周期要求，这取决于应用程序和使用案例。某些项目要求按月或按周集成数据；而另外一些项目需要按秒提供集成的数据。IT 机构需要能够灵活更改周期要求，而不必重新构建整个基础结构。
如图 5 所示，理想的数据集成平台必须在整个周期范围内提供支持、根据应用程序或用户需要随时提供可信任的数据 － 无论以实时、批量还是变更数据捕获 (CDC)的方式。
 
统一
单个的统一数据集成平台可大大简化 IT 团队的工作。当您具备扩展型企业（从单一供应商发展成）所需的所有数据集成能力时，您通过基于角色的协作、共享元数据和单一的统一运行时引擎，最大限度地提高了工作效率。
基于角色的协作
数据集成项目包括充当多个角色的 IT 和业务人员。他们都肩负着有待完成、差别很大的任务，可以提供不同的技能。每个角色都需要一套特别为其设计的不同工具。同时，项目团队成员必须精诚合作、共同承担工作和任务，以提高跨团队的工作效率并确保 IT 和业务部门的协调。
如图 6 所示，理想的数据集成平台提供角色专用的工具，这些工具专门针对每人的技能和任务而设计。这些角色专用的工具拥有一致的界面。这些工具拥有相同的界面和使用感受，并且相互集成。因此，它们易学易用。通过跨越不同数据集成项目重复使用资产，团队成员能够快速启动运行并保持高效。 
 

共享元数据
数据集成平台必须提供共享的元数据。平台内的每个工具必须能够访问有关数据存储位置的元数据以及与其关联的业务规则和逻辑。借助共享的元数据，大家可以共同处理同一件事。分析师和开发人员可以处理不同类型的元数据或者用不同方式查看相同的元数据，并仍然保持有效协作。元数据保持一致，并且每个用户均能轻松查看潜在的更改会带来的影响。
统一的运行时引擎
数据集成平台的关键是单个的运行时引擎。组成平台的各个单独的产品应全都在简化实施、管理和维护的相同引擎上运行。单个引擎确保可以更为方便地升级多个版本。平台必须为企业级部署而设计，具备可靠的可扩展性、可用性和安全性，这样您可以在该平台上放心开展业务。
开放
开放、中立的数据集成平台旨在能够在您当前的 IT 环境中兼容一切 － 您的硬件、软件、技术标准，以及未来您要添加的任何内容。开放的平台能保护您的企业免受有关供应商瓶颈的风险。
访问任何来源的数据
大多数机构以数百种不同格式来存储数据：企业应用程序、数据库、平面文件、消息队列、电子数据表和其它文档。如图 7 所示，数据集成平台必须处理任何数据类型或格式，包括任何来源的结构化和非结构化数据和所有主数据类型，例如客户数据、产品数据和财务数据。 
 

越来越多的数据迁移要跨越公司防火墙和“移入云”。随着更多公司依赖人力资源应用程序和 CRM 应用程序的 SaaS 提供商，云计算变得更为主流。数据集成平台必须能够访问驻留在企业外部的数据。这包括来自多个业务实体的数据和分布在许多不同地理位置和国家/地区的数据。
降低风险
IT 格局正在改变。这导致不确定性。IT 机构需要采用策略来降低这种变化带来的风险。您需要一个数据集成平台，它支持从操作系统到数据库的当前所有技术标准。它必须是开放式的，确保能够与现有或将来可能配置的一切内容兼容。这包括在您的企业与“云”中或合作伙伴的全部各种应用程序和数据源。
经济
经济的数据集成平台能够带来尽可能低的总拥有成本 (TCO) 和最快最高的投资回报 (ROI)。在当前严峻的经济环境下，现在和将来的每笔技术投资都要接受严格审查，评估其帮助 IT 机构和业务的能力，因此这些因素目前显得特别重要：
降低成本 ?
更为高效地运营 ?
快速产生价值 ?
更低的总拥有成本
数据集成平台必须提供易用的工具和可靠的可扩展能力与性能，以缩减前期费用、削减持续的维护和管理成本并快速产生价值。企业可以部署用于特定数据集成项目的平台，然后对平台进行扩展，用其解决其它项目，而不必在其它工具或培训上破费。简而言之，数据集成平台能让您的 IT 机构事半功倍。
更快的投资回报
在数据集成平台中获得快速的投资回报取决于您能否迅速行动并投入使用。您需要增加 IT 资源。
了解 Informatica 的开发人员比了解市场上其它任何数据集成软件的开发人员多三倍 以上。因此，寻找熟练且实惠的 Informatica 资源来帮助您完成项目会比较容易。 Informatica 技术网络通过在线协作社区为这些开发人员提供支持，在线协作社区提供有在线论坛，用于社区成员和 Informatica 之间的互动性信息交流、资源共享和公开反馈。这是一个非常活跃的网络，拥有超过 46,000 名遍布世界各地的成员。加快投资回报的另一个方法是创建集成能力中心，以在整个企业范围内支持更多集成方案。ICC 是一个共享的 IT 服务，旨在提供人员、流程和技术来支持整个企业的各类集成方案。