行业数据中心由三个平台组成:一是数据交换平台;二是数据加工存储平台;三是数据分析平台。本文主要研究如何建设省级数据交换平台。
数据交换平台服务体系结构
数据交换平台服务体系是行业统一的、可扩展的数据交换及服务共享平台,满足国家局、省级公司、工商企业三级数据交换和服务共享,以及各级单位应用系统间的数据交换和信息共享需求。
数据交换平台服务体系包含国家局交换服务中心和省级公司交换平台两级,两级交换平台以行业内联网为物理传输通道,通过同步和异步两种传输方式实现国家局、省级公司和工商企业的三级数据交换。
数据交换平台服务体系纵向通过异步传输通道,实现国家局、省级公司和工商企业数据的非实时交换。横向通过同步传输通道实现业务系统间信息集成、互联互通。
省级数据交换平台总体架构
省级数据交换平台的任务是支撑信息集成和整合,完成本省各业务系统和数据中心之间的数据交换和数据采集,以满足业务管理需求和领导决策需要,主要包括数据集成、应用集成、流程集成以及协作集成。如图1所示:

数据的集成。数据的集成主要是在各应用系统中分享信息。各应用系统的数据库中提供一个接口,进行数据的导入与导出,实现相互间的数据交换。由于各应用系统间的接口繁多,不易管理,设计与开发人员需要知道数据库结构以及信息流动的方式。因此,必须建立以企业服务为基础的总线型的数据集成交换平台。通过该平台实现数据交换、数据抽取、数据响应、数据共享、模式转换等目标。
应用的集成。将应用作为信息交换、构建的独立组成单元,同时将应用作为架设在中间件上的一个单元,可以进行双向信息交换,有利于对应用集成的总体管理与控制。应用的集成包括:消息代理、对象请求代理、信息路由。
流程的集成。应充分考虑各个应用系统开发应用程序接口,以及在开发过程中使用的应用软件包,并提供符合国家标准、国际标准的标准接口。自动实现系统之间业务流程的集成。流程的集成提高了对端到端流程的把握能力和对流程变化的适应性,主要包括流程建模、与资源结合和流程实施,无需中断当前流程即可实时改动。
协同的集成。协同的集成一方面体现企业与企业之间的集成,另一方面体现企业门户的集成,将各应用系统、数据库等资源进行整合,形成统一的门户页面展示给客户,从而方便用户对系统的访问。另外,门户系统实现面向操作员和外部应用系统的统一安全管理,保证系统不被非法访问者侵入,可以支持更大范围的、跨越企业的信息系统集成。
数据交换平台设计
为了保证数据交换的高效性、开放性和可扩展性,数据交换平台在设计之初重点考虑两方面因素:一方面,各省级公司及市级公司内部已有多种信息系统,各信息系统之间需要进行信息共享。另一方面,省级公司与市级公司之间、省级公司与国家局之间也需要信息共享。见图2:

省级公司数据交换平台。由于省级公司内部也建立了相应的应用系统,如财务系统、办公自动化系统、查询系统、专卖管理系统等,一方面,系统之间本身存在信息交换问题,另一方面,要与市级公司乃至国家局数据中心进行数据交换。因此,要在省局各应用系统基础上构建统一的数据交换平台,以达到以下目标:搭建数据交换环境,提供多种访问方法,保障省局内各应用系统间的数据交换;创建、组织、处理并进一步规范、汇总市级公司提供的数据,做好数据传递、辅助决策的准备。
市级公司数据交换平台。由于各市级公司已经建立了营销、客户关系管理、专卖管理、订单供货、办公自动化等基础业务系统,各系统对同一数据元素的描述各不相同,而且各系统内的数据元素还需要相互引用,因此,首先要在市级公司的应用系统之上构建统一的数据交换平台,以达到以下目标:满足各种数据库访问、存取的环境,使各应用系统能够简单、高效地获得所需数据;对数据进行必要的加工,进一步统一、简化数据,作好数据向省级公司乃至国家局的传递准备。
省、市级公司数据交换平台信息共享。由于在省级公司及市级公司两个层面分别建立了各自的数据交换平台,屏蔽了各自内部复杂的应用环境。通过这两个平台间的数据交换,使得市级公司与省级公司、省级公司与国家局之间的信息共享简单而透明。因此,数据在平台之间的交换主要考虑两个方面:数据的安全、完整性;数据响应满足不同应用系统的要求。
数据交换平台的构成
数据交换平台的主要功能是对数据进行组合或集成,最终转换成企业需要的数据。为了面对各种多变、复杂的情况,实现数据交换平台所应具备的特性,需要将数据交换平台划分为三个层面(基础层、整合层、存取层)的建设,通过各层面间相互协作,实现数据交换平台的运转。如图3:

基础层。其主要功能是无缝地动态接入各类数据资源。使数据交换平台能够实时地访问分布在各类业务系统中的数据。它不仅需要接入各种主流数据库的数据,而且还需支持非结构化数据的访问和管理。
整合层。其主要功能是提供信息整合所需的各类功能。包括:存储、查询、邦联、缓存、转换、复制、发布、搜索等八大功能。
存取层。数据交换平台的最顶层是数据存取层。通过基础层和整合层两层的处理,各类异构、分布的信息被有效屏蔽。针对丰富的服务和数据,提供基于标准的编程模型和查询语言,如:数据库查询语言、可扩展标记语言、在线应用服务、搜寻应用程序接口等。
数据集成交换的技术实现
由于各个层面(市、省级公司各自内部,市级公司与省级公司之间)以及各种应用对数据需求的频率、范围各不相同,需要合理、灵活地运用数据交换平台提供的各种功能,满足数据交换需求。
市级公司业务应用与操作数据存储区之间的数据交换。首先,对于数据量较小的、全局领域的公共信息(如客户资料信息等),在转换、清洗的基础之上,先采用邦联等方法,将其映射到数据交换平台中的逻辑数据库中,再通过批量复制,将其输送到市级公司的操作数据存储区中。
其次,对于数据量较大但实时性要求不高的业务数据(如销售数据),可以定时地、有计划地将其转换、整合,并存储在数据交换平台中,再通过批量复制,将其存储到市级公司的操作数据存储区中。
省、市级公司业务应用之间内部数据交换。对于省、市级公司内部的各种业务应用之间,可以采用多种数据交换方式,如:数据生产者将信息提交到数据交换平台的逻辑数据库中,再通过数据交换平台的同步、异步复制方法,将信息送到数据消费者手中;数据生产者将信息提交到数据交换平台的逻辑数据库中,在数据消费者需要使用时取得所需的信息;通过邦联的方法,将数据生产者产生的信息映射到数据交换平台的逻辑数据库中,再由数据交换平台封装成各种数据服务。
省、市级公司操作数据存储区之间的数据交换。建立市级公司操作数据存储区与省级公司操作数据存储区之间的信息通道,通过数据交换平台,采用同步或异步复制的方法,将数据输送到省级公司操作数据存储区中。同时,数据到达省级公司操作数据存储区后,将数据作进一步加工,并将其装载到数据库中。