数据交换沟通无阻碍——数据库实时交换技术
从网站建设到定制行业解决方案,为提供成都做网站、网站制作服务体系,各种行业企业客户提供网站建设解决方案,助力业务快速发展。创新互联建站将不断加快创新步伐,提供优质的建站服务。
随着企业信息化程度的不断提高,数据交换的需求也越来越迫切。不同系统之间的数据交换是一项重要的任务,尤其是在企业内部不同部门之间的数据交互,确保了企业各部门之间的无缝沟通和信息共享。在过去,数据交换一般通过文件传输或者数据导入导出的方式进行,但是这种方式存在很多缺陷,如频繁性、复杂性、不稳定性等。为了解决这些问题,人们开始研究和探索新的数据交换方式——数据库实时交换技术。
数据库实时交换技术通过轮询的方式实现了两个或多个数据库之间的实时数据交换。与传统的数据交换相比,数据库实时交换技术具有更高的效率和更好的稳定性,极大的提高了数据的传输速度和数据的更新频率。因此在企业的信息化建设中,数据库实时交换技术得到广泛的应用。
实时交换技术的实现需要依靠一些成熟的技术,如数据同步技术、数据抓取技术、数据转换技术等。数据同步技术是数据库实时交换技术的核心技术之一,在实现数据库间实时交换时,必须要熟练掌握数据同步技术。数据同步技术可以通过设置时间戳和触发器等方法实现数据的实时同步。数据抓取技术是指在实时交换的过程中,数据的采集和提取,并对采集和提取的数据进行存储和处理,使得能够在各部分间快速进行数据交换。数据转换技术是将不同数据库中格式与结构不同的数据进行转换,并对其进行整合,以便于不同部门进行数据分析、数据统计和数据挖掘。
在实际应用中,数据库实时交互技术的实现需要注意以下几点:之一,在进行数据库实时交互前,需要先明确各个数据库之间的数据交换需求和数据元,而且交流需求必须是双向的,不能出现某个部门有数据需要交流,另一个部门却不愿意公开数据。第二,在实现数据库实时交换技术时需要注意保护数据的安全和保密性。对于涉密和个人隐私数据,必须要设置严格的权限和访问控制。第三,运用适当的数据同步工具和软件来确保双方数据一致性,并在实时交换过程中及时监控数据的更新状况,避免产生数据误差。
数据库实时交换技术是企业信息化建设中的重要一环,它使得企业内部各部门间的数据交换变得更加快捷和便利,符合企业发展的要求。只要在实践中注意以上几点,再适当的发扬创新精神,相信数据交换沟通将实现无阻碍。
相关问题拓展阅读:
针对现有的防火墙、网闸和应用网关等各种隔离与交换技术无法适应多系统交互、应用复杂、高实时性、大流量的要求,本文提出一种新的解决办法: 采用松耦合结构的“内网数据交换平台+网闸+外网数据交换平台”数据安全交换系统,以满足内部网络隔离与数据交换的需求。
信息技术的广泛应用及信息资源共享和信息安全问题之间的矛盾日益突出。典型的现实情况是,一个部门从自身安全角度考虑,把内部网络与互联网物理断开,但与此野弊同时,从开展业务的需求出发,与其他部门的内部网络连接越来越多,于是,有的部门将内部网络划分为不同安全等级的域,即把内部网络进一步划分为内网和外网,将重要数据和系统置于内网,仅源游供内部人员授权访问,将与其他部门联网的系统置于外网,形成一种“外网受理、内网处理”的格局,有效保护核心系统和汇总的重要信息的安全,符合国家等级保护的原则。不过,这并不意味着问题就解决了,随之而来的困难是,原来同处一个网络域的信息系统之间有着千丝万缕的联系,系统交互的数据类型复杂(包括数据报文、数据文件、影像文件和数据库表等)、实时性要求高、时延要求低,需要交换的数据量大,而且是不同等级安全域的数据交换。从目前的情况看,能满足这一要求的解决方案,即内外网间安全隔离和数据交换系统鲜有先例。
综观现有的防火墙、网闸和应用网关等各种网络安全隔离与交换技术,尽管都可以在一定程度上解决网络安全隔离与数据交换的问题,但都不同程度地存在着局限性,特别是不能适应内部网络隔离与交换要求的多系统交互、应用复杂、高实时性、大流量的要求。为此,本文研究提出一种新型的网络安全隔离与数据交换平台架构,它采用松耦合结构的“内网数据交换平台+网闸+外网数据交换平台” 数据安全交换系统,能够有效解决上述问题,满足内部网雹脊销络隔离与数据交换的需求。
新型数据安全交换系统
新的数据安全交换平台架构如附图所示。在该系统中,网闸负责在网络层进行内外网之间的安全隔离和访问控制; 内外网数据交换平台负责在应用层代理内外网之间的数据交换以及数据交换的访问控制与安全审计。网闸、内外网数据交换平台可综合采用并行处理、多机热备和负载均衡等技术,以加强数据交换的吞吐能力,保证数据交换的可靠性、可用性和扩展性,满足当前和未来业务发展对数据交换性能的需求。
对此架构简单描述如下:
1. 内外网数据交换平台通过专门的应用软件实现数据交换,可运行在各种开放的操作系统(如IBM RISC/6000或其他使用Unix操作系统)的服务器上。它集成了大型数据库系统,采用消息队列中间件作为主要通信方式(BEA Message Q,IBM MQ),同时支持BEA Tuxedo和IBM CICS中间件,支持TCP、SNA、X.25等通信协议,可为内外网交互的各个系统提供统一的格式转换、统一的交换路由、统一的事务管理。交换平台通过Win98端进行管理,具有友好的用户界面。
2. 交换平台采用J2EE架构,提供统一的报文、二进制文件、XML报文、邮件等多种通信接口,内置报文交换、文件交换、数据库交换等多种交换方式。交换平台采用模块化设计,模块之间具有非常弱的偶合性,在功能、性能和安全等方面均具有良好的灵活性和扩展性,能够不断适应信息化发展过程中新的业务及其安全需求。交换平台由业务接入模块、交换引擎模块、通信适配模块、监控管理模块和安全认证模块组成。
3.与一般常见的安全应用网关不同,本方案在安全隔离网闸的两端分别部署了配置基本一致的内网和外网数据交换平台。不仅为网闸提供单一私有通信协议,并为内外网交互的系统提供统一模式的规范接口,而且分别在应用层负责本端数据外流的合法性检查,即在数据流出内网和外网安全域之前,进行数据外流的合法性检查,在体系结构上保证了数据交换的安全。
4.内外网数据交换平台基于可靠的消息传递机制,实现报文在各个应用系统之间可配置的格式转换,交换路由和事务完整性保证功能。在提供用户可配置方式使用交换平台的同时,也允许用户扩展交换平台,实现客户化的工作。整个交换平台架构从下到上分为四层:
● 网络通信协议层,提供系统更底层的通信保证。
● 消息中间件层,提供系统可靠的消息传递机制。
● 交换中间件层,提供格式转换、交换路由、事务完整性保证等功能。
● 客户化层,提供用户扩展接口,实现用户客户化要求。
5. 交换平台应用系统可以分为三层体系,即平台核心层、前置与通信层和外部应用层。
平台核心层是指交换平台所提供的核心服务和核心API。其中核心服务包括交换主控、格式转换、路由转发、事务管理、任务管理、系统监控、通信服务、系统管理等。核心API是提供给平台使用者在对应用前置和通信服务进行客户化时调用核心服务的接口。本层的服务和API都由系统提供,用户无需开发即可直接调用。
前置通信层是指与外部应用进行通信,并调用核心服务或者核心API完成交换转发的中间层。本层的应用需要客户根据不同的应用要求和通信协议进行配置和客户化开发,平台核心层提供了强大而完备的核心服务和API以支持并更大限度地减少前置通信层的客户化工作。
外部应用层是指独立于交换平台的客户应用系统,客户通过定义交换平台对这些外部应用调用的次序,实现报文在这些应用之间的流转,从而实现指定的交换流程。本层的应用完全由客户提供,并通过前置通信层接入交换平台。
交换平台三层之间的关系是平台核心层提供核心服务和核心API以支持前置通信层的开发,前置通信层调用核心服务和核心API实现交换在各外部应用之间的转发,并负责和外部应用层之间的通信; 外部应用层提供真正实现交换的客户应用系统,并通过前置通信层实现交换报文的转发。外部应用层通过前置通信层接入核心,并不与平台核心层直接发生连接。
安全控制机制
内外网数据交换的安全控制机制主要包括通信主体的身份控制、通信过程的安全控制、通信数据的合法性和安全性控制等三方面。本系统在网络、应用和数据等三个层次上建立内外网数据交换的安全信任体系,从而实现内外网在OSI七层网络模型上的安全访问控制。
平台还提供字符串运算、逻辑运算、提取报文域等功能,允许外网数据交换平台通过网闸与内网进行网络通信,其中包括执行应用层通信的内容过滤,只允许内外网数据交换平台之间的合法通信报文穿越,进行网络物理隔离等措施,有效防范各类网络入侵和病毒攻击。
1. 网络层的安全控制
网闸负责进行内外网安全隔离,只允许内外网数据交换平台通过专有单一协议进行直接跨网通信,而对其他非授权通信一律阻断,以防范从外网对内网的各类非法网络入侵和攻击,包括漏洞攻击、DDoS攻击和带宽攻击等。具体实现方式包括:
会话终止: 在外网的计算机通过网闸与内网建立连接时,网闸的外部网络接口会通过模拟应用的服务器端,终止网络之间的会话连接,这样可确保在不可信和可信网络之间没有一条激活的会话连接;
协议安全检查: 对来自连接的数据包进行基于内部RFC的协议分析,也可以对某些协议进行动态分析,检查是否有攻击成分;
数据抽取和内部封装: 在协议检查同时,将协议分析后的数据包中的数据提取出来,然后将数据和安全协议一起通过特定的格式压缩、数据封装转化成网闸另一端能接受的格式;
基于安全策略的决策审查: 安全策略决策是运行在内部服务器,由系统管理员定义。它分析外部来的数据,主要是源地址、目的地址以及协议等信息,并且和规则库进行匹配,看是否允许通过或丢弃;
编码与解码: 对静态的数据块进行编码,编码是相对复杂而且基于随机关键字的。一旦编码,则打乱了数据或命令的原有格式,使数据中可能携带的可执行恶意代码失效,阻止恶意程序执行。一旦数据经过了内容检测且确认是安全的,它就被解码,准备发送到内部网络; 会话生成内部服务器模拟应用的客户端,将经检测过的数据发送到内部网络,和内部网络上真正的应用服务器建立一个新的连接,接着生成符合RFC协议的新通信包。
同时,通过外部集成入侵检测系统IDS,对内外网之间的网络通信进行安全审计,及时发现和追踪各类非法网络通信行为; 通过外部集成的负载均衡设备,为访问用户提供虚拟IP地址,保证物理服务器对用户不可见,避免非法用户对真实服务器的直接访问,避免对真实服务器的可能操作动作。
2. 应用层的安全保证
内外网数据交换平台通过下述方式实现应用层的安全控制:
协议与格式屏蔽: 内外网之间的任何数据交换都通过两个交换平台,两个交换平台使用内部约定的格式及与网闸适配的单一私有协议,无论在应用还是在网络上都保证了安全;
单项访问控制: 交换平台内部的路由配置功能能够有效地控制请求的转发,因此可以配置单向路由,即某些系统只允许内网访问外网,不允许外网主动发起对内网数据的请求;
合法性审查: 当内外网应用系统进行单向或双向数据交换时,内外网数据交换平台在本方安全域内,根据发送方应用系统的身份和所发送数据的类别及密级,按照预先定义的数据交换安全策略,对数据交换的主体、内容和方向进行合法性检查,只允许经授权的内外网应用系统之间进行必要的数据交换,且相互验证对方通信报文的合法性;
安全管理: 通过内外网交互系统的注册、端口管理(通信层、中间件层、应用层、人工处理层)和系统监控(对象、流水、自定义消息)等细粒度安全监控管理功能,灵活实现安全控制策略;
双向认证: 内外网应用系统在进行数据交换时,必须与内外网数据交换平台进行双向身份认证。
此外,通过内外网数据交换平台和集成第三方的安全审计系统,在数据交换过程中,将对数据交换的主体、类型、数据类别及密级、日期和结果等相关信息进行安全审计,及时发现和追踪各类非法数据交换行为。
3. 数据层的安全保证
内外网数据交换平台对发送方应用系统数据报文(或文件)中的CA信息进行透明转发,确保接收方应用系统可对数据报文(或文件)的CA信息进行合法性验证。当使用文件交换模式时,数据文件采用统一的文本格式,且在进行文件交换时对文件进行恶意代码过滤。特别是,平台提供字符串运算、逻辑运算、提取报文域等功能,允许外网数据交换平台通过网闸与内网之间的网络通信,其中包括执行应用层通信的内容过滤,只允许内外网数据交换平台之间的合法通信报文穿越,进行网络物理隔离等措施,有效防范各类网络入侵和病毒攻击。
4. 系统本身的安全
数据安全交换系统是内外网隔离的关键,其安全性必须得到保障,具体包括: 为内外网数据交换平台划分独立虚网,并实施严格的访问控制,只对外开放最少的必要的服务,减少对外暴露系统漏洞的可能性,防范漏洞攻击; 内外网数据交换平台采用非X86 CPU和非Windows操作系统的主机平台; 对内外网数据安全交换平台的访问进行严格的身份控制等措施,以防范对内外网数据交换通道的各类非法访问和网络攻击。
数据交换机制
本系统的数据交换机制是基于消息总线的交换,能够实现报文、数据文件、图像、数据库等各种类型实时、批量交换。内外网数据交换平台由消息队列和核心交换处理两大部分构成。核心交换处理可将各个系统有机结合在一起。同时交换平台之间能够相互连接,实现交换平台的互联。
交换过程 交换过程通过交换主控模块实现,所有交换进程发给其他进程的报文都通过交换主控进行集中、分发。对于进入交换平台的每笔交换,交换主控模块会自动赋予一个内部交换流水号,作为此笔交换的惟一标识。此笔交换每次通过交换主控,都会进行交换步骤的累加。对于需要进行报文格式转换和进行交换路由判断的报文,交换主控会自动调用相应的格式管理模块和智能化路由模块进行相应的处理。对进入交换平台的每次交换,交换主控模块都会自动记录交换日志文件,交换日志文件可以作为审计的源数据文件。对于所有应进行冲正的交换,交换主控模块都会记录源报文数据,可以进行将来冲正时进行冲正包的组织。
报文交换 报文的格式转换是之一步。交换平台使用FML(自描述语言)报文作为内部的数据交换标准,能在ISO8583格式、有分隔符格式、无分隔符定长格式、FML格式等4种格式类型之间进行任意的报文格式转换,而且格式转换方式可以由用户进行设置,然后进行智能路由,根据用户设置的路由脚本,进行交换路由的选择和目标端口的定位,指挥报文信息的流转。根据需要,可进行事务冲正管理,通过用户设置,交换平台能进行冲正包的组包和解包,支持多种冲正方式。存储转发(SAF)处理不但支持冲正报文的SAF处理,而且支持通知报文的SAF处理。在前置层可以通过交换控制脚本来实现对于报文的特殊交换处理,可以进行格式转换、存取报文头、数据库操作等多种处理。
数据库交换 交换平台中内置对于用户数据库的操作,用户可以在路由脚本中插入数据库操作语句以达到这一目的。交换平台支持对所有数据库产品的操作,而且数据库产品之间的差别由交换平台进行屏蔽,用户只需要使用标准的SQL语句。
文件传输 交换平台中内置对文件操作的支持,用户可以在路由脚本中插入文件操作语句以实现交换平台内部或者交换平台之间的文件传输。交换平台中支持两种文件操作方式: FTP方式和Message Q方式。另外,还提供了用于文件传输的API函数,可以方便灵活地实现文件传输。
实现数据交换还需要任务管理、消息监控、端口管理、平台函数、用户API调用接口等一些核心功能的支持。
任务管理负责监控所有在系统中运行的任务,包括核心进程、前置进程、通信进程等都处于任务管理的监控下,可使交换平台成为不停机系统。
在交换平台中,用户可以自已定义交换监控的内容和格式,并支持在Windows环境下和终端环境下进行交换的流水监控。
交换平台对端口实现了智能管理,可以自动感知并维护系统各端口状态,并根据端口状态决定对该端口操作的方式。在端口管理的对方应用层中交换平台采用了ECHOTEST机制: 对每一个接入平台的端口,交换平台会根据配置来发送端口测试报文,并根据是否有响应来对该端口的状态进行处理。平台根据端口状态和负载统计数据实现交换拒绝机制。
交换平台含有内置的平台函数,平台函数中的用户函数提供字符串运算、逻辑运算、码制转换、域加解密、提取报文域等功能,用于格式管理、智能化路由、事务管理等,平台函数可以根据用户的实际需求,由用户自行对开发接口进行扩充。
交换平台对一些结构和变量进行系统约定,并且提供一系列的API函数,包括邮箱操作、交换控制、FML报文处理、跟踪调试等各方面的函数,为用户二次开发提供了接口。通过调用这些函数,用户可以比较轻松地进行前置进程的开发,而不用十分了解交换平台的内部运行机制。交换平台提供了开发前置进程的模板程序,而且有大量的开发案例可供参考。
交换平台的设备接口和通信接口是彼此分离的,独特的设备接口方法使得能很容易地在网络上连接一些不同的系统设备,模块化结构也方便了在系统中增加新设备,一个新的简单的应用可以在几周内完成编码、测试并实现。(作者单位: 北京西城经济科学大学)
链接:数据安全交换平台的特点
1.对业务的适应性
该数据安全平台具有满足现有业务方面的能力。对于一种业务,在交换平台上只需增加一个注册,并记录其基本信息、路由信息。如果采用单纯的网闸,必然涉及大量开发(业务中涉及的协议大多需要开发,通常网闸只支持http、ftp等少数几种常用协议,对于MQ之类的应用一般无法通过),导致网闸很难支持如此多的不同种类的应用。
业务之间数据交换内容改变时只需要增加新的数据结构即可,不会影响其他业务,不影响现有结构和工作流程。非常便利。
数据交换的路由发生变化时也只需要调整路由表策略即可。同样不会影响其他业务,不影响现有结构和工作流程。非常便利。
2.数据交换的安全性
内网和外网的安全措施由内外网数据交换平台和网闸共同保证,在业务层面增加安全措施,大大提高了整体的安全性,具体表现在:
数据交换平台只接收注册业务的特定格式,对其他数据包均拒绝,大大减少被攻破的威胁;
将不同业务的特定格式转换为私有数据格式FML,即使被截获,也能保证数据的相对安全;
网闸间的传递通过私有协议xFTP,在保证效率的同时也提高安全性;
交换平台维护统一的路由表,拒绝无关业务之间可能发生的数据访问,提高了跨业务攻击的安全性;
对于现有数字证书进行透明传输,减少了对原有业务系统的影响,同时也不降低原有业务的安全性,从而在整体上提高业务的安全。
3.良好的扩展性
新业务扩容时只需要在交换平台上增加注册新业务即可,具有极大的便利。
对于业务容量的扩大,交换平台可以在负载均衡设备的支持下,通过增加硬件设备实现平滑扩容,而不改变原有架构和工作流程,具有很好的适应性。
另外,该系统还降低了维护工作量和维护难度。无论增加多少业务,均只需要扩充交换平台即可,无论实现多么复杂的数据交换,均只需要调整交换平台的策略即可。部署起来同样非常方便,只需要调整策略,就可以扩展部署。还便于网内跨业务的数据交换。内网业务之间可以通过内网交换平台实现数据交换,而外网业务之间则可以通过外网交换平台实现数据交换。
数据库实时数据交换的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于数据库实时数据交换,「数据交换沟通无阻碍——数据库实时交换技术」,安全的数据隔离与交换系统|安全隔离与信息交换系统的信息别忘了在本站进行查找喔。
香港服务器选创新互联,2H2G首月10元开通。
创新互联(www.cdcxhl.com)互联网服务提供商,拥有超过10年的服务器租用、服务器托管、云服务器、虚拟主机、网站系统开发经验。专业提供云主机、虚拟主机、域名注册、VPS主机、云服务器、香港云服务器、免备案服务器等。
新闻标题:「数据交换沟通无阻碍——数据库实时交换技术」(数据库实时数据交换)
本文地址:http://www.shufengxianlan.com/qtweb/news22/266472.html
网站建设、网络推广公司-创新互联,是专注品牌与效果的网站制作,网络营销seo公司;服务项目有等
声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联