ReiKing数据治理平台

  ● 通用数据访问层可以和各种对应用程序、关系型数据库、及半结构化和非结构化数据的预建连接，实现对应用系统、文件、数据库、XML等数据的读取和写入访问，更大限度的降低数据访问的复杂性和成本。 ● 可靠传输层实现复杂网络环境下的适时、批量、增量等数据的可靠性传递，可以基于传输通道、文件传输等传递方式，提供断点续传可靠性传输、通道管理、智能路由等功能，支持同步和异步的传输调用方式，支持一对一、一对多的数据推拉方式。可靠传输保证异构系统之间的数据可靠传输。 ● 数据服务层实现了异构数据的加工，包括数据交换服务、数据集成服务、数据质量管理服务、统一数据视图服务、数据转换服务等。数据服务可以是多个服务组成的流程。 ● 提供安全可管理的数据服务，数据服务可以被实时和非实时的调用，调用方式可以是事件触发方式、Web Service方式、API调用方式、队列调用方式。其中事件触发方式包括基于菜单的交互触发调度、定时调度、文件触发调度、数据库表字段触发调度、队列绑定调度、服务代理调度、基于流程的调度、基于主题的通讯调度、其他事件触发调度等事件方式。 1、 统一数据字典或代码、统一业务数据 数据管理可视化实现数据标准化及同步。实现异构系统基础数据的规范化和标准化，包括数据字典和代码的统一，支持异构系统基于统一基础数据的业务映射转换；实现异构系统的基础数据的数据一致性，变化基础数据同步到不同的系统中，方便形成业务统一数据视图，全面的了解业务；数据质量管理，发现差错数据，并对异常数据做相应的处理。

如上以主题A的统一数据视图的建设过程为例说明数据视图的处理过程。通过数据管理建立的统一数据视图可以全面的描述能耗数据，形成数据统一标准。 信息系统1为A系统数据库（其中表T11为A系统主数据表，表T12为A系统相应的业务表，表T11的字段信息1是T12的外键，表T12中的关联字段的值为表T11字段信息1的值），信息系统2为B系统数据库（其中，表T21为B系统主数据表，表T22为B系统相应的业务表，表T21的字段信息1是T22的外键，表T22中的关联字段的值为表T21字段信息1的值），两个系统的主数据表T11、表T21都有依据字段，分别保存业务在各自系统中的编码。 数据管理用于实现统一数据数据视图、数据字典、数据质量的处理过程，实现数据转换、数据的合并、数据的拆分、数据的翻译、数据比对等处理，完成代码的统一、主外键一致、数据的比对操作等处理。整合处理记录了数据加工过程中不合规范的数据，供数据质量分析使用，进而更好的优化数据。 字典表/代码表统一表记录了字典表或代码表与各异构系统字典表或代码表之间的映射对应关系，字典表可以作为整合处理转换参考依据。字典表记录了同一信息在不同系统的之间的映射，用于给同一个记录段在不同系统之间的映射翻译提供依据。如同一个地址在信息系统1和信息系统2的编码不相同，地址字典表就可以用于统一地址编码，记录了地址、统一的地址编码、在不同系统中的私有编码等信息。字典表/代码表统一表可以由ReiKing整合服务映射建立，并存储记录异常字典或代码数据，方便审核处理或人工完善。 数据质量记录了不正常的数据和产生的原因，以便更好的分析系统，作为提高数据质量处理优化策略的依据。 统一数据视图记录了业务主题统一数据视图。表T1是业务主题的统一基本信息；表T2是业务主题的统一业务信息表，其中关联字段和表T1关联；表T3、T4是业务的其他信息表，其中关联字段和表T1关联。 主要包括如下功能： 字典表/代码表统一 统一结构 统一数据 完善数据 数据质量管理 差错数据发现 审核流程管理、差错数据审核 数据转换/清洗 业务数据视图统一 数据转换 主外键统一 格式统一 数据双向一致性 2、数据质量管理 数据质量管理包括异常数据的发现、异常数据的审核、异常数据的转换和清洗等。 异常数据的发现根据可视化配置差错数据探测规则，发现并记录差错数据及相应的差错原因。差错规则包括格式匹配问题、内容为空、重复记录、不在范围内、业务逻辑不合理等。异常数据的发现可以在数据加工前进行，也可以在数据加工的过程中进行，还可以在数据加工完成后进行。

如上，ReiKing提供数据质量管理功能，用于实现数据质量规则的定义、数据质量的探测、差错数据的记录及处理、数据质量分析、数据的审核等处理。ReiKing提供工具可视化配置定义数据质量探测规则，包括性、有效性、参照性等规则的定义。 差错规则用于定义差错数据发现逻辑，包括：格式匹配检查、内容为空检查、重复记录检查、范围内检查、表表外键关联检查、逻辑检查、组合检查、自定义检查等 通过Web等方式可视化审核差错数据，可以修改差错数据，审核确认后可以将修改数据传输到源或目标方。 ReiKing提供数据加工和异常数据处理一体化机制。在同一个数据加工服务中，可以可视化配置数据转换加工、异常数据发现、异常数据清洗。既可以仅发现并记录异常数据，也可以边加工边发现并记录异常数据，还可以便加工边发现异常数据后就立即处理的策略。 3、数据服务管理 提供可视化配置的、授权的数据目录和数据服务资源供不同系统通过Web Service、API、事件触发等方式共享使用。提供数据服务的全生命周期的管理，实现对数据服务在配置、部署、运行、共享调用等不同阶段的管理；提供安全授权认证管理，确保共享的数据目录或数据服务是经过授权的、是安全的。