客户案例|每天核验数十亿美元交易,这家非洲最大交易所如何守住100%结算准确率?

客户案例|每天核验数十亿美元交易,这家非洲最大交易所如何守住100%结算准确率?
客户案例|每天核验数十亿美元交易,这家非洲最大交易所如何守住100%结算准确率?

摘要

客户案例|每天核验数十亿美元交易,这家非洲最大交易所如何守住100%结算准确率?

约翰内斯堡证券交易所(JSE)是非洲最大、按市值位列全球前 20 的证券交易所。在它背后,运行着 180 多个异构数据源、120 多个必须协同的应用系统,每天要在盘中持续计算交易者头寸,以保证日终结算——涉及金额随时可能达到数十亿美元。

 

过去,靠传统 ETL 批处理,数据对不齐、版本不一致、日终结算承压。如今,JSE 把 Denodo 数据虚拟化平台作为逻辑数据层底座,每月实时处理约 20 亿行数据,沉淀 44 个规范模型作为单一事实来源;即使在因疫情引发市场极端波动期间,交易后结算仍保持 100% 准确。

 

业务需求

 

过去二十年中,JSE 先后于 2001 年收购南非期货交易所(SAFEX),并于 2009 年收购南非债券交易所(BESA),因此承接了由众多遗留系统组成的 IT 环境。

 

JSE 的业务覆盖广泛的资本市场,因此其日常运营涉及大量核心业务系统。JSE IT 企业集成与软件质量保证主管 Chester Enslin 表示:“JSE 与其他交易所的不同之处在于,我们还在端到端服务中提供交易后职能,由各资本市场执行的交易也会进行集中结算。”通常,交易所的交易后和抵押品管理工作会交由其他机构负责,由这些机构计算特定交易者的净头寸和风险。相关金额可能很快达到数十亿美元。

 

Chester 补充道:“作为一家机构,我们必须在全天持续计算交易者的头寸,以确保在日终能够保证结算。否则,可能会出现交易者无法付款的情况,其后果之严重可想而知。”

 

JSE 的数据环境交织着 180 多个异构数据源。例如,Millennium IT 用于资本市场交易,MTS 用于政府债券交易,RTC 则用于衍生品市场的实时清算、结算和风险管理。120 多个不同应用程序必须协调无误地运行,才能确保准确结算。其中许多应用程序的数据量较小,但复杂度较高,因此数据集成是首要任务。

 

为了满足不同职能的需求,JSE 必须从关系数据库、平面文件和 API 等各种异构数据系统中获取并集成数据。使用传统的批处理型提取、转换和加载(ETL)流程既繁琐又低效。此外,不同系统中存在不同版本的数据实体,导致用户对数据真实性产生困惑和怀疑。在这一高速交易环境中,必须始终保持 100% 的准确性,因此 JSE 不再局限于传统 ETL 和批处理数据集成解决方案。

 

Denodo 如何成为 JSE 的”逻辑数据层”

 

为了整合复杂的数据环境并实时聚合数据,JSE 实施了 Denodo 平台。该平台是基于数据虚拟化构建的数据集成与数据管理解决方案,用于建立逻辑数据层。JSE 的数据源种类广泛,包括分布在混合环境中的结构化和非结构化数据源,因此使用 Denodo 提供的众多开箱即用型适配器连接这些数据源。

 

从这些系统获取的所有相关信息都会汇集到 Denodo 平台的基础视图中。JSE 在这些数据源之上构建了 1,700 多个基础视图,并通过转换规则处理这些视图,以生成派生视图和接口视图。在撰写本案例研究时,JSE 约有 2,200 个派生视图和 550 个接口视图,全部基于Denodo 平台构建。所有视图最终整合为 44 个规范模型,作为单一事实来源向机构其他部门提供信息。其中一个提供金融工具信息的规范模型连接了 45 个数据源。该数据集成层每月处理约 20 亿行数据。

 

自助式分析在 JSE 也发挥着重要作用。用户可以登录信息门户并查询数据,而不会干扰源系统的运行。

 

客户案例|每天核验数十亿美元交易,这家非洲最大交易所如何守住100%结算准确率?

图1:JSE 的现代数据架构以 Denodo 平台作为逻辑数据层。该数据层聚合来自异构源系统的不同类型数据,并将集成后的数据实时提供给使用方应用程序。Denodo 平台在 JSE 每月处理约 20亿行数据

 

三个可被量化的改变

重点

减少数据集成工作

通过使用 Denodo 平台,JSE 现在可以更轻松且以更低成本集成数据系统并执行测试。数据集成也变得更简单、更可靠。

重点

提供可靠的实时数据

实施 Denodo 平台后,JSE 消除了对数据的错误解读,并减少了重复。该平台为交易所构建可靠、可信市场基础设施的工作提供了支持。截至目前,即使经历疫情等引发市场极端波动的重大事件,JSE 的市场结算仍始终保持 100% 的准确性。建立单一版本的源数据,有助于避免派生数据不准确所带来的问题,此前错误计算和错误收盘余额十分常见。

重点

提高业务敏捷性

数据虚拟化实现了快速数据集成。凭借更强的控制和版本管理能力,JSE 能够同时运行多个项目。借助数据虚拟化,可避免源系统的物理变更影响数据使用方系统,反之亦然。

“

Denodo 的数据虚拟化层使我们能够满足业务对实时数据的需求。实施Denodo 平台后,我们得以始终为各项职能提供 100% 准确的数据,尤其是交易后结算。

 

——Chester Enslin

JSE IT 企业集成与软件质量保证主管

评论