Denodo 平台 功能模块

 

 

 

以下为文字版资料:

 

数据源

关系型数据库
• 通用 (JDBC)
• IBM DB2 8.2, 9, 10, 11 及更高版本;针对 z/OS 的 9, 10,11 版本
• Denodo Virtual DataPort – 8.0, 9
• Apache Derby 10 及更高版本
• Informix 7, 12
• Microsoft SQL Server 2000, 2005, 2008, 2008 R2, 2012,2014, 2016, 2017, 2019, 2025 及更高版本
• MySQL: 4, 5, 8 及更高版本
• Oracle: 8i, 9i, 10g, 11g, 12c, 12c In-Memory, E-Business Suite 12, 18c, 19c, 23ai 及更高版本
• PostgreSQL 11, 12, 13, 14, 15, 16, 17
• Sybase ASE / SAP ASE 12, 15
• MS Access
• Microsoft Dataverse
• 华为 GaussDB

内存数据库
• SAP HANA 1.0, 2.0
• Oracle TimesTen 11g
• Oracle 12c In-Memory

并行数据库与一体机
• Apache Doris
• ClickHouse
• Exasol 71
• Greenplum 4.2
• Vertica 7, 9
• Netezza 4.6, 5.0, 6.0, 7.0 及更高版本
• Oracle Exadata
• ParAccel 8.0.2(通过使用带有 SSL 驱动的 ParAccel 2.5.0.0JDBC3g)
• SybaseIQ
• SQreamDB
• Teradata 12, 13, 14, 15, 16, 17
• Yellowbrick

云数据仓库 / RDBMS (Cloud Data Warehouse / RDBMS)
• 阿里云 ApsaraDB for OceanBase MySQL 版
• 阿里云 ApsaraDB for OceanBase Oracle 版
• 阿里云 ApsaraDB RDS for MySQL
• 阿里云 ApsaraDB RDS for PostgreSQL
• 阿里云 ApsaraDB RDS for Microsoft SQL Server
• 阿里云 ApsaraDB PolarDB for MySQL
• 阿里云 ApsaraDB PolarDB for PostgreSQL
• 阿里云 ApsaraDB AnalyticDB for MySQL
• 阿里云 ApsaraDB AnalyticDB for PostgreSQL
• 阿里云 MaxCompute
• Amazon Redshift
• Amazon Athena
• Amazon Aurora (MySQL 和 PostgreSQL)
• Amazon DynamoDB
• Azure Cosmos DB

• Azure SQL Database
• Azure Synapse SQL (又名 Azure SQL Data Warehouse)
• Delta Lake (Delta Lake)
• Google AlloyDB (Google AlloyDB)
• Google BigQuery (Google BigQuery)
• GCP (Google Cloud Platform) SQL for MySQL; GCP SQL forPostgreSQL (GCP (Google Cloud Platform) SQL for MySQL;GCP SQL for PostgreSQL)
• Google Spanner(包括对 Spanner Data Boost 服务的支持)
• MongoDB Atlas
• Snowflake

大数据
• Hive 0.13.0 (Hive Server 2); 1.1.0 (Hive Server 2); 2.0.0(Hive Server 2); 3.1.2 及更高版本 (Hive Server 3) Cloudera版 Hive 1.1.0; Hortonworks 版 Hive 1.2.1
• Impala 1.2.4., 2.3, 3.x kudu
• Spark SQL 1.5, 1.6, 2.x, 3.x 及更高版本
• PrestoDB
• Trino
• Databricks

NoSQL
• Amazon DocumentDB
• MongoDB
• Cassandra 3.x

多维数据源
• 多维数据库(通用)
• Azure Analysis Services
• SAP BI 3.x 和 BW 7.x
• Mondrian: 3.x
• IBM Cognos TM1
• MS SQL Server Analysis Services
• Essbase

数据湖存储/格式
• S3
• Azure Data Lake Storage / Azure Blob Storage
• Google Cloud Storage
• Parquet / Avro
• Delta / Iceberg
• 华为对象存储服务 (OBS)

Web 服务
• SOAP
• REST (XML, RSS, ATOM, JSON)
• OData v2.0 和 v4.0

平面文件和二进制文件
• CSV,管道分隔,正则表达式解析
• MS Excel xls 97-2003
• MS Excel xlsx 2007 或更高版本
• MS Access
• XML
• JSON

• SAS 文件 (SAS7BDAT)
• 所有文件均可位于本地或远程文件系统中,通过 FTP/SFTP/FTPS 访问,支持明文、压缩和/或加密格式。

索引和非结构化内容
• 将向量数据库与关系型数据源统一查询,同时应用相同的安全性、血缘和语义。
• CMS、文件系统、文本
• Elasticsearch

云、SaaS、Web 数据源
• Adobe Analytics (Adobe Analytics)
• AWS(亚马逊云服务)
• 谷歌分析
• 谷歌表格
• 脸书
• 领英
• 微软 Azure 数据湖
• 微软 Sharepoint
• 微软 Dynamics 365 业务中心 / 客户参与
• Marketo(营销自动化平台)
• ServiceNow(IT 服务管理平台)
• Salesforce(客户关系管理平台)
• 推特
• Workday(人力资源管理平台)
• 通过可配置的 JSON 和 XML 适配器连接更多数据源

Active Directory 作为源或利用其安全性
• 轻量级目录访问协议 v3 (LDAP v3)
• 微软活动目录 2003, 2008

流媒体/消息传递系统
• Kafka
• MQSeries
• SonicMQ
• ActiveMQ
• Tibco 企业消息服务 (EMS)
• 其他兼容 JMS 的服务

语义库
• 通过 SPARQL 端点访问的三元组存储/RDF 语义库

套装应用软件
• 通过 ABAP 核心数据服务 (CDS) 视图实现的原生 SAP 集成
• SAP ERP/ECC(BAPI 接口及表)
• 甲骨文电子商务套件 12
• Siebe(l 希贝尔 CRM)
• SAS 9.4

分层数据库
• Adabas(通过 SOA 网关和 Denodo 的 SOAP 连接器):5, 6用于自定义连接器的 Denodo SDK

 

发布选项

• 通过 JDBC、ODBC 和 ADO.NET 进行基于 SQL 的访问
• Web 服务
    • REST 接口

    • OData 协议
    • 开放 AP(I 又名 Swagger)
    • GraphQL
    • SOAP 协议
• 支持模型上下文协议 (MCP),用于 AI Agent 的受控访
• OAuth, OAuth 2.0 (JWT 令牌)
• SAML 认证
• SSL 加密
• Web 服务安全规范 (WS-Security)
• 用于消息队列的 JMS 监听器
• 用于批处理和轻量级 ETL 的 Denodo 调度器

 

数据市场

编目
• 面向业务用户的无缝数据发现与探索网页界面
• 描述与文档说明
• 可自定义的业务属性,实现更丰富的元数据管理
• 业务分类与标签,具备结果智能排名的智能搜索功能

治理
• 跨越丹诺德(Denodo)及 Tableau、PowerBI 等消费端工具的图形化血缘分析
• 对报表和仪表板的扩展可见性
• 集成式请求管理(访问权限、变更、数据质量问题等)
• 数据集背书、评论及警告等功能
• 使用统计:追踪谁在何时以何种方式使用了哪些数据
• 数据剖析信息

自助服务
• 根据浏览器设置自动匹配界面语言
• 面向非技术用户的“最后一公里”数据准备向导,用于自定义数据集
• 全功能 SQL 终端(Shell),便于执行复杂查询
• 导出至 CSV、Excel 及 Tableau 数据提取文件
• 保存个人查询以便快速访问
• 分享查询或将其发布为新的数据产品

 

性能优化

• 面向分析的智能查询加速
    • 聚合感知摘要
• 集成大规模并行处理(MPP)以实现查询加速和缓存
• 支持 Arrow Flight SQL,实现高性能数据传输
• 支持完全及部分聚合与关联(Join)下推,即使在联邦视图中亦然
• 支持备选数据源
• 为实现优化而进行的实时数据移动
    • 可针对敏感数据限制数据移动的选项
• 基于成本的优化(数据统计、数据源索引、数据源执行模型与参数、网络传输速率)
• 在联邦视图中同样实现选择、投影、关联及分组(Group-by)操作的下推
• 多种关联(Join)策略
• 简化分区联合(分区裁剪)
• 以及更多功能

 

数据物化选项

• 多模式选择性数据物化(即缓存):支持全量、部分、增量或完全刷新;支持基于事件或定时调度;在视图层面进行配置;支持针对 SaaS 数据源的增量查询
• 有向无环图(DAG)缓存管理,自动分析表依赖关系并编排复制任务序列,以实现最优性能
• 支持 AlloyDB for PostgreSQL 及 Amazon Athena
• 支持架构演进且不丢失数据
• 支持 Amazon Aurora MySQL
• Amazon Aurora PostgreSQL
• Amazon Redshift
• Azure SQL
• Azure Synapse SQL(原名 Azure SQL Data Warehouse)
• Clickhouse
• Databricks(支持通过 Apache Arrow 加速下推)
• Exasol
• Google BigQuery
• GCP Cloud SQL for MySQL
• GCP Cloud SQL for PostgreSQL
• Hive 2.0.0; Hive 3.1.2 及更高版本
• IBM DB2 (LUW 的 8, 9, 10, 11 及更高版本;z/OS 的 9, 10, 11版本)
• Impala 2.3; 3.x Kudu
• Microsoft Fabric 数据仓库
• MS SQL Server (2000, 2005, 2008, 2008R2, 2012, 2014,2016, 2017, 2019 及更高版本)
• MySQL 4, 5, 8 及更高版本
• Netezza 6, 7 及更高版本
• Oracle 8i, 9i, 10g, 11g, 12c, 12c In-Memory, 18c, 19c 及更高版本
• Oracle TimesTen 11g
• PostgreSQL 9, 10, 11, 12 及更高版本
• Presto
• SAP HANA 1 和 2
• Snowflake
• Spark SQL 2.x, 3.x 及更高版本 (Spark SQL 2.x, 3.x, andhigher)
• Teradata 12, 13, 14, 15, 16 和 17
• Sybase
• Trino 4xx
• Vertica 7 和 9
• Yellowbrick
• 针对其他带有 JDBC 驱动程序的数据库的可配置“通用”适配器

 

数据管道

• 远程表(通过 UI 或存储过程创建)
• Denodo Scheduler
• VQL 存储过程

 

内嵌 MPP

• 基于 Presto 的 MPP 查询引擎,利用 Velox C++ 执行框架实现对数据湖存储的高性能访问
• 对象存储(S3, ABFS, GFS, HDFS 等)的图形化自省
• 支持 Parquet, Delta 和 Iceberg
• 新的高级优化技术,可将数据湖内容与任何其他数据源进行联邦化

 

第三方 MPP 选项

• Impala
• Presto
• Spark 1.5, 1.6, 2.x
• Databricks 2.x

 

数据治理

• 数据源刷新、变更影响分析、依赖树、完整数据血缘
• Denodo Governance Bridge:与 IBM InformationGovernance Catalog 集成
• 发布元数据和血缘信息到 Informatica EDC、Collibra 等数据治理工具的 API

 

安全

传输中的数据 – 安全通道
• 使用 SSL/TLS
• 客户端到 Denodo 以及 Denodo 到数据源
• 适用于所有协议(JDBC, ODBC, ADO.NET 和 WS)

静态数据安全存储
• 缓存:第三方数据库。可以利用其自身的加密机制
• 交换到磁盘:序列化临时存储在可由操作系统加密的可配置文件夹中

加密/解密
• 支持文件和 Web 服务的自定义解密
• 与 RDBMs 加密的透明集成
• 加密元数据的导入/导出基于用户和角色,包括与 AD/LDAP 的集成
• 行级和列级授权
• 高级可定制脱敏
• 针对特定安全约束的自定义策略以及与外部策略服务器的集成

全局策略
• 基于标签的安全策略
• 支持 RBAC 和 ABAC
• 动态访问控制策略
• 列和行限制、多种脱敏选项、拒绝执行

身份验证
• 基于原生和 LDAP/Active Directory 的支持,支持 Kerberos 和Windows SSO
• Kerberos
• NTLM
• OAuth, OAuth 2.0 (JWT)
• SAML
• 双因素身份验证(通过支持的身份提供商:Okta, Duo 等)
• SSL
• WS-Security
• 透传会话凭据以利用现有的源权限

 

高级语义

• 全局安全策略
• 视图级和列级分类标签

• 支持从 Collibra 和其他外部数据目录导入外部数据治理标签

 

数据建模

• Design Studio:基于 Web 的数据建模开发工作室
• 也提供桌面版本
• 自下而上和自上而下(通过接口视图)
• 与第三方建模工具集成
    • ER/Studio Data Architect
    • ERwin Data Modeler
    • IBM InfoSphere 数据架构师
    • SAP Power设计师
    • Sparx Systems 企业架构师

 

数据质量

• 包含转换、过滤和匹配函数库,以及用于验证、清洗、丰富、标准化、匹配和合并数据的质量规则
• 可通过自定义函数进行扩展
• 与外部数据质量工具集成

 

监控

• 集成在解决方案管理器(Solution Manager)中的 Denodo 诊断与监控工具 (DMT)
• 集成在 Apache Superset 中的可扩展使用情况与元数据仪表板
• 云财务管理 (FinOps) 仪表板,用于监控和了解与云成本相关的关键指标,如数据传输费(Egress)、查询成本等
• 日志中提供详细的监控信息,以便与Splunk、ELK、Cloudwatch 等日志管理工具集成
• 亦可通过 SNMP 和 JMX 标准进行监控,因此可与大多数主流系统管理软件包(如 HP
OpenView、Nagios、Zenoss、Osmius、IBM Tivoli 和 Microsoft WinRM)互操作

 

丹诺德助手

数据市场
• 聊天机器人,允许用户发现数据、探索视图并理解复杂关系
• 利用生成式 AI (GenAI) 进行自然语言查询
• 支持 OpenAI、Azure OpenAI、AWS Bedrock 及客户自有的大语言模型 (LLM)
• 个性化数据集推荐
• 基于以往活动的智能 SQL 片段自动补全

设计工作室
• 用于智能查询加速的摘要推荐
• 视图和列的描述建议
• 符合业务习惯的列名建议
• 诊断错误查询并解释查询逻辑
• AI 生成的关联(Join)条件建议

VQL 函数
• 使用大语言模型 (LLM) 自动进行摘要提取、信息抽取、情感分析、敏感数据脱敏及文本翻译

 

运维

• 通过解决方案管理器(Solutions Manager)自动化运维和晋级任务
   • 集中管理并向客户端分发更新

   • 许可证密钥的集中管理
   • 定义晋级修订版本及其依赖关系,并将其零停机部署到生产集群
   • 数据源属性和日志的集中管理
   • 用于从 DevOps 工具(如 Jenkins)自动执行任务的 RESTAPI

• 针对云端(AWS)的集成基础设施管理
   • 集群的创建与管理:定义 EC2 实例类型、实例数量等
   • 创建负载均衡器和自动缩放组
   • 安装并启动 Denodo 服务器
   • 更新 Denodo 版本
   • 在 Denodo 服务器中启用 SSL

• 支持版本控制集成的多用户开发
   • 与 Git 等源码管理系统集成
   • 用于隔离开发与测试的工作空间

• 资源管理器:为每个会话、角色或用户限制并分配资源,从而优化每个应用程序的资源利用率
   • 更改资源优先级
   • 强制执行超时限制或行数限制
   • 添加每日/每分钟/每月配额:例如每天仅限 50 次查询

 

部署模式

• 本地部署、私有云、公有云
   • 本地部署、私有云、公有云
   • 基础单服务器配置
   • 具备负载均衡的高可用(HA)集群(主备模式及双主模式)
   • 共享或分布式的本地缓存
   • 地理分布式的服务器环境
   • 多个 Denodo 实例,点对点或多层级架构
   • 通过 Docker 提供容器化支持
• 公有云
   • AWS 版 Denodo 平台
   • Azure 版 Denodo 平台
   • GCP 版 Denodo 平台
   • 阿里云版 Denodo 平台
• 支持 AWS 和 Azure 的自动缩放
• Agora – Denodo 云服务

 

相关阅读
返回顶部