Apache Gravitino 1.3.1 介绍与选型指南
Apache Gravitino 1.3.1 介绍与选型指南:实查官方文档与 GitHub Releases,梳理高性能联邦元数据湖的统一目录、Iceberg/Lance REST 服务与同类选型对比。
Apache Gravitino 1.3.1 介绍与选型指南
目标:以官方渠道实查的 Apache Gravitino 1.3.1 为基准,讲清这一高性能、地理分布式联邦元数据湖的定位、架构能力与同类元数据平台差异,帮助数据平台团队做元数据治理选型。本文为认知篇,全部信息基于官网、GitHub 仓库与 Releases 联网查证(查询日期 2026-10-18),不含本地安装实测。
一、信息基准
1.1 查询日期与版本依据
| 项目 | 内容 |
|---|---|
| 查询日期 | 2026-10-18 |
| 本文介绍版本 | 1.3.1(官方当前最新稳定版) |
| 版本发布日期 | 2026-09-30(GitHub Releases v1.3.1「Apache Gravitino 1.3.1 Release Notes」published_at) |
| 版本依据 | GitHub Releases API repos/apache/gravitino/releases/latest 返回 v1.3.1,并随发布提供二进制分发 gravitino-1.3.1-bin.tar.gz;官方下载页 https://gravitino.apache.org/downloads |
| 版本节奏备注 | ASF 发版记录显示 Trino 连接器 1.3.1 条目日期为 2026-09-24,核心 1.3.1 于 2026-09-30 发布 |
1.2 官方来源清单
二、软件概述
Apache Gravitino 1.3.1 是一个高性能、地理分布式、联邦式的元数据湖(metadata lake),直接管理不同来源、不同类型、不同区域的元数据,为数据与 AI 资产提供统一元数据访问(来源:GitHub 仓库 README,查询日期 2026-10-18)。可以把它理解为「元数据的统一目录层」:底层连接 Hive Metastore、MySQL、MariaDB、HDFS、S3 等多类元数据源,向上通过统一模型与 API 供 Trino、Spark 等引擎访问。
README 列出的关键特性(查询日期 2026-10-18):
- 统一元数据管理:以单一模型与 API 管理 Hive、MySQL、MariaDB、HDFS、S3 等多样化元数据源。
- 端到端数据治理:跨全部元数据资产的访问控制、审计与发现。
- 直连式元数据集成:通过连接器即时反映底层系统的变更(联邦模式,非拷贝式同步)。
- 地理分布式:支持跨区域、跨云共享元数据,服务全球化架构。
- 多引擎兼容:与查询引擎无缝集成,无需修改 SQL 方言。
- AI 资产管理(进行中):支持 AI 模型与特征追踪。
代码以 Apache License 2.0 许可发布,由 ASF 治理(来源:仓库 LICENSE 与 README)。
三、核心架构
3.1 组成与服务形态
依据仓库 README 与官方文档(查询日期 2026-10-18),Gravitino 由以下部分构成:
| 组件 | 说明 |
|---|---|
| Gravitino 服务端 | 核心元数据目录服务,单进程部署(二进制分发内含 bin/gravitino.sh、conf/gravitino.conf),提供统一 API 与 Web UI(默认 Web V2,可切回 v1) |
| Iceberg REST Catalog 服务 | 原生 Iceberg REST 目录服务,使 Iceberg 生态客户端直接对接 |
| Lance REST Catalog 服务 | 原生 Lance REST 目录服务,服务 Lance 表格式生态 |
| Trino 连接器 | Trino 侧联邦元数据访问连接器(版本随核心独立发版,如 1.3.1 连接器于 2026-09-24 发布) |
| 引擎/计算集成 | 与 Spark 等引擎的集成客户端,多引擎无需改 SQL 方言 |
3.2 元数据模型与联邦机制
Gravitino 采用「metalake → catalog → schema → table/...」的分层元数据模型,catalog 抽象对应不同底层系统(关系型、文件、消息、模型等类型),每个 catalog 通过各自的连接器与底层元数据源直连。因为是直连联邦而非批量抽取,底层系统的变更经连接器即时可见;治理能力(访问控制、审计、发现)在统一层实施,跨 catalog 生效(来源:README「Key Features / Common Use Cases」,查询日期 2026-10-18)。
3.3 部署与构建
- 发行物为二进制 tar 包,Linux 环境运行(README 明确:使用 Gradle 构建,Windows 暂不支持)。
- 源码构建:
./gradlew clean build -x test(跳过测试快速构建),./gradlew compileDistribution -x test编译发行包,产物输出至distribution/目录。 - 官方另提供 Playground 演示环境(独立仓库 apache/gravitino-playground),可一键体验全栈功能。
四、功能特性
基于 README 与官方文档(查询日期 2026-10-18):
- 多源联邦目录:Hive Metastore、关系库(MySQL/MariaDB)、对象存储(S3)、HDFS 等接入同一模型。
- Iceberg / Lance REST 目录服务:为 Iceberg 与 Lance 生态提供原生 REST 目录接口。
- 引擎侧零方言改造:Trino 连接器与 Spark 集成即插即用。
- 统一治理:全资产访问控制、审计与发现。
- 跨区域元数据共享:面向混合云/多云的多区域元数据同步。
- Web UI(V2 为主):内置管理界面,运行时可通过
GRAVITINO_USE_WEB_V2环境变量切换新旧 UI。 - AI 资产追踪(WIP):模型与特征元数据、模型血缘支持演进中。
五、快速上手
以下步骤引自 GitHub 仓库 README「Run Gravitino Locally」(查询日期 2026-10-18),本文未做本地实测:
- 从官方下载页获取二进制发行包并解压;
- 编辑
conf/gravitino.conf配置服务; - 启动服务:
./bin/gravitino.sh start
- 停止服务:
./bin/gravitino.sh stop
- (可选)UI 版本切换:默认使用 Web V2 UI;如需在运行时切回旧版 v1 UI,编辑
conf/gravitino-env.sh或在启动前设置:
export GRAVITINO_USE_WEB_V2=false
./bin/gravitino.sh restart
💡 说明:完整安装、配置与开发文档见 https://gravitino.apache.org/docs/latest/ ;快速体验可使用官方 Playground(https://github.com/apache/gravitino-playground )。
六、适用场景与限制
6.1 适用场景
- 联邦元数据发现:数据湖与数据仓库并存的企业,需要在不动底层系统的前提下做统一目录与发现。
- 多区域/多云元数据同步:全球化架构需要跨区域共享元数据视图。
- 统一治理入口:希望对全部数据与 AI 资产实施一致的访问控制与审计。
- 引擎侧接入:Trino、Spark 等引擎即插即用,SQL 方言零改造。
6.2 限制与风险
- Windows 不支持:构建与运行面向 Linux 环境(README 明示)。
- AI 资产管理仍在进行中(WIP):模型/特征追踪能力尚未完整(README 标注)。
- 版本演进快:从 0.x 到 1.x 的快速演进意味着升级时需关注发行说明与兼容性变更。
- 社区体量适中:GitHub 3250 stars(2026-10-18),相对 DataHub/OpenMetadata 更年轻,商业化插件生态仍在形成。
七、同类选型对比
对比对象:DataHub(元数据发现与治理平台)、OpenMetadata(元数据标准与治理平台)、Unity Catalog(LF AI & Data 旗下开放目录标准/实现,源自 Databricks)。社区数据来源:GitHub 仓库 stargazerCount 实查、GitHub Releases(查询日期 2026-10-18)。
| 维度 | Apache Gravitino 1.3.1 | DataHub | OpenMetadata | Unity Catalog |
|---|---|---|---|---|
| 许可 | Apache-2.0 | Apache-2.0 | Apache-2.0 | Apache-2.0 |
| GitHub stars | 3250(apache/gravitino,2026-10-18) | 12860(datahub-project/datahub,2026-10-18) | 15506(open-metadata/OpenMetadata,2026-10-18) | 3553(unitycatalog/unitycatalog,2026-10-18) |
| 最近发版 | v1.3.1(2026-09-30) | v1.7.0.1(GitHub Releases,2026-10-18 查询) | v2.0.5-release(GitHub Releases,2026-10-18 查询) | v0.7.0(GitHub Releases,2026-10-18 查询) |
| 版本节奏 | 季度级 minor,补丁及时 | 月度级高频迭代 | 月度级高频迭代 | 年内 0.x 快速演进 |
| 兼容矩阵 | Hive/MySQL/MariaDB/HDFS/S3 直连;Iceberg/Lance REST;Trino/Spark;Linux + JDK | 主流数仓/BI/编排全家桶连接器,Python/Java SDK | 同上类广覆盖连接器,Python SDK + REST API | Iceberg/Delta 等表格式 REST 目录协议,多引擎客户端 |
| 架构取向 | 联邦直连元数据湖(变更即时可见)+ 目录服务 | 采集式元数据图谱 + 治理应用 | 采集式元数据平台 + 数据质量/血缘 | 轻量目录服务/开放标准(REST) |
选型建议:核心诉求是「引擎直连 + 联邦元数据 + Iceberg/Lance REST 目录」且想要轻量服务端,选 Gravitino;重发现、血缘与数据文化运营,DataHub/OpenMetadata 生态更成熟;只想为 Iceberg/Delta 等表格式提供开放目录协议,Unity Catalog(开放版)是标准路线。
八、参考链接
- 官网:https://gravitino.apache.org/
- 官方文档:https://gravitino.apache.org/docs/latest/
- GitHub 仓库:https://github.com/apache/gravitino
- v1.3.1 发布页:https://github.com/apache/gravitino/releases/tag/v1.3.1
- 官方下载页:https://gravitino.apache.org/downloads
- Iceberg REST 服务:https://gravitino.apache.org/docs/latest/iceberg-rest-service/
- Trino 集成:https://gravitino.apache.org/docs/latest/trino-connector/index/
- Playground:https://github.com/apache/gravitino-playground