Apache Gravitino 1.3.1 介绍与选型指南

Apache Gravitino 1.3.1 介绍与选型指南:实查官方文档与 GitHub Releases,梳理高性能联邦元数据湖的统一目录、Iceberg/Lance REST 服务与同类选型对比。

Apache Gravitino数据湖2026/10/18

Apache Gravitino 1.3.1 介绍与选型指南

目标:以官方渠道实查的 Apache Gravitino 1.3.1 为基准,讲清这一高性能、地理分布式联邦元数据湖的定位、架构能力与同类元数据平台差异,帮助数据平台团队做元数据治理选型。本文为认知篇,全部信息基于官网、GitHub 仓库与 Releases 联网查证(查询日期 2026-10-18),不含本地安装实测。

一、信息基准

1.1 查询日期与版本依据

项目内容
查询日期2026-10-18
本文介绍版本1.3.1(官方当前最新稳定版)
版本发布日期2026-09-30(GitHub Releases v1.3.1「Apache Gravitino 1.3.1 Release Notes」published_at)
版本依据GitHub Releases API repos/apache/gravitino/releases/latest 返回 v1.3.1,并随发布提供二进制分发 gravitino-1.3.1-bin.tar.gz;官方下载页 https://gravitino.apache.org/downloads
版本节奏备注ASF 发版记录显示 Trino 连接器 1.3.1 条目日期为 2026-09-24,核心 1.3.1 于 2026-09-30 发布

1.2 官方来源清单

来源链接
官网https://gravitino.apache.org/
官方文档(latest)https://gravitino.apache.org/docs/latest/
GitHub 仓库https://github.com/apache/gravitino
v1.3.1 发布页https://github.com/apache/gravitino/releases/tag/v1.3.1
官方下载页https://gravitino.apache.org/downloads
Iceberg REST 服务文档https://gravitino.apache.org/docs/latest/iceberg-rest-service/
Trino 集成文档https://gravitino.apache.org/docs/latest/trino-connector/index/

二、软件概述

Apache Gravitino 1.3.1 是一个高性能、地理分布式、联邦式的元数据湖(metadata lake),直接管理不同来源、不同类型、不同区域的元数据,为数据与 AI 资产提供统一元数据访问(来源:GitHub 仓库 README,查询日期 2026-10-18)。可以把它理解为「元数据的统一目录层」:底层连接 Hive Metastore、MySQL、MariaDB、HDFS、S3 等多类元数据源,向上通过统一模型与 API 供 Trino、Spark 等引擎访问。

README 列出的关键特性(查询日期 2026-10-18):

  • 统一元数据管理:以单一模型与 API 管理 Hive、MySQL、MariaDB、HDFS、S3 等多样化元数据源。
  • 端到端数据治理:跨全部元数据资产的访问控制、审计与发现。
  • 直连式元数据集成:通过连接器即时反映底层系统的变更(联邦模式,非拷贝式同步)。
  • 地理分布式:支持跨区域、跨云共享元数据,服务全球化架构。
  • 多引擎兼容:与查询引擎无缝集成,无需修改 SQL 方言。
  • AI 资产管理(进行中):支持 AI 模型与特征追踪。

代码以 Apache License 2.0 许可发布,由 ASF 治理(来源:仓库 LICENSE 与 README)。

三、核心架构

3.1 组成与服务形态

依据仓库 README 与官方文档(查询日期 2026-10-18),Gravitino 由以下部分构成:

组件说明
Gravitino 服务端核心元数据目录服务,单进程部署(二进制分发内含 bin/gravitino.sh、conf/gravitino.conf),提供统一 API 与 Web UI(默认 Web V2,可切回 v1)
Iceberg REST Catalog 服务原生 Iceberg REST 目录服务,使 Iceberg 生态客户端直接对接
Lance REST Catalog 服务原生 Lance REST 目录服务,服务 Lance 表格式生态
Trino 连接器Trino 侧联邦元数据访问连接器(版本随核心独立发版,如 1.3.1 连接器于 2026-09-24 发布)
引擎/计算集成与 Spark 等引擎的集成客户端,多引擎无需改 SQL 方言

3.2 元数据模型与联邦机制

Gravitino 采用「metalake → catalog → schema → table/...」的分层元数据模型,catalog 抽象对应不同底层系统(关系型、文件、消息、模型等类型),每个 catalog 通过各自的连接器与底层元数据源直连。因为是直连联邦而非批量抽取,底层系统的变更经连接器即时可见;治理能力(访问控制、审计、发现)在统一层实施,跨 catalog 生效(来源:README「Key Features / Common Use Cases」,查询日期 2026-10-18)。

3.3 部署与构建

  • 发行物为二进制 tar 包,Linux 环境运行(README 明确:使用 Gradle 构建,Windows 暂不支持)。
  • 源码构建:./gradlew clean build -x test(跳过测试快速构建),./gradlew compileDistribution -x test 编译发行包,产物输出至 distribution/ 目录。
  • 官方另提供 Playground 演示环境(独立仓库 apache/gravitino-playground),可一键体验全栈功能。

四、功能特性

基于 README 与官方文档(查询日期 2026-10-18):

  • 多源联邦目录:Hive Metastore、关系库(MySQL/MariaDB)、对象存储(S3)、HDFS 等接入同一模型。
  • Iceberg / Lance REST 目录服务:为 Iceberg 与 Lance 生态提供原生 REST 目录接口。
  • 引擎侧零方言改造:Trino 连接器与 Spark 集成即插即用。
  • 统一治理:全资产访问控制、审计与发现。
  • 跨区域元数据共享:面向混合云/多云的多区域元数据同步。
  • Web UI(V2 为主):内置管理界面,运行时可通过 GRAVITINO_USE_WEB_V2 环境变量切换新旧 UI。
  • AI 资产追踪(WIP):模型与特征元数据、模型血缘支持演进中。

五、快速上手

以下步骤引自 GitHub 仓库 README「Run Gravitino Locally」(查询日期 2026-10-18),本文未做本地实测:

  1. 从官方下载页获取二进制发行包并解压;
  2. 编辑 conf/gravitino.conf 配置服务;
  3. 启动服务:
./bin/gravitino.sh start
  1. 停止服务:
./bin/gravitino.sh stop
  1. (可选)UI 版本切换:默认使用 Web V2 UI;如需在运行时切回旧版 v1 UI,编辑 conf/gravitino-env.sh 或在启动前设置:
export GRAVITINO_USE_WEB_V2=false
./bin/gravitino.sh restart

💡 说明:完整安装、配置与开发文档见 https://gravitino.apache.org/docs/latest/ ;快速体验可使用官方 Playground(https://github.com/apache/gravitino-playground )。

六、适用场景与限制

6.1 适用场景

  • 联邦元数据发现:数据湖与数据仓库并存的企业,需要在不动底层系统的前提下做统一目录与发现。
  • 多区域/多云元数据同步:全球化架构需要跨区域共享元数据视图。
  • 统一治理入口:希望对全部数据与 AI 资产实施一致的访问控制与审计。
  • 引擎侧接入:Trino、Spark 等引擎即插即用,SQL 方言零改造。

6.2 限制与风险

  • Windows 不支持:构建与运行面向 Linux 环境(README 明示)。
  • AI 资产管理仍在进行中(WIP):模型/特征追踪能力尚未完整(README 标注)。
  • 版本演进快:从 0.x 到 1.x 的快速演进意味着升级时需关注发行说明与兼容性变更。
  • 社区体量适中:GitHub 3250 stars(2026-10-18),相对 DataHub/OpenMetadata 更年轻,商业化插件生态仍在形成。

七、同类选型对比

对比对象:DataHub(元数据发现与治理平台)、OpenMetadata(元数据标准与治理平台)、Unity Catalog(LF AI & Data 旗下开放目录标准/实现,源自 Databricks)。社区数据来源:GitHub 仓库 stargazerCount 实查、GitHub Releases(查询日期 2026-10-18)。

维度Apache Gravitino 1.3.1DataHubOpenMetadataUnity Catalog
许可Apache-2.0Apache-2.0Apache-2.0Apache-2.0
GitHub stars3250(apache/gravitino,2026-10-18)12860(datahub-project/datahub,2026-10-18)15506(open-metadata/OpenMetadata,2026-10-18)3553(unitycatalog/unitycatalog,2026-10-18)
最近发版v1.3.1(2026-09-30)v1.7.0.1(GitHub Releases,2026-10-18 查询)v2.0.5-release(GitHub Releases,2026-10-18 查询)v0.7.0(GitHub Releases,2026-10-18 查询)
版本节奏季度级 minor,补丁及时月度级高频迭代月度级高频迭代年内 0.x 快速演进
兼容矩阵Hive/MySQL/MariaDB/HDFS/S3 直连;Iceberg/Lance REST;Trino/Spark;Linux + JDK主流数仓/BI/编排全家桶连接器,Python/Java SDK同上类广覆盖连接器,Python SDK + REST APIIceberg/Delta 等表格式 REST 目录协议,多引擎客户端
架构取向联邦直连元数据湖(变更即时可见)+ 目录服务采集式元数据图谱 + 治理应用采集式元数据平台 + 数据质量/血缘轻量目录服务/开放标准(REST)

选型建议:核心诉求是「引擎直连 + 联邦元数据 + Iceberg/Lance REST 目录」且想要轻量服务端,选 Gravitino;重发现、血缘与数据文化运营,DataHub/OpenMetadata 生态更成熟;只想为 Iceberg/Delta 等表格式提供开放目录协议,Unity Catalog(开放版)是标准路线。

八、参考链接