Apache Linkis 1.8.0 介绍与选型指南

Apache Linkis 1.8.0 计算中间件介绍与选型指南:版本信息基准、核心架构、功能特性、官方快速上手、适用场景限制及与 Kyuubi/Zeppelin/SeaTunnel 的量化选型对比

Apache LinkisApache LinkisApache大数据2026/10/18

Apache Linkis 1.8.0 介绍与选型指南

一、信息基准

  • 查询日期:2026-10-18。
  • 版本依据:Apache Linkis 当前最新稳定版为 1.8.0,GitHub 仓库 apache/linkis 的 Releases 页面显示「Apache Linkis Release-1.8.0」发布于 2025-10-17;Apache 官方发行目录 downloads.apache.org/linkis/ 当前提供 1.7.0 与 1.8.0 两个发行目录,与 GitHub 发布记录相互印证。
  • 开源许可:Apache License 2.0。
  • 官方来源清单:
来源地址说明
项目官网https://linkis.apache.org项目主页、文档与下载入口
GitHub Releaseshttps://github.com/apache/linkis/releases版本发布记录(1.8.0,2025-10-17;1.7.0,2025-01-09;1.6.0,2024-07-18)
Apache 发行目录https://downloads.apache.org/linkis/官方发行包目录(当前含 1.7.0、1.8.0)
快速部署文档https://linkis.apache.org/docs/latest/deployment/deploy-quick/环境要求、安装流程与 linkis-cli 示例
源码仓库https://github.com/apache/linkis源码、许可证与构建脚本

二、软件概述

2.1 定位

Apache Linkis 是一个位于上层应用与底层计算、存储引擎之间的计算中间件(Computation Middleware),本次介绍的版本为 1.8.0(2025-10-17 发布)。它通过标准的接口向上层应用屏蔽底层引擎差异,提供任务提交、执行治理、引擎复用与资源管理等能力,常用于构建数据平台类的统一入口层。

2.2 项目背景

Linkis 起源于微众银行的开源实践,后进入 Apache 孵化器孵化,现为 Apache 顶级项目。项目以 Java/Scala 为主进行开发,按 Apache-2.0 许可发布,发行物通过 Apache 官方发行目录分发。

三、核心架构

3.1 三层服务体系

按官方文档的划分,Linkis 的服务由三部分组成:

  • 计算治理服务(Computation Governance Services):包括引擎连接器 EngineConn、管理调度组件 LinkisManager 与任务入口 Entrance,负责任务的接收、编排、引擎创建与执行管理。
  • 公共增强服务(Public Enhancement Services):包括上下文服务(Context Service)与物料库(BML,Material Service),为跨任务、跨用户的参数与文件共享提供支撑。
  • 微服务治理服务(Microservice Governance Services):包括网关(Gateway)与服务注册发现等,负责请求路由、认证与基础治理。

3.2 关键机制

  • EngineConn 抽象:每种计算引擎以 EngineConn 形式接入,承载引擎与计算存储的连接。
  • 标签体系:通过用户标签、引擎标签、资源标签等维度实现引擎多版本、多副本与多租户调度。
  • 多入口接入:提供 REST API、WebSocket、SDK 与 linkis-cli 命令行等接入方式。

四、功能特性

  • 多引擎支持:官方文档列出的引擎包括 Spark、Hive、Python、Shell、JDBC、Flink、Presto、Sqoop、ElasticSearch 等,可通过引擎管理器统一编排。
  • 任务治理:提供任务限流、并发控制、执行编排、引擎复用与资源管理(对接 YARN 等资源体系)能力。
  • 统一上下文与物料库:Context Service 支持跨任务的变量与结果共享,BML 提供用户级文件与脚本物料管理。
  • 生态集成:官方提供与 Scriptis 数据开发工作台、DolphinScheduler 工作流调度的集成方式,前端适配包可独立部署。

五、快速上手

以下流程与命令均引自官方快速部署文档(来源:https://linkis.apache.org/docs/latest/deployment/deploy-quick/ ,本文不进行本地实测)。

  • 环境基线(官方文档要求):JDK 1.8.0_141 及以上、MySQL 5.5 及以上、Nginx 1.14.1、Python;官方示例基线还包含 Hadoop 2.7.2、Spark 2.4.3、Hive 3.1.3。
  • 部署步骤概述:从官网下载 apache-linkis-1.8.0-bin.tar.gz 发行包,编辑 deploy-config/db.sh 配置数据库连接,执行安装脚本完成部署,随后通过 sbin/linkis-start-all.sh 启动全套服务。
  • 官方给出的 linkis-cli 提交示例:
sh bin/linkis-cli -submitUser hadoop -engineType hive-3.1.3 -codeType hql -code "show tables"
sh bin/linkis-cli -engineType spark-3.2.1 -codeType sql -code "show tables"
sh bin/linkis-cli -engineType shell-1 -codeType shell -code "whoami"
sh bin/linkis-cli -engineType python-python2 -codeType python -code 'print("hello, world!")'

六、适用场景与限制

6.1 适用场景

  • 数据平台统一入口:多个业务应用需要以统一 API 提交 Spark、Hive、Python 等异构任务时,可用 Linkis 收敛接入与治理。
  • 多租户资源隔离:依托标签与引擎管理能力,按用户与租户维度做引擎副本与资源配额管理。
  • 平台化数据工作台:与 Scriptis、DolphinScheduler 等组件组合,构建数据开发、调度一体化的工作台。

6.2 限制

  • 部署链路较重:官方快速部署要求 JDK、MySQL、Nginx 及对应大数据组件齐备,组件较多,初装成本不低于一般引擎本体。
  • 版本节奏平缓:近三次小版本为 1.6.0(2024-07-18)、1.7.0(2025-01-09)、1.8.0(2025-10-17),大约每年 1 至 2 个小版本。
  • 生态边界:主要面向 Hadoop/Spark 大数据栈,对非大数据体系的场景收益有限。

七、同类选型对比

对比对象选取同为 Apache 体系、定位相近的 Kyuubi(引擎服务化网关)、Zeppelin(数据分析与可视化工作台)与 SeaTunnel(数据集成引擎)。stars 数据为 2026-10-18 从 GitHub 各仓库页面实查,最近发版取自各仓库 Releases 页面。

维度Apache Linkis 1.8.0Apache Kyuubi 1.12.0Apache Zeppelin 0.12.1Apache SeaTunnel 3.0.0
开源许可Apache-2.0Apache-2.0Apache-2.0Apache-2.0
GitHub stars / 最近发版3415 / 2025-10-172370 / 2026-07-286665 / 2026-06-139733 / 2026-09-23
版本节奏1.6.0(2024-07)、1.7.0(2025-01)、1.8.0(2025-10),约每年 1-2 个小版本持续小步发版,最近一次 v1.12.0(2026-07-28),节奏详见官方 Releases最近一次 v0.12.1(2026-06-13),节奏详见官方 Releases发版明显提速,最近一次 3.0.0(2026-09-23)
兼容矩阵JDK 8 基线;官方快速部署基线含 Hadoop 2.7.2、Spark 2.4.3、Hive 3.1.3、MySQL 5.5+以 JDBC/Thrift 方式服务化 Spark、Flink 等引擎,详见官方文档基于 JDK 运行,通过解释器机制接入多种计算引擎以数据集成为定位,通过连接器接入多数据源,详见官方文档

选型建议:若需要一个面向多引擎的任务统一提交与治理中间层、构建多租户数据工作台,Linkis 1.8.0 是 Apache 体系内的对口选择;若只是要把 Spark/Flink 服务化为标准 JDBC 接口,Kyuubi 更轻;若目标是数据分析交互与可视化,Zeppelin 更直接;若核心诉求是异构数据源之间的集成同步,则应选 SeaTunnel。

八、参考链接