Apache InLong 2.4.0 介绍与选型指南

一站式数据集成框架 Apache InLong 2.4.0：接入/DataProxy/分拣架构、TubeMQ 与 Pulsar/Kafka 多队列、Dashboard 摄取链路上手，及 SeaTunnel/NiFi/Airbyte 选型对比。

Apache InLongApache InLongApache数据管道ETL2026/10/18

Apache InLong 2.4.0 介绍与选型指南

目标：讲清 Apache InLong 2.4.0（一站式数据集成框架）的定位、架构、核心机制与同类数据集成/摄取平台选型对比。本文为认知篇，全部论断基于官方网站、官方文档与 ASF 发行目录联网溯源（查询日期 2026-10-18），不做本地安装实测。

一、信息基准

1.1 查询日期与版本依据

  • 查询日期：2026-10-18（本文所有版本号、日期、星标数均在该日联网核验）。
  • 版本依据：ASF 发行目录（https://downloads.apache.org/inlong/）当前最新版本为 2.4.0（发行包 2026-08-13 上架），同目录尚有 2.3.0 等历史版本。
  • 本文以 Apache InLong 2.4.0 为介绍对象。

1.2 官方来源清单

来源链接用途
项目官网https://inlong.apache.org/定位与产品优势
ASF 发行目录https://downloads.apache.org/inlong/版本与上架日期
官方仓库https://github.com/apache/inlong源码与社区
快速上手索引https://inlong.apache.org/docs/next/quick_start/官方入门教程入口
Kafka 摄取示例https://inlong.apache.org/docs/next/quick_start/data_ingestion/mysql_kafka_clickhouse_example/MySQL→Kafka→ClickHouse 官方示例
裸机部署文档https://inlong.apache.org/docs/next/deployment/bare_metal标准部署方式

二、软件概述

2.1 项目定位与版本

Apache InLong 2.4.0（当前最新稳定版，发行包 2026-08-13 上架 ASF 发行目录）是官方网站定义的"面向海量数据的一站式、全场景集成框架"：覆盖数据摄取（Data Ingestion）、数据同步（Data Synchronization）与数据订阅（Data Subscription），提供自动、安全、可靠的数据传输能力，并支持批流一体的数据处理，可支撑数据分析、建模等基于流数据的实时应用（来源：inlong.apache.org 首页）。

InLong（应龙）得名于中国神话中引导江河入海的神兽，官方介绍文档将其视为数据流上报场景的隐喻；项目前身为 TubeMQ，2019 年 11 月由腾讯大数据团队捐献进入 Apache 孵化器，2022 年 6 月正式毕业成为 ASF 顶级项目（来源：https://inlong.apache.org/docs/next/introduction/ ）。官方介绍称其源自真实在线生产环境，具备十万亿级数据摄取与处理能力，并为千亿级数据流提供高可靠服务。

2.2 许可与社区

采用 Apache-2.0 许可，ASF 顶级项目。GitHub 星标约 8,959（LibHunt 快照，官方未公布星标口径；查询日期 2026-10-18）。

三、核心架构

3.1 数据链路组件

依据官网产品结构图与官方文档：

  • 接入层（Agent / DataProxy）：inlong-agent 承担数据采集服务（文件采集、数据库采集等）；inlong-dataproxy 为基于 Flume-ng 的数据代理组件，支持阻塞传输与断点重传，并将数据转发至不同消息队列；
  • 消息队列层（Cache/MQ）：可插拔支持 TubeMQ（项目自研消息队列，前身技术积累）、Pulsar 与 Kafka 三种队列；
  • 分拣层（Sort）：inlong-sort 从不同 MQ 消费数据，执行 ETL 处理后聚合写入 Hive、ClickHouse、HBase、Iceberg、Hudi 等存储，实时与离线分拣并行提供；
  • 管理层（Manager）：inlong-manager 提供元数据、OpenAPI、任务流与权限等完整数据服务管控能力；inlong-dashboard 为前端控制台页面；
  • 审计（Audit）：inlong-audit 对 Agent、DataProxy、Sort 模块的进出流量做实时审计与对账。

官方介绍文档同时定义了两种部署形态：标准架构包含 Agent、Manager、MQ、Sort、Dashboard 全部组件，同时支持数据摄取、同步与订阅；轻量架构仅包含 InLong Sort（可搭配 Manager 与 Dashboard），专注数据同步，简单灵活。

3.2 平台能力模型

官网归纳的产品优势对应架构能力：易用（基于主题的发布订阅式接入）、稳定可靠（生产环境验证的万亿级吞吐）、功能全面（多接入方式、多 MQ 集成、规则化实时 ETL 与分拣）、服务集成（统一监控告警与细粒度指标、队列运行状态与主题级数据统计）、可扩展（可插拔架构，可按协议替换组件）。

四、功能特性

  • 数据摄取：从文件、HTTP、数据库等来源接入，官方快速上手提供 MySQL→Kafka→ClickHouse、文件→Pulsar→ClickHouse 等组合示例；
  • 实时数据同步与离线数据同步：官方快速上手栏目分别提供实时与离线同步教程（如 MySQL 到 ClickHouse 的实时同步示例）；
  • 数据订阅：按主题订阅下游消费，支持批流一体处理；
  • 多消息队列：TubeMQ、Pulsar、Kafka 三类 MQ 可插拔切换；
  • 数据转换：官方提供独立的 transform 快速上手教程，支持基于规则的转换；
  • 数据节点矩阵：官方介绍页维护着持续更新的数据节点支持表，抽取节点覆盖 MySQL（5.6/5.7/8.0.x）、Oracle、PostgreSQL、SQLServer、MongoDB、Kafka、Pulsar、TubeMQ、Iceberg、文件等，加载节点覆盖 ClickHouse、Hive、HBase、Elasticsearch、Doris、StarRocks、HDFS、Hudi、Iceberg 等；
  • 审计与监控：Dashboard 提供 Audit 页面核对上下游数据条数，统一指标平台展示队列状态。

五、快速上手

以下流程引自官方文档 "Kafka Example"（MySQL → Kafka → ClickHouse 数据摄取；来源：https://inlong.apache.org/docs/next/quick_start/data_ingestion/mysql_kafka_clickhouse_example/ ，查询日期 2026-10-18）。InLong 支持裸机部署与官方其他部署方式（见 https://inlong.apache.org/docs/next/deployment/bare_metal ）；同时需准备 MySQL、Kafka 与 ClickHouse 测试环境。

1. 登录 Dashboard 并初始化集群：访问 InLong Dashboard（示例环境 http://localhost ），默认账号 admin/inlong；先在 [Clusters] → [ClusterTags] 创建集群标签（组件默认上报 default_cluster），再注册 Kafka 集群与 ClickHouse DataNodes。

2. 创建数据流组与数据流：在 [Ingestion] → [Create] 新建数据流组，MQ 类型选择 Kafka；在 [Next] 页面创建数据流。

3. 配置数据源与数据落地：[Sources] 创建 MySQL 数据源（官方示例库表 test_mysql_db.test_mysql_table，含 id、name 两列）；[Sinks] 创建 ClickHouse 数据落地，填写库名、表名并绑定 DataNode。

4. 审批与生效：在 [Approval] → [MyApproval] 审批通过数据流，等待配置下发完成。

5. 写入与核验：向 MySQL 表循环写入数据（官方示例脚本插入 1000 条记录），在 [Audit] 页面查看审计计数，并在 ClickHouse 中查询 test_mysql_table 验证数据到达。

六、适用场景与限制

适用场景（来源：官网与官方文档）：

  • 大规模业务数据接入：海量日志、埋点、业务库变更的统一收集与汇聚传输；
  • 库表到分析库的实时/离线同步：如 MySQL 到 ClickHouse、Hive、Iceberg 等分析存储的链路搭建；
  • 多消息队列共存的企业：同一套接入与分拣体系适配 TubeMQ/Pulsar/Kafka；
  • 需要审批流与审计的数管场景：内置审批、Audit 与统一监控告警。

限制与注意事项（依据官方资料如实归纳）：

  • 完整链路涉及较多组件（Manager、Dashboard、Agent、DataProxy、Sort、MQ 与外部存储），部署与运维复杂度高于单机工具；
  • 实时分拣能力依赖 Flink 环境，需额外规划计算资源与版本兼容；
  • 不同 MQ 与存储组合的功能成熟度存在差异，选型前应对照官方各组件文档确认目标组合；
  • 官方未公布版本路线图时间表，升级节奏需以发行目录与社区公告为准。

七、同类选型对比

同为"数据集成/摄取平台"的三个代表性软件对比如下（版本、日期与星标均于 2026-10-18 联网核验，星标为第三方统计口径并标注来源）：

维度Apache InLong 2.4.0Apache SeaTunnel 3.0.0Apache NiFi 2.12.0Airbyte
开源许可Apache-2.0Apache-2.0Apache-2.0ELv2（官方页面标注允许商用）
最新版与发布日期2.4.0（2026-08-13 上架 ASF 发行目录）3.0.0（2026-09-24 上架 ASF 发行目录）2.12.0（2026-09-10 上架 ASF 发行目录，另有 1.28.1 维护线）官方未公布固定版本号口径（滚动发版）
版本节奏半年左右一个大版本（2.3.0→2.4.0）长周期大版本（2.x→3.0.0）2.x 与 1.x 双维护线滚动发版官方未公布统一节奏
GitHub stars+最近发版8,959（LibHunt 快照）；最近发版 2026-08-138,959 量级同源统计（LibHunt 对 seatunnel 记录）；最近发版 2026-09-246,255（repo.uno 快照）；最近发版 2026-09-10官方自述 20K+（airbyte.com）；滚动发版
兼容矩阵JVM 生态；MQ 支持 TubeMQ/Pulsar/Kafka；落地 Hive/Iceberg/Hudi/HBase/ClickHouse；分拣依赖 FlinkJVM 生态；连接器矩阵覆盖数据库/消息队列/文件/OLAP 引擎；支持流批引擎接入JVM 生态；数百种处理器；自带 Web 流式编排界面多运行时部署；以连接器数量与托管服务为核心卖点

选型建议：国内库表级实时同步 + 海量日志接入且需要审批审计闭环的团队优先 InLong；强调连接器广度与可视化配置的 ETL 用户看 SeaTunnel 或 NiFi；以 SaaS 化体验与海量 SaaS 源连接为目标则评估 Airbyte（注意 ELv2 许可差异）。

八、参考链接