Apache Storm 3.1.0 介绍与选型指南

一、信息基准

本文为 Apache Storm 的认知篇（软件介绍与选型指南），全部信息来自官方渠道的联网实查，不做本地安装与运行实测。

• 查询日期：2026-10-18
• 版本依据：官方发布公告确认 Apache Storm 3.1.0 于 2026-09-12 发布，为 3.x 线当前最新稳定版；3.0.0 于 2026-07-22 发布；2.x 线（含 2.8.9）已到生命周期终点，不再接收安全修复。ASF 发行目录 downloads.apache.org/storm/ 当前为 apache-storm-3.1.0。本文以 3.1.0 为介绍基线。

官方来源清单：

二、软件概述

本文介绍的是 Apache Storm 3.1.0（2026-09-12 发布）。

Apache Storm 是开源的分布式实时流计算系统，以 Apache License 2.0 发布。官方将其概括为：简单 API、可扩展、容错、保证数据处理、支持任意编程语言、易部署易运维。Storm 以"拓扑（Topology）"为单位组织实时计算作业，数据以元组（Tuple）形式在 Spout（数据源）与 Bolt（处理单元）构成的有向无环图中流动，具备毫秒级处理延迟，广泛用于实时分析、在线机器学习、持续计算与分布式 RPC 等场景。

3.1.0 是一次以安全加固为主的版本：修复了一组协调披露的安全问题，包含缺陷修复、依赖升级、文档改进，并新增 Apache Iceberg 数据汇（sink）。官方公告明确：运行 Storm 3.x 要求 Java 25；Java API 与 2.x 向后兼容；仍在 2.x（含 2.8.9）的用户应视为处于无安全补丁状态并迁移到 3.x。

三、核心架构

3.1 拓扑与数据模型

Topology 是常驻运行的实时计算图：Spout 负责接入外部数据流并发射 Tuple，Bolt 消费 Tuple 完成过滤、聚合、写库等处理，二者以 Stream Groupings（随机分组、字段分组等）连接。

3.2 集群角色

Nimbus 为控制节点，负责拓扑分发与任务调度；Supervisor 驻守工作节点并托管 Worker 进程；Worker 内以 Executor/Task 粒度并行执行组件实例；集群元数据与状态通过 ZooKeeper 协调，Nimbus 与 Supervisor 均可无状态重启。

3.3 消息可靠性

Storm 提供消息完整性机制：Tuple 树通过 ack/fail 跟踪处理结果，失败可由 Spout 重放，实现"至少一次"处理保证；Trident 在其上提供高阶批处理语义与状态管理 API。

3.4 多语言与部署形态

组件可用任意语言实现（官方多语言协议支持非 JVM 语言）；拓扑支持本地模式（进程内运行，便于开发调试）与集群模式（storm 命令行提交）。

四、功能特性

• 实时低延迟：事件到达即处理，适合毫秒级管道。
• 水平可扩展：Worker/Executor 并行度可调，随节点扩容线性提升吞吐。
• 容错与消息保证：进程级故障自动重启，ack 机制保证数据至少被处理一次。
• 任意语言接入：多语言协议让 Python 等语言组件与 Java 组件混编。
• Trident 状态 API：以微批语义提供精确一次的状态更新能力。
• 生态连接器：Kafka、HDFS、JDBC 等官方集成组件；3.1.0 新增 Apache Iceberg sink。
• Flux 声明式部署：以 YAML 定义拓扑装配关系，降低代码侵入。

五、快速上手

以下示例结构引自 3.1.0 官方文档教程页（https://storm.apache.org/releases/3.1.0/Tutorial.html 与 https://storm.apache.org/releases/3.1.0/Concepts.html ，未做本地实测），为官方 storm-starter 中词频拓扑的骨架：

TopologyBuilder builder = new TopologyBuilder();
builder.setSpout("spout", new RandomSentenceSpout(), 5);
builder.setBolt("split", new SplitSentence(), 8).shuffleGrouping("spout");
builder.setBolt("count", new WordCount(), 12).fieldsGrouping("split", new Fields("word"));

本地模式运行（开发调试）：

LocalCluster cluster = new LocalCluster();
cluster.submitTopology("word-count", conf, builder.createTopology());

集群模式提交（官方教程给出的通用方式）：

storm jar target/storm-starter-*.jar org.apache.storm.starter.WordCountTopology word-count

六、适用场景与限制

6.1 适用场景

• 事件驱动的实时管道：实时 ETL、告警、指标聚合。
• 在线学习与实时风控：低延迟决策路径。
• 已有 Storm 2.x 资产且 Java API 兼容迁移至 3.x 的存量系统。

6.2 限制

• 3.x 要求 Java 25 运行环境，升级前需评估基础设施。
• 2.x 线已停止安全维护，存量用户应尽快迁移。
• 状态管理与精确一次语义需借助 Trident 或外部存储，抽象层次低于新一代流引擎。
• 与 Flink 相比，社区在流批一体、SQL 化方面的投入相对有限。

七、同类选型对比

对比对象：Apache Flink、Kafka Streams、Spark Structured Streaming。数据均为 2026-10-18 联网实查，来源见表后说明。

数据来源：GitHub 仓库页面与 releases.atom（github.com/apache/storm、github.com/apache/flink、github.com/apache/kafka、github.com/apache/spark）、storm.apache.org 发布公告，均为 2026-10-18 实查。

选型建议：新建实时计算平台且需要事件级精确一次、流批一体与 SQL 化开发体验时，Flink 是当下主流答案；应用已在 Kafka 生态内、需要轻量无独立集群的流处理库，选 Kafka Streams；Storm 3.1.0 更适合存量 Storm 资产的延续与特定低延迟拓扑场景，新项目选型时应将其视为谨慎选项。

八、参考链接

1. 官方主页：https://storm.apache.org/
2. 3.1.0 发布公告：https://storm.apache.org/2026/09/12/storm310-released.html
3. 官方下载页：https://storm.apache.org/downloads.html
4. ASF 发行目录：https://downloads.apache.org/storm/
5. 3.1.0 概念文档：https://storm.apache.org/releases/3.1.0/Concepts.html
6. 3.1.0 教程：https://storm.apache.org/releases/3.1.0/Tutorial.html
7. GitHub 同步副本：https://github.com/apache/storm