CloudQuery 6.50 介绍与选型指南

CloudQuery 开源 CLI 数据集成（ELT）工具全景介绍：6.50.0 版本现状、Hub 登录墙与商业化变化、插件生态实测数据，以及与 Airbyte/Fivetran/Meltano 的量化选型对比

CloudQueryCloudQueryELT数据集成ETL数据仓库2026/11/03

CloudQuery 6.50 介绍与选型指南

一、CloudQuery 是什么

CloudQuery 是一款开源的 CLI 形态数据集成（ELT）工具：以单个二进制命令行的方式，把云厂商 API、SaaS 服务、数据库、文件等「源端」数据抽取出来，经过可选的转换（transformer 插件），批量写入 PostgreSQL、S3、DuckDB、ClickHouse 等「目标端」数据库。它的官方定位是面向云资产清单（Cloud Asset Inventory）、CSPM（云安全态势管理）、FinOps（云成本管理）与漏洞管理场景的数据管道（来源：github.com/cloudquery/cloudquery 仓库简介，查询日期 2026-11-03）。

与 Airbyte、Fivetran 这类「平台型」数据集成产品不同，CloudQuery 的核心交付物就是一个 无守护进程的命令行工具：

  • 不依赖任何中心调度服务，一条 cloudquery sync config.yml 就完成一次全量/增量同步；
  • 配置即文件：源、目标、转换全部用 YAML 描述，天然适合 GitOps 与代码评审；
  • 插件进程隔离：每个 source/destination/transformer 是独立可执行文件，由 CLI 以 gRPC（插件协议 v3）拉起子进程通信，插件崩溃不影响 CLI 本身；
  • 同步结果直接落在你自己的数据库里，用 SQL 就能查数据、查同步元数据（cloudquery_sync_summaries 表）。

本文基于 CloudQuery CLI 6.50.0（撰写时最新稳定版）的实测环境撰写，配套三篇实操文档：

二、版本与项目现状（实测溯源）

2.1 最新版本核实

通过 GitHub 官方 releases 订阅源（https://github.com/cloudquery/cloudquery/releases.atom，查询日期 2026-11-03，直连超时后改走代理获取）核实，仓库最新一条发布为 cli-v6.50.0，即 CLI 主程序版本线：

<title>cloudquery/cloudquery Release cli-v6.50.0</title>
<title>plugins-destination-duckdb: v6.4.2</title>
<title>plugins-source-square: v1.3.36</title>
...

monorepo 采用「双版本线」发布模式：cli-vX.Y.Z 是 CLI 本体，plugins-<插件名>-vX.Y.Z 是各插件独立版本。同一天（2026-11-02）发布的 6.50.0 CHANGELOG 头条是：

## [6.50.0](https://github.com/cloudquery/cloudquery/compare/cli-v6.49.0...cli-v6.50.0) (2026-11-02)
### Miscellaneous Tasks
* Drop support for source plugins on protocol v1 and v2

即 6.50 起 CLI 不再支持协议 v1/v2 的老 source 插件，只接受 protocol v3+ 插件——选型时若需复用多年前的自研老插件，这是硬性门槛。

2.2 社区与许可（查询日期 2026-11-03）

指标数值（实测）
GitHub 仓库github.com/cloudquery/cloudquery
Star 数6,551
仓库许可证MPL-2.0（Mozilla Public License 2.0）
开发语言Go（插件为独立二进制）
发布节奏CLI 与插件各自独立高频发布（releases.atom 可见每日多次发布）

注意两点许可细节：

  1. 仓库顶层为 MPL-2.0，但官方插件模块采用 BUSL-1.1（实测 destination-postgresql 的 go.mod 中 plugin-sdk 依赖标注 // BUSL-1.1），商用集成前需评估；
  2. 2026 年起官方插件的分发渠道（CloudQuery Hub）要求登录，详见 2.3。

2.3 2026 年商业化关键变化：Hub 登录墙

这是当前选型 CloudQuery 必须知道的事实。实测（详见安装部署篇）：

  • 在 spec 中使用 registry: cloudquery（官方插件默认写法）时，cloudquery test-connection 直接报 Error: unauthorized. Try logging in via \cloudquery login``；
  • cloudquery login --help 明确写着："Login to CloudQuery Hub. This is required to download plugins from CloudQuery Hub. Local plugins and different registries don't need login."
  • 免费档（如 postgresql destination，tier=free）同样需要登录；cloudquery logout 帮助页写明 "You may still be able to download plugins from CloudQuery Hub depending on your plan and plugin tiers."——即下载权限与套餐/插件档位挂钩；
  • 官方定价页（www.cloudquery.io/pricing，查询日期 2026-11-03）：Free 计划 $0，含 1M 行同步量上限、50+ 云/安全/FinOps 源；Enterprise 计划按年订阅、定制报价。

规避方式（本专栏实测采用）：用 registry: github 的社区插件，或 registry: local 自编译官方插件，均可完全匿名离线运行。

三、架构与插件生态

3.1 三层结构

┌────────────────────────────────────────────┐
│ cloudquery CLI（单二进制，Go）              │
│  init / validate-config / migrate / sync    │
└───────┬──────────────┬──────────────┬───────┘
        │ gRPC 协议 v3  │              │
   source 插件     transformer 插件   destination 插件
  （取数+状态）    （列级转换/脱敏）   （写入+迁移+汇总）
  • source：负责读表结构与数据，支持全量与增量（依赖 backend_options 状态存储）；
  • destination：负责 schema 自动迁移与批量写入，PostgreSQL 目标端还内置 cloudquery_sync_summaries 同步审计表；
  • transformer：数据在「源→目标」管道中逐条流经的转换插件，官方提供 basic（加列/脱敏/改名/拆表/过滤行）、jsonflattener（JSON 列展平）、awsrelations（付费）三种（实测插件目录 API 返回 kind=transformer 共 3 个）。

3.2 插件目录规模（实测）

通过 Hub 目录 API（https://api.cloudquery.io/plugins，查询日期 2026-11-03）实测统计：共 162 个插件，其中 destination 14 个（postgresql v8.19.0、s3、clickhouse、duckdb、mysql、sqlite、file、meilisearch、kafka、eventhub、azureblob、arrowflight、http、gcs）。source 覆盖 AWS/Azure/GCP 全系、K8s、GitHub、Okta、Cloudflare、SaaS（Salesforce、Jira、Notion 等）、数据库（postgresql/mysql/oracle/sqlserver/mongo）及 xkcd、hackernews、coinpaprika 等免凭证演示源。类别含 cloudsecurity、networking、database、aiops、finance、identity 等 20 余类；tier 字段区分 free/paid（如 file source 已标 paid，postgresql destination 为 free）。

14 个官方 destination 按用途分组（目录 API 实测归纳）：

分组destination典型用法
关系库postgresql、mysql、sqlite直接 SQL 分析，postgresql 为首选（本专栏实测目标端）
分析库/嵌入式clickhouse、duckdb大表聚合分析、本地即席查询
对象存储s3、gcs、azureblob数据湖落地，再经外部表进数仓
消息/流kafka、eventhub二次分发下游
文件/服务file、arrowflight、http、meilisearch直写文件、联邦查询、搜索索引

3.3 数据模型约定（实测）

任何 source 的表写入 destination 时，自动附加四个 _cq_ 前缀元数据列（实测建表 DDL）：

列类型语义
_cq_iduuid行唯一键（默认随机；source 的 deterministic_cq_id: true 可改为按内容确定性生成）
_cq_parent_iduuid指向父表行的 _cq_id，表达资源嵌套关系（如 EC2 实例 → 其块设备）
_cq_source_namestring记录来源 source 名
_cq_sync_timetimestamp记录写入时间

destination 还会在目标库维护 cloudquery_sync_summaries 审计表（CLI 版本、插件版本、每表资源数、错误数、耗时、状态错误），排障与容量核算 SQL 一查便知；CLI 侧另有 --summary-location JSONL 台账（见 D1 篇 §7.3）。云资源间的父子关系由 tables 通配与 skip_dependent_tables 控制（见 C1 篇）。

四、量化选型对比

对比对象：CloudQuery、Airbyte、Fivetran、Meltano（数据除注明外均为 2026-11-03 实测/查证）。

维度CloudQueryAirbyteFivetranMeltano
开源/许可MPL-2.0（插件 BUSL-1.1）ELv2/MIT 混合（NOASSERTION）闭源 SaaSMIT
GitHub Star6,55122,308无开源仓库2,675
交付形态单二进制 CLI，无守护进程Java 平台（Docker/K8s 全家桶）全托管 SaaSPython CLI + dbt
运行方式cloudquery sync xx.yml平台内配置任务，Web UI 驱动网页配置，按连接计费meltano run，编排 dbt
插件/连接器162（实测目录 API）300+（官方宣称，未逐一核实）750+（官方宣称）数百（ Singer 生态）
目标端PostgreSQL/S3/DuckDB/ClickHouse 等 14 种仓库类为主（PG/Snowflake/BigQuery）云仓为主云仓为主（依赖 Singer tap/target）
计费点按同步行数（Free 档 1M 行，官方定价页）开源免费自托管；Cloud 按连接计费按 MAR（月活跃记录）计费完全免费
无账号可用可以（github/local registry，实测）可以（Docker 部署）不可以（纯商业）可以（pip 安装）
增量状态存目标库（backend_options，实测）平台内部管理平台内部管理存项目仓库/state
同步审计目标库 cloudquery_sync_summaries 表（实测）平台 UI/日志控制台报表日志/元数据仓库
上手成本极低（装个二进制）中高（起平台）低（但要花钱）中（Python/dbt 栈）

各家定位一句话

  • Airbyte（《Airbyte 2.0 介绍与选型指南》）：平台型 ELT，Web UI + 调度 + 大量连接器，适合团队化、多管道的数据工程；
  • Fivetran：全托管闭源，连接器最全、运维为零，按量付费贵，适合预算充足要省人的团队；
  • Meltano：code-first 的 Singer 编排器，与 dbt 深度绑定，适合已有 dbt 分析栈的工程团队；
  • CloudQuery：CLI 单二进制 + SQL 即结果，云安全/云资产场景开箱即用，适合 DBA/平台组轻量自建。

五、何时选 CloudQuery

适合：

  1. 云资产清单 / CSPM / FinOps：官方 50+ 云与安全源开箱即用，schema 自动迁移到 PostgreSQL，直接 SQL 出报表；
  2. 轻量自建 ELT：不想养 Airbyte 那样的平台，一台服务器一个二进制 + cron 即可；
  3. 已有 PostgreSQL 体系（参考 《PostgreSQL 18.6 介绍与选型指南》）：目标端首选 PG，元数据、同步审计、状态全落库，运维口径统一；
  4. 离线/合规环境：github/local registry + 自编译插件可完全脱离官方账号（本专栏实测路线）；
  5. 数据量中小：官方 Free 档 1M 行/同步量的额度内可零成本起步，超量再评估。

不适合：

  1. 需要复杂跨管道编排、SLA 告警、多租户 Web 控制台——选 Airbyte/Fivetran；
  2. 目标端在数仓（Snowflake/BigQuery）为主——CloudQuery 官方 destination 以 PG/S3/DuckDB 系为主，数仓侧覆盖不如两者（S3/GCS 中转可解）；
  3. 重度依赖 2023 年前的自研 protocol v1/v2 老 source 插件——6.50 已移除支持（实测 CHANGELOG）；
  4. 不能接受插件二进制来自官方 Hub 需登录（可走自编译，但有构建维护成本）。

速查表

你的场景建议
云资产清单 / CSPM / FinOps，单机自建CloudQuery（官方 50+ 云安全源，schema 自动进 PG）
已有 PostgreSQL 体系，想轻量加一条 ELT 链路CloudQuery（一个二进制 + cron，无平台负担）
内网/合规离线环境CloudQuery 走 registry: local 自编译（B1 篇实测路线）；或 Meltano
多管道、多团队、要 Web 控制台与调度Airbyte
完全不想运维、按量付费可接受Fivetran
已有 dbt 分析栈，只做批量抽取Meltano（Singer 生态）+ dbt
目标端只有 Snowflake/BigQuery不选 CloudQuery（官方 destination 未覆盖，需 S3/GCS 中转）

六、与站内生态的搭配

CloudQuery 在本专栏的定位是「数据进入数据库之前的最后一公里」：

本专栏学习路径（四篇）

顺序篇目解决什么问题
1本文（A1）是什么、能不能用、和谁比怎么选
2《CloudQuery 6.50 安装部署指南》（B1）二进制安装、init、Hub 登录墙应对、源码构建插件、首次同步与数据验证、cron/systemd 调度
3《CloudQuery 6.50 配置参数详解》（C1）spec 全字段：registry 鉴权差异、backend_options 增量状态、transformer、write_mode/migrate_mode、日志
4《CloudQuery 6.50 常用 CLI 命令详解》（D1）12 个子命令逐个实测：sync 的 summary/shard/metrics、upgrade check 退出码语义、脚本化实践

四篇的命令与输出全部来自同一套实测环境（CloudQuery 6.50.0 + PostgreSQL 16），可按 B1 → C1 → D1 顺序边读边复现。

七、常见问题（FAQ）

Q1：CloudQuery 和 dbt 是什么关系？冲突吗？ 不冲突，分工不同。CloudQuery 做 EL（抽取+装载），把源数据搬进 PostgreSQL；dbt 做 T（库内建模）。典型链路：cloudquery sync → PG 原始表 → dbt 建模。CloudQuery 的 transformer 只做逐条轻转换（脱敏/加列/展平），不要指望它替代 dbt。

Q2：不注册 CloudQuery 账号能不能用？ 能，但要用对 registry。官方 Hub（registry: cloudquery）下载插件必须 cloudquery login 或设置 CLOUDQUERY_API_KEY（实测报 unauthorized）；registry: github（社区插件）与 registry: local（自编译二进制）完全匿名可用，本专栏 B1 篇有从零实测的完整流程。

Q3：6.50.0 这个版本有什么要注意的？ CHANGELOG 实测：6.50.0（2026-11-02）移除了 protocol v1/v2 source 插件支持。升级前用 cloudquery validate-config 与 cloudquery upgrade check --to <版本>（见 D1 篇）预检插件兼容性。

Q4：官方插件的 license 到底是什么？ 仓库顶层 MPL-2.0；插件模块依赖的 plugin-sdk 标注 BUSL-1.1（实测 go.mod 注释）。内部自建使用无虞，把插件二进制二次分发进商业产品前建议法务评估。

Q5：同步出来的数据长什么样？有没有元数据？ 每张表自动附加 _cq_id（行唯一键）、_cq_parent_id（父子表关联）、_cq_source_name、_cq_sync_time 四列元数据（实测建表 DDL），destination 还会写 cloudquery_sync_summaries 审计表（含 CLI 版本、插件版本、资源数、错误数、耗时），排障时 SQL 一查便知。

八、参考链接

CloudQuery 6.50 介绍与选型指南 - Quzuo