跳到主要内容
启动项目

博客

Kubeflow + Argo CD：Kubernetes 上的 GitOps MLOps

用 Kubeflow 训练，用 Argo CD 交付——流水线、Model Registry、KServe，以及经 git revert 回滚

  • Balinder Walia
  • 阅读约 1 分钟
  • Updated
本页内容

将 Kubeflow（训练 / 评估 / 注册）与 Argo CD（GitOps 交付 / 回滚）配对的实用指南。完整架构、manifest 与反模式，请阅读 长文章.

Kubernetes 上的 Kubeflow 与 Argo CD GitOps MLOps

一段话版。 Kubeflow 掌管 Kubernetes 上的 ML 生命周期——流水线、训练作业、model registry 与 KServe。Argo CD 掌管交付：每一个 InferenceService、流水线定义与平台组件均从 Git 调和。在 Kubeflow 中训练与评估；通过更新 Git manifest 晋级；回滚用 git revert。把模型放在对象存储——Git 存 URI 与配置，不存权重。

为何两者都要？

Kubeflow 回答：我们如何在 GPU 上做可复现的训练与评估？ Argo CD 回答：我们如何把得到的模型交付到生产，而不造雪花集群？只用 Kubeflow 往往止于手工 kubectl apply 用于服务。仅用 Argo CD 会缺少一流的 ML 流水线与实验系统。两者合起来形成闭环 MLOps。

分工

关注点 工具 Git 中存什么
流水线 DAG、TrainJobs、实验Kubeflow Pipelines / Trainer流水线 YAML / 组件规格
模型产物与血缘Model Registry + object storageURI + 元数据——不是权重文件
服务、金丝雀、回滚KServe + Argo CDInferenceService overlays
平台安装与升级Argo CD ApplicationsKubeflow 本身用 Helm/Kustomize

端到端闭环（好的样子是什么样）

  1. 数据科学家合并流水线变更 → Argo CD 同步流水线 CRD。
  2. Kubeflow 在 GPU 节点上运行训练（可选经 Kueue 排队）。
  3. 评估门禁通过 → 注册模型 URI；PR 更新生产 InferenceService storageUri.
  4. Argo CD 检测到 OutOfSync 并上线（先金丝雀流量）。
  5. 漂移或指标变差 → git revert 恢复先前 URI；Argo CD 进行调和。

帮你少踩坑的五项实践

  • 分离仓库或文件夹： 平台（Kubeflow 安装）vs 应用（pipelines + InferenceServices）。
  • 切勿提交模型二进制文件 — 参考 s3:// / gs:// / PVC URIs。
  • Sync waves： 在 KFP 组件之前准备好 MySQL/MinIO（或托管等价物）。
  • 每一步的资源限制 — 无限制的训练作业会饿死集群。
  • 晋级 = PR， 不是笔记本里的一个按钮。审计轨迹免费附带。

何时这套栈过重

一台运行 Ollama 的 Mac Studio 服务中小企业聊天机器人，并不需要 Kubeflow + Argo CD。当你有多个模型、GPU 争用、合规需求，或必须保持一致的多个环境（dev/staging/prod）时，再采用这一模式。

相关阅读。 我们已发布聚焦 Argo CD 与 Flux 的 GitOps 概览： Kubernetes Continuous Delivery：用 ArgoCD 与 Flux 的 GitOps 流水线。本文是面向 ML 的配套文——把 Kubeflow 纳入闭环。

阅读长文版本

该 长文章 涵盖 2026 Kubernetes MLOps 地图（KFP v2、Trainer、KServe、Kueue）、Argo CD Application 模式、晋级门禁、金丝雀服务、GPU FinOps 与上线清单。发布方为 TenthMatrix.

更多博客文章