Блог
Kubeflow + Argo CD: GitOps MLOps на Kubernetes
Обучайте в Kubeflow, доставляйте через Argo CD — pipelines, Model Registry, KServe и rollback через git revert
На этой странице
Практический гайд по связке Kubeflow (train / evaluate / register) с Argo CD (GitOps deliver / rollback). Полная архитектура, манифесты и антипаттерны — читайте длинная статья.
InferenceService, определение pipeline и platform-компонент reconciliруются из Git. Обучайте и оценивайте в Kubeflow; продвигайте обновлением Git-манифеста; откатывайте через git revert. Держите модели в object storage — Git хранит URI и config, не веса.
Зачем оба инструмента?
Kubeflow отвечает: как вести воспроизводимое обучение и evaluation на GPU? Argo CD отвечает: как доставить полученную модель в production без snowflake-кластеров? Только Kubeflow часто заканчивается ручным kubectl apply для serving. Только Argo CD оставляет вас без первоклассного ML pipeline и системы экспериментов. Вместе они замыкают MLOps-цикл.
Разделение труда
| Concern | Tool | Что живёт в Git |
|---|---|---|
| Pipeline DAGs, TrainJobs, experiments | Kubeflow Pipelines / Trainer | Pipeline YAML / component specs |
| Артефакты модели и lineage | Model Registry + object storage | URI + metadata — не файл весов |
| Serving, canaries, rollbacks | KServe + Argo CD | InferenceService overlays |
| Установка платформы и upgrades | Argo CD Applications | Helm/Kustomize для самого Kubeflow |
End-to-end цикл (как выглядит хороший)
- Data scientist мержит изменение pipeline → Argo CD синхронизирует pipeline CRD.
- Kubeflow запускает обучение на GPU-нодах (опционально в очереди через Kueue).
- Evaluation gates пройдены → URI модели зарегистрирован; PR обновляет prod
InferenceServicestorageUri. - Argo CD видит OutOfSync и выкатывает (сначала canary-трафик).
- Drift или плохие метрики →
git revertвосстанавливает предыдущий URI; Argo CD reconciles.
Пять практик, которые экономят боль
- Отдельные репозитории или папки: platform (установка Kubeflow) vs apps (pipelines + InferenceServices).
- Никогда не коммитьте бинарники моделей — reference
s3:///gs:/// PVC URIs. - Sync waves: MySQL/MinIO (или managed-эквиваленты) до компонентов KFP.
- Resource limits на каждом шаге — training jobs без лимитов задушат кластер.
- Promotion = PR, не кнопка в notebook. Audit trail идёт бесплатно.
Когда этот стек избыточен
Один Mac Studio с Ollama для чат-бота SME не нуждается в Kubeflow + Argo CD. Берите этот паттерн, когда несколько моделей, конкуренция за GPU, требования compliance или больше одной среды (dev/staging/prod), которые должны оставаться идентичными.
Читать длинную версию
The длинная статья охватывает карту Kubernetes MLOps 2026 (KFP v2, Trainer, KServe, Kueue), паттерны Argo CD Application, promotion gates, canary serving, GPU FinOps и чеклист rollout. Опубликовано TenthMatrix.
Ещё из блога
Observability Is Not Optional: Make It a Business Standard
Why fragmented monitoring creates blind spots, duplicate spend, and slow incidents — and how to make centralised observability a non-negotiable company standard.
WSL Vault for Compliance: One Tenant Never Opens Another’s Secrets
How WSL Vault keeps app, team, and environment tenants cryptographically isolated — so a stolen root-style token cannot empty the estate — and why dual-tenant control beats secrets sprawl.
Workstation AI Shop: Promoting the AI Sales Storefront Through int → test → acc → prod
Workstation AI Shop sells GPU machines with a fully autonomous AI Sales Agent that configures the basket. See how Ring Promoter moves each build through int → test → acc → prod — with Orbit screenshots release engineers and stakeholders share.