Multi-Cluster Job dispatching on Kueue

在多集群环境中运行 Deployment

Mon, 17 Feb 2025 00:00:00 +0000

开始之前

请查阅 MultiKueue 安装指南了解如何正确设置 MultiKueue 集群。
按照运行普通 Pod的步骤，了解如何启用和配置 Pod 集成，这对于启用 Deployment 集成是必需的。

Deployment 会实时接收在工作集群创建的远程 Pod 的状态，并更新。

Feature state beta since Kueue v0.11.0

注意

在当前实现中，当在有多个工作集群的环境中创建 Deployment 时，Pod 会被分配到任意工作集群。

示例

完成设置后，你可以通过运行以下示例进行测试：

在多集群环境中运行普通 Pod

Mon, 17 Feb 2025 00:00:00 +0000

开始之前

请查阅 MultiKueue 安装指南了解如何正确设置 MultiKueue 集群。
按照运行 Plain Pod的步骤，了解如何启用和配置 pod 集成。

在管理集群上创建的 Pod 会自动被管控，并实时接收来自远程副本的状态更新。

Feature state beta since Kueue v0.11.0

示例

完成设置后，你可以通过运行以下示例进行测试：

在多集群中运行 StatefulSet

Wed, 15 Jan 2025 00:00:00 +0000

开始之前

检查 MultiKueue 安装指南以了解如何正确设置 MultiKueue 集群。

Pod 集成要求

自 Kueue v0.15 起，你不需要显式启用 "pod" 集成即可使用 "statefulset" 集成。

对于 Kueue v0.14 及更早版本，必须显式启用 "pod" 集成。

有关配置详情，请参阅运行普通 Pod。

运行 StatefulSet 示例

一旦设置完成，你可以通过运行下面的示例来测试它：

在多集群环境中运行 Job

Tue, 05 Nov 2024 00:00:00 +0000

开始之前

请查阅 MultiKueue 安装指南了解如何正确设置 MultiKueue 集群。

MultiKueue 在工作集群上执行的 Job 的当前状态会实时同步到管理集群。

这样，用户和自动化工具可以在不访问工作集群的情况下，直接跟踪 Job 的状态（.status），从而实现 MultiKueue 的透明化。

示例

完成设置后，你可以通过运行以下示例进行测试：

在多集群中运行 TrainJob

Thu, 06 Nov 2025 00:00:00 +0000

开始之前

查阅 MultiKueue 安装指南以了解如何正确设置 MultiKueue 集群。

为了简化设置和使用，我们建议至少使用 Kueue v0.11.0 版本以及 Kubeflow Trainer 至少 v2.0.0 版本。

查看 Trainer 安装获取 Kubeflow Trainer v2 的安装和配置详情。

注意

TrainJob 是 Kubeflow Trainer v2 的一部分，它引入了一个统一的 API 用于所有训练框架。它取代了 Trainer v1 中特定于框架的工作类型（PyTorchJob、TFJob 等）。

对于遗留的 Kubeflow Jobs（v1），请参阅在多集群中运行 Kubeflow Job。

MultiKueue 集成

完成设置后，你可以通过运行一个 TrainJob sample-trainjob 来测试它。

在多集群环境中运行 AppWrappers

Mon, 23 Jun 2025 00:00:00 +0000

开始之前

请查阅 MultiKueue 安装指南了解如何正确设置 MultiKueue 集群。

为方便安装和使用，建议至少使用 Kueue v0.11.0 及 AppWrapper Operator v1.1.1 及以上版本。

有关 AppWrapper Operator 的安装和配置详情，请参见 AppWrapper 快速入门指南。

注意

MultiKueue 对 AppWrappers 的支持在 Kueue v0.11.0 之前的版本中不可用。

MultiKueue 集成

完成设置后，你可以通过运行 AppWrapper appwrapper-pytorch-sample.yaml进行测试。

在多集群环境中运行 Jobset

Wed, 25 Sep 2024 00:00:00 +0000

开始之前

请查阅 MultiKueue 安装指南了解如何正确设置 MultiKueue 集群。

为方便安装和使用，建议至少使用 Kueue v0.8.1 和 JobSet v0.6.0（更多详情见 JobSet 安装文档）。

运行 Jobset 示例

完成设置后，你可以通过运行 jobset-sample.yaml Job 进行测试。

在多集群环境中运行 KubeRay Job

Wed, 19 Mar 2025 00:00:00 +0000

开始之前

请查阅 MultiKueue 安装指南了解如何正确设置 MultiKueue 集群。

为方便安装和使用，建议至少使用 Kueue v0.11.0 及 KubeRay Operator v1.3.1 及以上版本。

有关 KubeRay Operator 的安装和配置详情，请参见 KubeRay Operator 安装文档。

注意

在 Kueue（低于 v0.11.0）支持 ManagedBy 特性之前， 管理集群上的 KubeRay Operator 安装必须仅限于 CRD。

要安装 CRD，请运行：

kubectl create -k "github.com/ray-project/kuberay/ray-operator/config/crd?ref=v1.3.0"

MultiKueue 集成

完成设置后，你可以通过运行 RayJob ray-job-sample.yaml进行测试。

在多集群环境中运行 Kubeflow Job

Wed, 25 Sep 2024 00:00:00 +0000

开始之前

请查阅 MultiKueue 安装指南了解如何正确设置 MultiKueue 集群。

为方便安装和使用，建议使用 Kueue v0.11.0 和 Kubeflow Trainer v1.9.0 以上版本。

有关 Trainer 的安装和配置详情，请参见 Trainer 安装文档。

注意

在 Kueue（低于 v0.11.0）支持 ManagedBy 特性之前，管理集群上的 Kubeflow Trainer 安装必须仅限于 CRD。

要安装 CRD，请运行：

kubectl apply -k "github.com/kubeflow/trainer.git/manifests/base/crds?ref=v1.9.0"

MultiKueue 集成

完成设置后，你可以通过运行其中一个 Kubeflow Job（如 PyTorchJob sample-pytorchjob.yaml）进行测试。

在多集群中运行外部框架 Job

Fri, 19 Sep 2025 00:00:00 +0000

Feature state alpha since Kueue v0.14

开始之前

检查多 Kueue 安装指南以了解如何正确设置多 Kueue 集群。
启用 MultiKueueAdaptersForCustomJobs 特性门控。此特性处于 Alpha 阶段，默认情况下是禁用的。

要启用此特性，请将 --feature-gates=MultiKueueAdaptersForCustomJobs=true 标志添加到 Kueue 控制器管理器的参数中。例如，你可以使用以下命令将其应用到你的部署中：
```
kubectl patch deployment kueue-controller-manager -n kueue-system \
 --type='json' -p='[{"op": "add", "path": "/spec/template/spec/containers/0/args/-", "value": "--feature-gates=MultiKueueAdaptersForCustomJobs=true"}]'
```
确保 Kueue 控制器对你的外部 GVK 有权限。以 Tekton PipelineRuns 为例：

在多集群环境中运行 MPIJob

Fri, 25 Oct 2024 00:00:00 +0000

开始之前

请查阅 MultiKueue 安装指南了解如何正确设置 MultiKueue 集群。

为保证正确安装和使用，需至少使用 Kueue v0.9.0 及 MPI Operator v0.6.0。

集群上的安装

注意

注意：MPI Operator 和 Trainer 必须同时运行在同一集群上，但 Trainer 部署需做特殊配置。详见与 MPI Operator 协同工作。

有关 MPI Operator 的安装和配置详情，请参见 MPI Operator 安装文档。

在多集群中运行 LeaderWorkerSet

Fri, 16 Jan 2026 00:00:00 +0000

在你开始之前

查阅 MultiKueue 安装指南以了解如何正确设置 MultiKueue 集群。

工作原理

LeaderWorkerSet 每个副本创建一个 Workload，这在 MultiKueue 中需要特殊处理。

来自 LeaderWorkerSet 的所有 Workload 会被原子性地分配到同一个工作集群：