运行 Kubeflow on Kueue

运行 JAXJob

Wed, 23 Apr 2025 00:00:00 +0000

此页面展示了在运行 Trainer JAXJob 时，如何利用 Kueue 的调度和资源管理能力。

本指南适用于对 Kueue 有基本了解的批处理用户。欲了解更多信息，请参阅 Kueue 概述。

开始之前

检查管理集群配额，以获取有关初始集群设置的详细信息。

查阅 Trainer 安装指南。

请注意，Trainer 的最低要求版本是 v1.9.0。

你可以修改已安装版本的 Kueue 配置，以将 JAXJob 添加到允许的工作负载中。

Note

为了使用 Trainer，在 v0.8.1 之前，你需要在安装后重启 Kueue。你可以通过运行以下命令来实现：kubectl delete pods -l control-plane=controller-manager -n kueue-system。

JAXJob 定义

a. 队列选择

目标本地队列应当在 JAXJob 配置的 metadata.labels 部分中指定。

运行 PaddleJob

Fri, 22 Sep 2023 00:00:00 +0000

此页面展示了在运行 Trainer PaddleJob 时，如何利用 Kueue 的调度和资源管理能力。

本指南适用于对 Kueue 有基本了解的批处理用户。欲了解更多信息，请参阅 Kueue 概述。

开始之前

查阅管理集群配额，以获取初始集群设置的详细信息。

查阅 Trainer 安装指南。

请注意，Trainer 最低版本要求为 v1.7.0。

你可以修改已安装版本的 Kueue 配置，以添加 PaddleJob 到允许的工作负载中。

注意

要使用 Trainer，在 v0.8.1 之前，你需要在安装后重启 Kueue。你可以通过运行以下命令来实现：kubectl delete pods -l control-plane=controller-manager -n kueue-system。

PaddleJob 定义

a. 队列选择

目标本地队列应在 PaddleJob 配置的 metadata.labels 部分中指定。

运行 XGBoostJob

Thu, 14 Sep 2023 00:00:00 +0000

此页面展示了在运行 Trainer XGBoostJob 时，如何利用 Kueue 的调度和资源管理能力。

本指南适用于对 Kueue 有基本了解的批处理用户。欲了解更多信息，请参阅 Kueue 概述。

开始之前

请查看管理集群配额，以了解初始集群设置的详细信息。

查阅 Trainer 安装指南。

请注意，Trainer 的最低要求版本是 v1.7.0。

你可以修改已安装版本的 Kueue 配置，以包含 XGBoostJobs 作为允许的工作负载。

Note

要 v0.8.1 版本之前使用 Trainer，你需要在安装后重启 Kueue。你可以通过运行以下命令来实现：kubectl delete pods -l control-plane=controller-manager -n kueue-system。

XGBoostJob 定义

a. 队列选择

目标本地队列应在 XGBoostJob 配置的 metadata.labels 部分中指定。

运行 TFJob

Wed, 23 Aug 2023 00:00:00 +0000

此页面展示了在运行 Trainer TFJob 时，如何利用 Kueue 的调度和资源管理能力。

本指南适用于对 Kueue 有基本了解的批处理用户。欲了解更多信息，请参阅 Kueue 概述。

开始之前

请查看管理集群配额，以获取初始集群设置的详细信息。

请查阅 Trainer 安装指南。

请注意，Trainer 的最低要求版本是 v1.7.0。

你可以修改已安装版本的 Kueue 配置，以将 TFJob 添加到允许的工作负载中。

注意

TFJob 定义

a. 队列选择

目标本地队列应当在 TFJob 配置的 metadata.labels 部分指定。

运行 PyTorchJob

Wed, 09 Aug 2023 00:00:00 +0000

本页面展示了在运行 Trainer PyTorchJob 时，如何利用 Kueue 的调度和资源管理能力。

本指南适用于对 Kueue 有基本了解的批处理用户。欲了解更多详情，请参见 Kueue 概述。

开始之前

查阅管理集群配额，了解初始集群设置的详细信息。

查阅 Trainer 安装指南。

请注意，Trainer 的最低版本要求是 v1.7.0。

你可以修改已安装版本的 Kueue 配置，以将 PyTorchJob 包括为允许的工作负载。

注意

PyTorchJob 定义

a. 队列选择

目标本地队列应当在 PyTorchJob 配置的 metadata.labels 部分指定。

运行 MPIJob

Tue, 16 May 2023 00:00:00 +0000

本页面展示了在运行 MPI Operator MPIJob 时，如何利用 Kueue 的调度和资源管理能力。

本指南适用于对 Kueue 有基本了解的批处理用户。更多信息，请参阅 Kueue 概述。

开始之前

查阅管理集群配额，以获取初始集群设置的详细信息。

查阅 MPI Operator 安装指南。

Note

MPI Operator 的最低版本要求为 v0.8.0。

你可以修改已安装版本的 Kueue 配置，以将 MPIJob 添加到允许的工作负载中。

Note

要在 v0.8.1 版本之前使用 Trainer，你需要在安装后重启 Kueue。你可以通过运行以下命令来实现：kubectl delete pods -l control-plane=controller-manager -n kueue-system。

Note

在同时使用 MPI Operator 和 Trainer 时，需要禁用 Trainer 的 MPIJob 选项。需要修改 Trainer 部署，以启用除 MPIJob 之外的所有 Kubeflow 作业，如此处所述。

MPI Operator 定义

a. 队列选择

目标本地队列应在 MPIJob 配置的 metadata.labels 部分中指定。

运行 SparkApplication

Mon, 17 Nov 2025 00:00:00 +0000

Feature state alpha since Kueue v0.17

此页面展示了在运行 Spark Operator SparkApplication 时，如何利用 Kueue 的调度和资源管理能力。

本指南适用于对 Kueue 有基本了解的批处理用户。欲了解更多信息，请参阅 Kueue 概述。

Note

SparkApplicationIntegration 目前仍处于 Alpha 测试阶段，默认情况下处于禁用状态。

要启用它，需要激活 SparkApplicationIntegration 特性门控，并将 sparkoperator.k8s.io/sparkapplication 添加为允许的工作负载。

在你开始之前

在 Kueue 中启用 SparkApplication 集成。你可以修改已安装版本的 Kueue 配置，以将 sparkoperator.k8s.io/sparkapplication 作为允许的工作负载。

启用 SparkApplicationIntegration 特性门控。有关特性门控配置的详细信息，请参阅安装指南。

检查管理集群配额，以获取初始集群设置的详细信息。

查阅 Spark Operator 安装指南。