Run Workloads on Kueue

运行 Kubernetes Job

Mon, 14 Feb 2022 00:00:00 +0000

本页面向您展示如何在启用了 Kueue 的 Kubernetes 集群中运行 Job。

本页面的目标受众是批量用户。

开始之前

确保满足以下条件：

Kubernetes 集群正在运行。
kubectl 命令行工具能够与您的集群通信。
已安装 Kueue。
集群已配置配额。

下图显示了您在本教程中将要学习的所有概念：

0. 识别命名空间中可用的队列

运行以下命令列出您命名空间中可用的 LocalQueues。

运行 CronJob

Tue, 12 Dec 2023 00:00:00 +0000

本页面展示了如何在 Kubernetes 集群中运行带有 Kueue 的 CronJob。

本页面的受众是批处理用户。

开始之前

请确保满足以下条件：

已运行 Kubernetes 集群。
kubectl 命令行工具已与你的集群建立通信。
Kueue 安装文档。
集群已配置配额。

0. 识别你命名空间中的可用队列

运行以下命令以列出你命名空间中的 LocalQueues。

使用 HAMi

Mon, 15 Dec 2025 00:00:00 +0000

此页面演示了如何将 Kueue 与 HAMi（异构 AI 计算虚拟化中间件）结合使用，以进行 vGPU 资源管理的工作负载运行。

当通过 HAMi 使用 vGPU 资源时，Pod 会请求每个 vGPU 的资源（nvidia.com/gpumem、nvidia.com/gpucores）以及 vGPU 的数量（nvidia.com/gpu）。对于配额管理，你需要跟踪所有 vGPU 实例的总资源消耗。

下面我们将演示如何在 Kueue 中使用用于配额管理的资源转换来支持这一点。

本指南适用于对 Kueue 有基本了解的批处理用户。有关更多信息，请参阅 Kueue 概述。

在你开始之前

Deployment 集成默认启用。
请按照使用自定义配置的安装说明配置带有 ResourceTransformation 的 Kueue。
确保你的集群已安装 HAMi 并拥有可用的 vGPU 资源。 HAMi 通过诸如 nvidia.com/gpu、nvidia.com/gpucores 和 nvidia.com/gpumem 等资源提供 vGPU 资源管理。

运行 RayService

Mon, 30 Jun 2025 00:00:00 +0000

本页演示如何利用 Kueue 的调度与资源管理能力运行 RayService 。

Kueue 可以直接管理 RayService，类似其直接管理 RayJob。

本指南面向对 Kueue 有基本了解的、对外提供服务的用户。更多信息，请参见 Kueue 概览。

开始之前

请确保你使用的是 Kueue v0.17.0 或更高版本，以及 KubeRay v1.3.0 或更高版本。
请参见管理集群配额了解初始 Kueue 设置的详细信息。
请参见 KubeRay 安装说明了解 KubeRay 的安装和配置详情。

RayService 定义

在 Kueue 上运行 RayService 时，请考虑以下方面：

运行 LeaderWorkerSet

Mon, 17 Feb 2025 00:00:00 +0000

本页面展示了如何通过运行 LeaderWorkerSet 来利用 Kueue 的调度和资源管理能力。

我们演示了如何支持调度 LeaderWorkerSet，其中一组 Pod 构成由工作负载所表示的准入单元。这允许逐组扩大和缩小 LeaderWorkerSet。

此集成基于普通的 Pod 组集成。

本指南适用于对 Kueue 有基本了解的服务用户。有关更多信息，请参见 Kueue 概述。

开始之前

leaderworkerset.x-k8s.io/leaderworkerset 集成默认启用。
对于 Kueue v0.15 及更早版本，学习如何安装 Kueue 并使用自定义管理器配置，并确保你已启用 leaderworkerset.x-k8s.io/leaderworkerset 集成，例如：
```
apiVersion: config.kueue.x-k8s.io/v1beta2
kind: Configuration
integrations:
 frameworks:
 - "leaderworkerset.x-k8s.io/leaderworkerset"
```
Pod 集成要求

自 Kueue v0.15 起，你不需要显式启用 "pod" 集成即可使用 "leaderworkerset.x-k8s.io/leaderworkerset" 集成。

运行 AppWrapper

Wed, 08 Jan 2025 00:00:00 +0000

本页面展示了在运行 AppWrapper 时，如何利用 Kueue 的调度和资源管理能力。

AppWrapper 提供了一种灵活且与工作负载无关的机制，使 Kueue 能够将一组 Kubernetes 资源作为一个单一的逻辑单元进行管理，而无需这些资源的控制器具备任何 Kueue 特定的支持。

AppWrapper 旨在通过提供额外的自动故障检测和恢复机制来增强工作负载的健壮性。 AppWrapper 控制器会监控工作负载的健康状况，如果主要资源控制器在指定的截止时间内未采取纠正措施，AppWrapper 控制器将协调工作负载级别的重试和资源删除，以确保工作负载要么恢复到健康状态，要么被干净地从集群中移除，并释放其配额供其他工作负载使用。

本指南适用于对 Kueue 有基本了解的批用户。更多信息请参见 Kueue 概述。

开始之前

请查阅管理集群配额以了解 Kueue 的初始设置详情。

为简化设置，请确保你使用的是 Kueue v0.11.0 和 AppWrapper v1.1.1 及以上版本。

有关 AppWrapper Operator 的安装和配置详情，请参见 AppWrapper 快速入门指南。

AppWrapper 定义

在 Kueue 上运行 AppWrapper 时，请注意以下方面：

运行 RayCluster

Wed, 07 Aug 2024 00:00:00 +0000

本页面展示了如何利用 Kueue 的调度和服务管理能力来运行 RayCluster。

本指南适用于批处理用户，他们需要对 Kueue 有基本的了解。更多信息，请参见 Kueue 概述。

开始之前

请确保你使用的是 Kueue v0.6.0 版本或更高版本，以及 KubeRay v1.1.0 或更高版本。
请参见 Administer cluster quotas 了解初始 Kueue 设置的详细信息。
请参见 KubeRay Installation 了解 KubeRay 的安装和配置详情。

注意

在 v0.8.1 之前，你需要重启 Kueue 才能使用 RayCluster。你可以通过运行 kubectl delete pods -l control-plane=controller-manager -n kueue-system 来完成此操作。

RayCluster 定义

当在 Kueue 上运行 RayClusters时，请考虑以下方面：

运行 RayJob

Wed, 07 Aug 2024 00:00:00 +0000

本页面展示了如何利用 Kueue 的调度和服务管理能力来运行 KubeRay 的 RayJob。

本指南适用于批处理用户，他们基本了解 Kueue。更多信息，请参见 Kueue 概览。

开始之前

请确保你使用 Kueue v0.6.0 版本或更高版本，以及 KubeRay v1.1.0 或更高版本。
请参见管理集群配额了解初始 Kueue 设置的详细信息。
请参见 KubeRay 安装文档了解 KubeRay 的安装和配置详情。

注意

在 v0.8.1 之前，你需要重启 Kueue 才能使用 RayJob。你可以通过运行 kubectl delete pods -l control-plane=controller-manager -n kueue-system 来完成此操作。

RayJob 定义

当运行 RayJobs时，请考虑以下方面：

运行 Deployment

Thu, 25 Jul 2024 00:00:00 +0000

本页面展示了在运行 Deployment 时如何利用 Kueue 的调度和资源管理能力。虽然 Kueue 尚不支持将 Deployment 作为单个工作负载进行管理，但仍然可以利用 Kueue 的调度和资源管理能力来管理 Deployment 中的各个 Pod。

我们演示了如何基于 Plain Pod 集成在 Kueue 中支持调度 Deployment，其中 Deployment 中的每个 Pod 都被表示为一个独立的 Plain Pod。这种方法允许对 Pod 进行独立的资源管理，从而实现 Deployment 的扩容和缩容。

本指南适用于对 Kueue 有基本了解的服务用户。更多信息，请参见 Kueue 概述。

开始之前

deployment 集成默认启用。

运行 StatefulSet

Thu, 25 Jul 2024 00:00:00 +0000

本页面展示了如何利用 Kueue 的调度和服务资源管理能力来运行 StatefulSet。

我们演示了如何支持基于 Plain Pod Group 集成来调度 StatefulSet，其中 StatefulSet 被表示为一个独立的负载。

本指南适用于服务用户他们具有基本的 Kueue 理解。更多信息，请参见 Kueue 概览。

开始之前

默认情况下已启用 statefulset 集成。
对于 Kueue v0.15 及更早版本，学习如何安装 Kueue 并配置自定义管理器版本，并确保你启用了 v1/statefulset 集成，例如：
```
apiVersion: config.kueue.x-k8s.io/v1beta2
kind: Configuration
integrations:
 frameworks:
 - "pod" # required by statefulset
 - "statefulset"
```
同时，请参见运行 Plain Pod 了解如何启用和配置 pod 集成。

运行普通 Pod

Wed, 27 Sep 2023 00:00:00 +0000

本页面展示了如何在运行普通 Pod 时利用 Kueue 的调度和资源管理功能。 Kueue 支持管理单个 Pod 或一组 Pod。

本指南适用于对 Kueue 有基本了解的批处理用户。更多信息请参见 Kueue 概述。

开始之前

pod 集成默认启用。
对于 Kueue v0.15 及更早版本，学习如何使用自定义管理器配置安装 Kueue 并启用 pod 集成。

为了允许 Kubernetes 系统 Pod 成功调度，您必须限制 pod 集成的范围。推荐的机制是使用 managedJobsNamespaceSelector。

一种方法是仅对特定命名空间启用管理：
```
apiVersion: config.kueue.x-k8s.io/v1beta2
kind: Configuration
managedJobsNamespaceSelector:
 matchLabels:
 kueue-managed: "true"
integrations:
 frameworks:
 - "pod"
```
另一种方法是免除系统命名空间的管理：

使用 DRA 设备运行工作负载

Sun, 22 Mar 2026 00:00:00 +0000

本页面向你展示如何在启用了 Kueue 的 Kubernetes 集群中运行请求由动态资源分配 (DRA) 管理的硬件设备（比如 GPU）的工作负载。示例使用了 batch Job，但同样的方法适用于 Kueue 支持的任何类型的工作负载。

本页面的目标受众是 batch users。

有关 Kueue 如何处理 DRA 资源的概念性细节，请参考动态资源分配的概念.

开始之前

请确保满足以下条件：

一个正在运行的 Kubernetes 集群。
kubectl 命令行工具可以与集群通信。
已安装 Kueue。
集群已配置配额，并在 ClusterQueue 包含了 DRA 资源。
你的管理员已经在 Kueue 中设置了 DRA 的支持。

0. 确定命名空间中可用的队列

运行下面这个命令，列出你的 namespace 中可用的 LocalQueues。

运行 JobSet

Fri, 16 Jun 2023 00:00:00 +0000

本指南解释了如何使用 Kueue 的调度和资源管理功能运行 JobSet Operator JobSet。

本指南适用于批处理用户，他们需要对 Kueue 有基本的了解。更多信息，请参见 Kueue 概览。

开始之前

请参见管理集群配额了解初始 Kueue 设置的详细信息。
请参见 JobSet 安装文档了解 JobSet Operator 的安装和配置详情。

注意

在 v0.8.1 之前，为了使用 JobSet，你需要重启 Kueue。你可以通过运行 kubectl delete pods -l control-plane=controller-manager -n kueue-system 来完成此操作。

JobSet 定义

当在 Kueue 上运行 JobSet时，请考虑以下方面：

Mon, 01 Jan 0001 00:00:00 +0000

title: “使用 Python 运行 Job” linkTitle: “Python” date: 2023-07-05 weight: 7 description: 在启用了 Kueue 的环境里运行 Job

本指南适用于批处理用户他们具有基本的 Python 与 Kubernetes 交互经验。更多信息，请参见 Kueue 概述。

开始之前

检查管理集群配额了解初始集群设置的详细信息。你还需要安装 uv。每个示例脚本包含内联脚本元数据 (PEP 723)，因此 uv run 会自动创建隔离环境并安装所需的依赖项。

Run Workloads on Kueue

运行 Kubernetes Job

开始之前

0. 识别命名空间中可用的队列

运行 CronJob

开始之前

0. 识别你命名空间中的可用队列

使用 HAMi

在你开始之前

运行 RayService

开始之前

RayService 定义

运行 LeaderWorkerSet

开始之前

Pod 集成要求

运行 AppWrapper

开始之前

AppWrapper 定义

运行 RayCluster

开始之前

注意

RayCluster 定义

运行 RayJob

开始之前

注意

RayJob 定义

运行 Deployment

开始之前

运行 StatefulSet

开始之前

运行普通 Pod

开始之前

使用 DRA 设备运行工作负载

开始之前

0. 确定命名空间中可用的队列

运行 JobSet

开始之前

注意

JobSet 定义

title: “使用 Python 运行 Job” linkTitle: “Python” date: 2023-07-05 weight: 7 description: 在启用了 Kueue 的环境里运行 Job

开始之前