# Déploiement LLM sur Kubernetes : Chunked Prefill et PagedAttention en Production

> Comment stabiliser la latence TTFT et supprimer la fragmentation VRAM lors du déploiement de LLMs sur clusters Kubernetes et OpenShift.

- **Date de publication** : 2026-09-02T09:00:00.000Z

---

Déployer des modèles de langage à grande échelle sur Kubernetes ne se résume pas à instancier un Pod avec une allocation GPU déclarative.

---

### 1. La saturation des pipelines sous forte concurrence
En charge réelle d'entreprise, la phase de *prefill* (saturée en calcul) étouffe la phase de *decode* (saturée en bande passante mémoire), provoquant l'effondrement du *Time-To-First-Token* (TTFT) et une forte gigue de latence.

---

### 2. La découplage d'exécution avec vLLM et KServe
L'intégration conjointe du **Chunked Prefill** et de **PagedAttention** transforme l'ordonnancement de l'inférence :
* **Fragmentation VRAM quasi-nulle :** Les blocs de KV-Cache sont alloués à la demande dans des pages mémoire non contiguës.
* **Latence P99 prédictible :** Le découpage du prefill évite les blocages d'itération et maintient un débit de génération constant.
* **Utilisation déterministe de la mémoire GPU :** Évite les erreurs OOM (*Out Of Memory*) en gérant dynamiquement les files d'attente d'inférence.

---

### 3. Travaux Pratiques & Compétences AS300
Ces mécanismes constituent le socle technique du cursus **AS300 (AI Platform Engineer)** d'Aperta Scientia :
* Configuration fine des runtimes KServe sous OpenShift.
* Dimensionnement des pools de GPU NVIDIA Tensor Core.
* Métriques Prometheus et observabilité temps réel de l'inférence.
---

### 4. Sources & Références Techniques
* **Kubernetes GPU Scheduling & Topology :** [Kubernetes Official Docs](https://kubernetes.io/docs/concepts/extend-kubernetes/compute-storage-net/device-plugins/)
* **vLLM KV Cache & Memory Management :** [vLLM Core Architecture](https://blog.vllm.ai)
* **KServe vLLM Runtime on OpenShift :** [KServe GitHub](https://github.com/kserve/kserve)

---

*Source : https://aperta.io/fr/radar/2026-09-02-kubernetes-llm-serving-chunked-prefill-pagedattention/ — Aperta Scientia Tech Radar*