# Observabilité GenAI : Standardiser la télémétrie des ServingRuntimes LLM avec OpenTelemetry

> Comment les conventions sémantiques OpenTelemetry GenAI unifient la mesure du TTFT, de la latence inter-token et du KV-cache sous vLLM et KServe.

- **Date de publication** : 2026-09-08T08:30:00.000Z

---

Déployer des ServingRuntimes LLM (**vLLM**, **KServe**) sur des clusters Kubernetes et OpenShift sans métriques d'inférence standardisées revient à naviguer à l'aveugle dès les premières montées en charge.

La stabilisation des **conventions sémantiques OpenTelemetry pour l'IA générative (GenAI Semantic Conventions)** établit enfin un standard universel pour monitorer, tracer et optimiser les performances des modèles en production.

---

### 1. Pourquoi les métriques applicatives traditionnelles sont insuffisantes
Dans un service HTTP ou gRPC classique, la latence globale de requête (*duration*) suffit généralement à évaluer la santé du service. Pour un LLM en streaming, cette approche masque les goulets d'étranglement réels :
* **Time to First Token (TTFT) :** Mesure la durée de la phase de *prefill* (ingestion du prompt et calcul initial du KV-Cache). Un TTFT qui s'envole traduit une saturation en calcul GPU ou des files d'attente saturées.
* **Inter-Token Latency (ITL / Time per Output Token) :** Mesure le temps moyen entre chaque token généré durant la phase de *decode*. Une ITL dégradée indique une contention de bande passante mémoire VRAM.
* **Utilisation et saturation des tokens :** Le suivi granulaire des tokens d'entrée et de sortie est indispensable pour la gestion fine des quotas multi-tenants et l'anticipation des OOM (*Out-of-Memory*).

---

### 2. L'apport des conventions OpenTelemetry GenAI
En intégrant nativement ces conventions sémantiques dans les pipelines d'export (**Prometheus**, **Vector**, collecteurs OpenTelemetry sous OpenShift) :
* **Métriques standardisées :** `gen_ai.server.time_to_first_token`, `gen_ai.server.inter_token_latency`, `gen_ai.client.token.usage`.
* **Traces distribuées unifiées :** Corrélation directe entre les spans de génération LLM, les appels aux bases vectorielles (RAG) et les requêtes applicatives clientes.
* **Pilotage dynamique de l'autoscaling :** Utilisation des SLI OpenTelemetry pour déclencher l'autoscaling horizontal (KEDA / HPA) avant la saturation des nœuds GPU.

---

### 3. Impact Pédagogique dans les Cursus Aperta Scientia
* **Cursus AS300 (AI Platform Engineer) :** Module dédié à l'observabilité LLM, à l'instrumentation des ServingRuntimes vLLM/KServe et à la création de tableaux de bord Grafana temps réel corrélés aux métriques matérielles NVIDIA.
* **Cursus AS200 (DevOps Platform Engineer) :** Intégration de la stack d'observabilité complète (Prometheus, Grafana, OpenShift Monitoring) et alerting proactif piloté par SLOs.

---

### 4. Sources & Références Techniques
* **OpenTelemetry GenAI Semantic Conventions :** [OpenTelemetry Official Specification](https://opentelemetry.io/docs/specs/semconv/gen-ai/)
* **vLLM Metrics & Prometheus Integration :** [vLLM Production Metrics](https://docs.vllm.ai/en/latest/serving/metrics.html)
* **KServe Observability & Telemetry :** [KServe Telemetry Guide](https://kserve.github.io/website/)

---

*Source : https://aperta.io/fr/radar/2026-09-08-opentelemetry-genai-semantic-conventions-llm-observability/ — Aperta Scientia Tech Radar*