# Gouvernance des LLM en Production : TrustyAI & Guardrails sur Red Hat OpenShift AI

> Comment intégrer la conformité EU AI Act, la détection de drift et les guardrails d'inférence en temps réel à l'aide de TrustyAI et KServe.

- **Date de publication** : 2026-09-10T08:30:00.000Z

---

Déployer des modèles de fondation en environnement d'entreprise ne se résume pas à maximiser le débit de génération (tokens/sec) ou à optimiser la mémoire GPU. Face aux impératifs réglementaires (**EU AI Act**) et à la criticité des données métier, la gouvernance de l'IA doit être intégrée dès la couche plateforme d'infrastructure.

L'intégration de **TrustyAI** et des passerelles de **Guardrails** au sein de **Red Hat OpenShift AI (RHOAI)** permet d'automatiser l'auditabilité, la détection de dérive et la conformité sans dégrader les performances d'inférence.

---

### 1. Les 4 piliers de la gouvernance LLM à l'échelle
Dans une architecture d'IA d'entreprise multi-tenants, quatre exigences fondamentales doivent être traitées en continu :
1. **Interception asynchrone & Payload Logging :** Capture transparente des prompts et des complétions via des sidecars TrustyAI, sans pénaliser la latence premier jeton (*Time to First Token* - TTFT).
2. **Détection de dérive (Data & Concept Drift) :** Évaluation statistique continue (tests de Kolmogorov-Smirnov, distance de Wasserstein) pour identifier l'obsolescence des embeddings ou les altérations de distribution des requêtes réelles.
3. **Équité & Explicabilité (Fairness & Explainability) :** Calcul en temps réel des métriques de biais algorithmique (Disparate Impact Ratio - DIR, Statistical Parity Difference - SPD) et explications locales via **LIME** ou **SHAP**.
4. **Guardrails d'inférence dynamiques :** Filtrage à la volée des injections de prompt (*prompt injection*), blocage des fuites de données sensibles (PII / RGPD) et atténuation des hallucinations avant livraison de la réponse à l'utilisateur.

---

### 2. Architecture de déploiement sous Red Hat OpenShift AI
Au cœur de l'écosystème OpenShift AI, TrustyAI opère comme un service managé natif Kubernetes :
* **Déploiement déclaratif par Operator :** Déploiement via le `TrustyAIService` Custom Resource couplé aux `ServingRuntimes` KServe et vLLM.
* **Corrélation des métriques avec Prometheus & Grafana :** Export natif des scores d'équité et de drift sous forme de métriques Prometheus pour déclencher des alertes automatisées.
* **Stockage immuable des traces :** Archivage sécurisé des payloads d'inférence pour répondre aux exigences d'audit réglementaire et de traçabilité légale.

---

### 3. Impact et Compétences dans le Cursus AS300
Au sein d'Aperta Scientia, la gouvernance de l'IA est enseignée comme une discipline d'ingénierie système critique :
* **Cursus AS300 (AI Platform Engineer — 399h) :** Instrumentation de TrustyAI sur clusters bare-metal, configuration des sidecars KServe, sécurisation des passerelles d'inférence et préparation aux exigences de l'EU AI Act.
* **Cursus AS200 (DevOps Platform Engineer) :** Mise en place des politiques d'isolation multi-tenants et du monitoring unifié sous OpenShift.

---

### 4. Sources & Références Techniques
* **TrustyAI Open Source Project :** [TrustyAI GitHub & Documentation](https://github.com/trustyai-explainability/trustyai-service)
* **Red Hat OpenShift AI Model Governance :** [Red Hat OpenShift AI Documentation](https://docs.redhat.com/en/documentation/red_hat_openshift_ai/)
* **NVIDIA NeMo Guardrails & KServe Integration :** [NeMo Guardrails Documentation](https://github.com/NVIDIA/NeMo-Guardrails)

---

*Source : https://aperta.io/fr/radar/2026-09-10-trustyai-llm-guardrails-governance-openshift-ai/ — Aperta Scientia Tech Radar*