Zesty fügt autonomes GPU-Fractioning für Kubernetes KI-Workloads hinzu.

Wichtigste Erkenntnisse

• Zesty’s Automated Fractional GPUs fügen eine autonome Entscheidungs-Schicht über dem Open-Source-Run:ai GPU-Fractioning-Operator von NVIDIA hinzu.
• Die Lösung verteilt GPU-Speicher und Rechen-Slices in Echtzeit neu, passt sich dem Workload-Bedarf an, ohne manuelles Eingreifen.
• Frühe Benchmarks zeigen 30-45 % höhere GPU-Auslastung und die Fähigkeit, 2-3× mehr KI-Jobs auf derselben Hardware-Fläche auszuführen.
• Für Unternehmen bedeutet das bis zu 40 % Reduktion der GPU-Kosten, während Latenz-SLA-Garantie erhalten bleibt.

Hintergrund: Warum GPU-Fractioning auf Kubernetes wichtig ist

Kubernetes ist zum de-facto Betriebssystem für KI-Workloads geworden. Die CNCF-2025-Cloud-Native-Umfrage berichtet, dass 66 % der Organisationen, die generative-KI-Modelle bedienen, Inferenz auf Kubernetes ausführen【1】. GPU-Ressourcen bleiben jedoch ein Kosten-Flaschenhals: Eine NVIDIA A100 (40 GB) kann 12 k–14 k $ pro Jahr in der Cloud kosten, und viele Cluster arbeiten mit 30-50 % durchschnittlicher Auslastung.

Historisch haben Teams drei statische Sharing-Strategien genutzt:

Diese Ansätze verschwenden entweder Speicher/Rechen-Zyklen oder erfordern manuelles Re-Partitionieren, sobald sich die Nachfrage ändert.

NVIDIA Run:ai – Der erste Schritt zu dynamischem Fractioning

Anfang 2026 hat NVIDIA Run:ai Open-Source gestellt und einen GPU-Fractioning-Operator bereitgestellt, der pro-Pod-Speicher-Caps durchsetzt und sich in den Kubernetes-Scheduler integriert. Während Run:ai definiert, wie eine GPU geschnitten werden kann (z. B. 4 GB- oder 8 GB-Chunks), entscheidet es nicht, welche Workloads diese Slices belegen oder wann sie neu dimensioniert werden sollen.

Zesty’s autonome Schicht: Kontinuierliche, richtlinien-gesteuerte Zuweisung

Zesty baut die fehlende Entscheidungs-Engine:

1. Echtzeit-Telemetrie – Der leichte Agent sammelt alle 5 Sekunden GPU-Speichernutzung, SM-Auslastung und Latenz-Metriken.
2. Richtlinien-Engine – Teams definieren SLAs im Voraus (z. B. ≤ 10 ms Inferenz-Latenz, max. 70 % GPU-Auslastung) und Ressourcen-Limits pro Namespace.
3. Dynamische Platzierung – Mit einer proprietären Heuristik (gewichteter Score + Reinforcement-Learning) bestimmt der Agent:
   • Wie viele Workloads sicher auf einer einzelnen GPU ko-lokalisiert werden können.
   • Den genauen Speicher-Slice für jeden Pod (z. B. 3,2 GB vs. 4 GB).
   • Ob MPS (für Low-Latency-Inference) oder MIG (für Batch-Training) pro Workload verwendet wird.
4. Kontinuierliche Anpassung – Steigt die Nachfrage, kann der Agent einen 12 GB-Slice in zwei 6 GB-Slices aufteilen oder Leerlauf-Slices wieder zu einem größeren Block zusammenführen, alles ohne Pod-Neustarts.

Alle Entscheidungen respektieren die von Administratoren festgelegten Performance-Richtlinien und garantieren, dass kein Workload sein Latenz- oder Verfügbarkeits-Budget überschreitet.

Quantifizierbare Vorteile

In einem Produktionstest bei einem europäischen FinTech-Unternehmen (Berlin) stieg die durchschnittliche GPU-Auslastung von 38 % auf 81 %, sodass das Team vier A100-Nodes stilllegen und die monatlichen GPU-Kosten um ≈ 18 k € senken konnte.

Bereitstellungs-Übersicht

• Agent-Fußabdruck: < 30 MB Container, läuft als DaemonSet.
• Kompatibilität: Funktioniert mit jeder CNCF-zertifizierten Kubernetes-Distribution (EKS, GKE, AKS, OpenShift).
• Integrationspunkte: Kommuniziert mit dem Run:ai GPU-Fractioning-Operator über die Kubernetes-API und mit dem Scheduler über den Extender-Webhook.
• Sicherheit: Operiert mit Nur-Lese-Zugriff auf Node-Metriken; alle Entscheidungen werden in einem audit-fähigen JSON-Stream protokolliert.

Vergleich mit Konkurrenzlösungen

Fazit

Zesty’s Automated Fractional GPU-Fähigkeit verwandelt NVIDIA’s Run:ai von einem statischen Slicing-Tool in ein selbstoptimierendes