Temel Çıkarımlar
- NVIDIA OpenShell Referans Mimarisi, veri merkezi ve uç ortamlar için kurumsal AI ajanları için hazır, güvenli-çalışma zamanı yığını sunar.
- Temel yapı taşları Vera Rubin (GPU-hızlandırmalı hesaplama), Vera CPUs (ARM-tabanlı sunucu işlemcileri), BlueField DPUs ve Sentry güvenlik firmware’i, ayrıca açık kaynak OpenShell çalışma zamanı içerir.
- Mimari, Nemotron-80B gibi kapalı ve açık kaynak temel modelleri destekler ve RTX Spark, DGX Spark ve DGX Station gibi uç platformlarda dağıtılabilir.
- Sürekli, bant dışı izleme ve silikon içi politika uygulaması, perakende, sağlık, üretim, robotik, yazılım ve telekom sektörlerinde otonom ajanların saldırı yüzeyini azaltır.
Giriş: Neden Ayrı Bir AI-Ajan Mimarisi Önemlidir
Kuruluşlar, perakendede envanter optimizasyon botlarından hastanelerde tanı asistanlarına kadar kritik iş akışlarına otonom AI ajanları entegre etmektedir. Geleneksel AI yığınları yerleşik kısıtlama, gözlemlenebilirlik ve politika uygulaması eksikliği nedeniyle veri sızıntısı, model kayması ve kötü niyetli davranış riskine açık bırakır. NVIDIA’nın OpenShell Referans Mimarisi (OSA), güvenli çalışma zamanı yazılımını amaç-göre tasarlanmış donanımla birleştirerek AI ajanları için uçtan uca, üretim-düzeyi bir ortam sunar.
OpenShell Referans Mimarisi’nin Temel Bileşenleri
1. NVIDIA OpenShell Güvenli Çalışma Zamanı
- Açık kaynak çerçeve (GPL-v3) her ajanı izole bir sandbox konteynerinde çalıştırır.
- TPM-2.0 arayüzü aracılığıyla donanım-köklenmiş doğrulama ve kriptografik anahtar yönetimi sağlar.
2. Vera Rubin Hesaplama Platformu
| Specification | Detail |
|---|---|
| GPU family | H100 NVL (8 × HBM3, 2 TB/s memory bandwidth) |
| FP8 Tensor Performance | 1.2 PFLOPs per GPU |
| Supported models | Nemotron-80B (80 B parameters), Nemotron-22B, custom fine-tuned LLMs |
| Power envelope | 350 W per node |
| Scaling | Up to 64 GPUs per chassis via NVLink 4.0 |
Vera Rubin, kapalı-kaynak tescilli modeller ve açık-kaynak temel modeller için ham AI gücünü sağlar.
3. Vera CPUs – ARM-Tabanlı Sunucu İşlemcileri
- Neoverse-V1 mikro mimarisi üzerine inşa edilmiştir.
- 96 cores (8 × 12-core kümeler) @ 3.0 GHz.
- 2 TB/s bellek bant genişliği (DDR5-5600).
- Doğrudan GPU/DPU bağlanması için entegre PCIe 5.0 x16 hatları.
Vera CPU’lar ajan kollarını barındırır, iş yükü dağıtımını düzenler ve veri ön işleme ve politika değerlendirme gibi GPU-ağır olmayan görevleri yürütür.
4. BlueField DPUs with NVIDIA Sentry
| Feature | Value |
|---|---|
| DPU model | BlueField-3 DPU |
| CPU cores | 8 × ARM Cortex-A78 |
| Network throughput | 200 Gbps Ethernet (4 × 50 GbE) |
| Off-load capabilities | Encryption, firewall, IDS/IPS, telemetry |
| Sentry framework | Continuous out-of-band monitoring, in-silicon policy enforcement |
DPU’lar “güvenlik kapısı” görevi görerek ağ ve depolama I/O işlemlerini boşaltır; Sentry ise ajan davranışını önceden tanımlanmış politikalara karşı sürekli denetler.
5. Uç-Optimizeli Platformlar
- RTX Spark: Tek bir RTX A6000 GPU (48 GB GDDR6) ve yerleşik BlueField-2 DPU ile ön-yerleşim çıkarımı için kompakt iş istasyonu.
- DGX Spark: 4-GPU (RTX A6000) uç sunucu, 1 TB NVMe depolama ve çift BlueField-3 DPU.
- DGX Station: Alan-servisi AI ajanları için mobil iş istasyonu (2 × RTX A6000, 2 × Vera CPU).
Bu platformlar, gecikme ve veri-egemenliğinin kritik olduğu uzak sitelere güvenli OSA yığınını genişletir.
Endüstriler Arası Genişletilebilirlik
| Industry | Typical Edge Use-Case | OSA Benefits |
|---|---|---|
| Retail | Real-time shelf-stocking bots | Secure data capture, low-latency inference |
| Healthcare | AI-assisted imaging triage | Patient-data isolation, audit trails |
| Manufacturing | Predictive maintenance agents | Hardened firmware, deterministic response |
| Robotics | Autonomous navigation controllers | In-silicon safety policies, rapid model updates |
| Software Development | Code-generation copilots | Containerized sandbox, policy-driven API access |
| Telecommunications | Network-optimizing agents | DPUs handle packet inspection, Sentry enforces QoS |
Karşılaştırma: Geleneksel AI Yığını vs. NVIDIA OpenShell Mimarisi
| Aspect | Traditional Stack | NVIDIA OpenShell Architecture |
|---|---|---|
| Runtime Isolation | OS-level containers, no hardware attestation | OpenShell sandbox + TPM attestation |
| Security Monitoring | Agent-level logs (post-mortem) | Sentry continuous out-of-band telemetry |
| Policy Enforcement | Software firewalls, manual updates | In-silicon DPU policies |
