بررسی کامل نسل جدید ابرتراشه‌های NVIDIA GH200 و GB200

پیش از عرضه GH200، هم سرورهای خود NVIDIA و هم سرورهای شرکت‌های ثالث که از GPUهای NVIDIA استفاده می‌کردند، بر پایه پردازنده‌های x86 از Intel یا AMD ساخته می‌شدند. در این معماری، GPUها به‌صورت کارت‌های PCIe یا ماژول‌های ۸ تایی به مادربرد متصل می‌شدند.

در این مدل‌ها، CPU و GPU به‌صورت مستقل عمل می‌کردند. سازندگان سرور می‌توانستند با خرید کارت‌های گرافیکی (مثلاً ۸ عدد A100) و انتخاب پردازنده‌های Intel یا AMD بر اساس هزینه، بازده یا قیمت به‌صرفه، سرور خود را سفارشی‌سازی کنند.

سرورهای نسل بعد: ترکیب NVIDIA CPU و NVIDIA GPU

با ورود ابرتراشه‌ی NVIDIA GH200 در سال ۲۰۲۴، تحول بزرگی در معماری سرورها ایجاد شد. NVIDIA در این سری، CPU و GPU را روی یک ماژول یکپارچه‌سازی کرده است.

در دوران کامپیوترها: در این دوره CPU نقش اصلی داشت و GPU به‌عنوان پردازنده جانبی گرافیکی در نظر گرفته می‌شد.
در دوران دیتاسنترهای هوش مصنوعی: GPU تبدیل به عنصر اصلی شده و حالا CPU به‌عنوان یک جزء فرعی در داخل GPU قرار می‌گیرد.

در نتیجه، NVIDIA حالا نه‌تنها تراشه، بلکه سرور کامل و حتی رک‌های آماده را ارائه می‌دهد.

مشخصات تراشه‌ها

CPU Chip: پردازنده Grace مبتنی بر معماری ARMv9
GPU Chip: سری Hopper و Blackwell
- H100: نسخه اصلی
- H800: نسخه کاهش‌یافته‌ی H100
- H200: نسخه ارتقاءیافته‌ی H100
- H20: نسخه‌ای ضعیف‌تر از H200، حتی پایین‌تر از H800

نمونه‌هایی از محصولات ترکیبی:

Grace CPU + H200 GPU → تراشه GH200 روی یک بُرد

NVIDIA GH200 Chip (Board) Rendering: Left: Grace CPU chip; Right: Hopper GPU chip.

Grace CPU + B200 GPU → ماژول GB200 (شامل 2 CPU و 4 GPU) با خنک‌سازی مایع

NVIDIA GB200 Rendering: A module including 2 Grace CPUs + 4 B200 GPUs, with an integrated liquid cooling module.

در مقیاس بزرگ‌تر، 72 عدد B200 می‌توانند یک رک NVL72 را تشکیل دهند.

NVIDIA GB200 NVL72 Cabinet

طراحی داخلی سرورهای GH200

دیاگرام منطقی تراشه GH200:

ادغام CPU، GPU، RAM و VRAM روی یک تراشه واحد

ترکیب اصلی در GH200:

یک Grace CPU
یک H200 GPU
تا 480GB حافظه CPU (LPDDR5X)
96 یا 144GB حافظه گرافیکی (VRAM) از نوع HBM3 یا HBM3e

اتصالات سخت‌افزاری تراشه:

اتصال CPU به مادربورد: از طریق ۴ مسیر PCIe Gen5 x16 با مجموع سرعت 512GB/s
ارتباط بین CPU و GPU: با فناوری NVLink-C2C با پهنای باند 900GB/s (۷ برابر سریع‌تر از PCIe Gen5)

اتصال داخلی بین GPUها از طریق 18 لینک NVLINK4 انجام می‌شود (هر کدام 900GB/s)

فناوری NVLink-C2C باعث همگام‌سازی حافظه (Memory Coherency) می‌شود، که شامل:

دسترسی یکپارچه به حافظه و VRAM تا سقف 624GB
امکان استفاده هم‌زمان از حافظه توسط CPU و GPU
امکان oversubscribe حافظه گرافیکی با استفاده از حافظه CPU

پردازنده و حافظه

CPU و حافظه

LPDDR5X Memory: پشتیبانی تا 480GB با پهنای باند 500GB/s

Grace CPU: دارای ۷۲ هسته بر پایه معماری Arm Neoverse V2 (ARMv9)

حافظه LPDDR5X تا 480GB

حداکثر پهنای باند: 500GB/s
این نوع حافظه برخلاف DDR بر روی برد لحیم شده و قابل ارتقاء نیست، اما سرعت بالاتر و مصرف انرژی پایین‌تری دارد.

GPU و حافظه گرافیکی

H200 GPU: قدرت محاسباتی بالا و بهره‌گیری از حافظه‌های جدید
گزینه‌های VRAM:
- 96GB HBM3
- 144GB HBM3e با پهنای باند 4.9TB/s (۵۰٪ سریع‌تر از H100 SXM)

نسخه پیشرفته GH200 NVL2

در این پیکربندی، دو تراشه GH200 روی یک برد قرار گرفته و تمام منابع سخت‌افزاری دو برابر می‌شوند (۲ CPU، ۲ GPU، ۲ برابر حافظه).
در یک سرور ۸ بردی:

با GH200 ساده: 8 × (1 GPU + 1 CPU)
با GH200 NVL2: 8 × (2 GPU + 2 CPU)

GH200 & GH200 NVL2 Product Specifications (Computing Power)

سرورها و شبکه‌سازی

NVIDIA MGX + GH200

در این ساختار، هر نود فقط یک GH200 دارد و از PCIe استفاده می‌کند. ارتباط بین نودها از طریق شبکه (NIC و DPU) برقرار می‌شود، مناسب برای بارهای AI کوچک تا متوسط.

NVIDIA NVL32 Cabinet

این کابینت شامل 32 تراشه GH200 است که با استفاده از NVLINK به‌صورت یک GPU منطقی عمل می‌کنند:

حافظه یکپارچه: 19.5 ترابایت
فناوری Extended GPU Memory (EGM)
اتصال چند کابینت از طریق شبکه برای ایجاد کلاسترهای AI بزرگ‌مقیاس