Серверы для машинного обучения: NVIDIA, AMD и HUAWEI

Серверы для машинного обучения: NVIDIA, AMD и HUAWEI

ML-кластер

Высокопроизводительные системы для обучения нейросетей

Требования к ML-инфраструктуре

Современные серверы для машинного обучения должны обеспечивать:

  • Обработку экзабайтов данных
  • Поддержку распределенного обучения
  • Интеграцию с TensorFlow/PyTorch

Ключевые параметры 2024:

  • Производительность ≥ 1 PFLOPS (FP16)
  • Память ≥ 80 ГБ на GPU
  • Масштабируемость до 1000 GPU

Серверы NVIDIA для машинного обучения

Платформа NVIDIA для машинного обучения на базе DGX H100:

ПараметрDGX H100HGX A100
Tensor Cores576432
Память HBM394 ГБ80 ГБ
NVLink скорость900 ГБ/с600 ГБ/с
NVIDIA DGX

Кластер NVIDIA DGX SuperPOD для глубокого обучения

Серверы AMD для машинного обучения

Серверы AMD на базе Instinct MI300X:

  • 192 ГБ HBM3 памяти
  • Поддержка ROCm 6.0
  • Интеграция с PyTorch через HIP

Преимущества решений AMD:

  • Стоимость TFLOPS на 25% ниже
  • Открытая экосистема ПО
  • PCIe 5.0 x16

Серверы HUAWEI для машинного обучения

Китайские решения на базе Atlas 900:

ПараметрAtlas 900Ascend 910B
FP16 Производительность256 PFLOPS128 PFLOPS
Память32 ГБ HBM224 ГБ HBM2
СпециализацияКомпьютерное зрениеNLP
HUAWEI Atlas

Кластер HUAWEI Atlas для задач NLP

Производительность

Тестирование ResNet-50 (изображения/сек):

СистемаFP32FP16
NVIDIA DGX H10012,50028,000
AMD MI300X9,80021,500
HUAWEI Atlas 9007,20016,800

Поддержка фреймворков

Ключевые технологии:

  • NVIDIA: CUDA, cuDNN, TensorRT
  • AMD: ROCm, MIOpen, ONNX Runtime
  • HUAWEI: MindSpore, CANN

Рекомендации

Критерии выбора:

  • NVIDIA: Для сложных моделей и больших данных
  • AMD: Бюджетные решения с открытым стеком
  • HUAWEI: Локальные проекты в Азии

Учитывайте требования к обучению моделей и размеру датасетов.


Наши предложения:

Dell PowerEdge R740XD A100 A40 A16 A30 A10 A2 T4

Категория товара
Сервер
DGX/HGX/PCI/AMD
PCI Express
Форм-фактор
2U
GPU
A100 / A40 / A30 / A16 / A10 / A2 / T4
Макс. кол-во GPU
8
Серия CPU
Intel Xeon Scalable 2
Кол-во CPU
2
Кол-во дисков
32
Форм фактор дисков
2,5 дюйма / 3.5 дюйма
Кол-во DIMM
24
Артикул
R740XD
Производитель
Dell
Тип охлаждения
Воздушное охлаждение
Платформа сервера
x86
Сертифицирован Nvidia
Да
GPU Type
  • A100
  • A40
  • A30
  • A16
  • A10
  • A2
  • T4
  $0
шт

HPE ProLiant DL360 Gen10 Plus A2 T4

Категория товара
Сервер
DGX/HGX/PCI/AMD
PCI Express
Форм-фактор
1U
GPU
A2 / T4
Макс. кол-во GPU
2
Серия CPU
Intel Xeon Scalable 2 / Intel Xeon Scalable 3
Кол-во CPU
1
Кол-во дисков
10
Форм фактор дисков
2,5 дюйма
Кол-во DIMM
16
Артикул
P39886-B21
Производитель
HPE
Тип охлаждения
Воздушное охлаждение
Платформа сервера
x86
Сертифицирован Nvidia
Да
GPU Type
  • A2
  • T4
  $0
шт

GIGABYTE R282-G30 Rev. 100 A100 A40

Категория товара
Сервер
DGX/HGX/PCI/AMD
PCI Express
Форм-фактор
2U
GPU
A100 / A40
Макс. кол-во GPU
3
Серия CPU
Intel Xeon Scalable 3
Кол-во CPU
2
Кол-во дисков
12
Форм фактор дисков
2,5 дюйма / 3.5 дюйма
Кол-во DIMM
32
Артикул
6NR282G30MR-00-1
Производитель
GIGABYTE
Тип охлаждения
Воздушное охлаждение
Платформа сервера
x86
Сертифицирован Nvidia
Да
GPU Type
  • A100
  • A40
  $0
шт

GIGABYTE G593-ZD2-A Rev. 1.x H100

Категория товара
Сервер
DGX/HGX/PCI/AMD
HGX Baseboard
Форм-фактор
2U
GPU
H100
Макс. кол-во GPU
8
Серия CPU
AMD EPYC 9004
Кол-во CPU
2
Кол-во дисков
8
Форм фактор дисков
2,5 дюйма
Кол-во DIMM
24
Артикул
G593-ZD2-A Rev. 1.x
Производитель
GIGABYTE
Тип охлаждения
Воздушное охлаждение
Платформа сервера
x86
Сертифицирован Nvidia
Да
GPU Type
  • HGX H100 8GPU
  $386 500
шт