Сетевые карты NVIDIA Mellanox — RDMA-адаптеры ConnectX для ЦОД и кластеров

Чем выделяются карты Mellanox ConnectX

Главное отличие адаптеров Mellanox — зрелая поддержка RDMA: данные передаются напрямую между памятью узлов, минуя процессор. Это снижает задержку и разгружает ЦП, что критично для кластеров, быстрых СХД и баз данных.

• RDMA из коробки. ConnectX поддерживают RoCE (RDMA по Ethernet) и InfiniBand — это снимает нагрузку с процессора на больших потоках.
• Аппаратные разгрузки. Оверлеи (VXLAN), контроль перегрузки, разгрузка хранилища (NVMe-oF) и GPUDirect для прямого обмена с видеопамятью.
• Два мира в одной экосистеме. Часть карт работает и как Ethernet, и как InfiniBand, что упрощает стандартизацию парка под HPC и ЦОД.

Вывод: Mellanox берут не ради «бренда», а ради RDMA и разгрузок — там, где задержка и загрузка ЦП влияют на результат.

Линейка ConnectX: 4, 5, 6, 7

Серии ConnectX отличаются максимальной скоростью и набором разгрузок. Чем новее серия, тем выше потолок полосы и богаче набор аппаратных функций.

Вывод: для СХД и виртуализации часто достаточно ConnectX-4/5, а ConnectX-6/7 берут под GPU-кластеры и InfiniBand, где нужны 200–400 Гбит/с.

RDMA, RoCE и InfiniBand: зачем это

RDMA — это прямой доступ к памяти удалённого узла без участия процессора. На практике это меньшая задержка и больше свободного ЦП под полезную нагрузку, а реализуют RDMA двумя путями.

• RoCE. RDMA поверх обычной Ethernet-сети; требует настройки сети без потерь (управление перегрузкой), зато использует привычную инфраструктуру.
• InfiniBand. Отдельная сетевая технология с низкой задержкой, типичная для HPC и крупных GPU-кластеров; требует своих коммутаторов.
• NVMe-oF и GPUDirect. RDMA ускоряет доступ к удалённым NVMe-накопителям и прямой обмен между GPU узлов.

Вывод: если ваши задачи не используют RDMA, RoCE или InfiniBand, основное преимущество Mellanox не раскроется — тогда проще обычная карта Ethernet.

Ethernet или InfiniBand: какой режим

Режим карты должен совпадать с инфраструктурой сети. Часть адаптеров ConnectX умеет оба режима, но коммутаторы у Ethernet и InfiniBand разные.

• Ethernet (с RoCE). Подходит, если в ЦОД уже Ethernet-фабрика; RDMA включают поверх неё при настройке сети без потерь.
• InfiniBand. Выбирают под HPC и крупные кластеры ради минимальной задержки; нужны коммутаторы InfiniBand и соответствующие кабели.
• Двухрежимные карты. Некоторые ConnectX переключаются между Ethernet и InfiniBand — удобно, если парк ещё стандартизируется.

Вывод: сначала определите фабрику (Ethernet или InfiniBand) и наличие нужных коммутаторов, затем выбирайте карту и режим — это избавит от несовместимости на монтаже.

Когда Mellanox избыточен и частые ошибки

Типичные ошибки при подборе карты Mellanox:

• Купили под RDMA, но сеть не настроена. RoCE требует сети без потерь; без настройки управления перегрузкой выигрыша по задержке не будет.
• Перепутали режим. Карту в режиме InfiniBand подключили к Ethernet-фабрике (или наоборот) — линия не поднимается.
• Слот PCIe не тянет. Для 100–400G нужен слот PCIe x16 актуального поколения, иначе скорость упрётся в шину.
• Забыли модули. Для портов SFP/QSFP трансиверы, DAC и кабели заказывают отдельно под обе стороны линии.

Вывод: ошибки с Mellanox — про настройку RDMA, режим фабрики и слот PCIe; решение планируют целиком — карта, сеть, коммутатор и кабели.

Подбор, цена и счёт с НДС

Цена карты ConnectX зависит от серии, скорости и режима, а полная стоимость решения включает кабели, модули и иногда коммутаторы InfiniBand. Считать стоит всю фабрику, а не одну карту.

• Срок поставки. Позиции в наличии — со склада; по заказным сериям ConnectX срок подтверждает менеджер.
• Гарантия и сервис. Гарантия производителя; поможем подобрать аналог при смене серии и совместимый набор кабелей.
• Что входит. Карта и планка; трансиверы, DAC и кабели — отдельные позиции под вашу топологию.
• Совместимость. Сверим серию со слотом PCIe сервера, гипервизором, фабрикой (Ethernet/InfiniBand) и коммутатором до покупки.
• Документы. Для компаний и ИП — счёт с НДС; возможна поставка по 44-ФЗ и 223-ФЗ, отдельные позиции есть в реестре Минпромторга.

Вывод: бюджет на Mellanox считают решением — карта, кабели/модули, при необходимости коммутаторы и настройка сети; так выигрыш RDMA окупится без сюрпризов.

Что подобрать дальше

Частые вопросы о картах Mellanox