Читать полный материал
RDMA — это механизм прямого доступа к памяти удалённой системы с участием поддерживаемого оборудования и программного стека. Его используют, когда приложение умеет работать с таким транспортом и это помогает конкретной нагрузке. Установка быстрой сетевой карты сама по себе не превращает обычный обмен в RDMA.
Сначала приложение и измеренная проблема
Проверьте, поддерживает ли нужный режим само приложение, протокол хранения или кластерная платформа. Высокая скорость Ethernet не является доказательством такой поддержки. Если узкое место находится в дисках, процессоре или очередях приложения, замена транспорта может не дать ожидаемого эффекта.
Для исходного замера нужны пропускная способность, задержка и загрузка CPU при рабочем профиле обмена. Важно проверять конкурирующие потоки и пиковые режимы, а не только один синтетический тест между двумя свободными серверами. Сравнение с обычным транспортом должно иметь одинаковые условия.
RoCE и InfiniBand — разные варианты сети
RoCE означает RDMA over Converged Ethernet. Для RoCEv2 используется IP/UDP-транспорт, поэтому проект может включать маршрутизируемую сеть. Однако возможность маршрутизации не отменяет требований к сквозной настройке, оборудованию и контролю перегрузок.
InfiniBand — отдельная сетевая технология со своими адаптерами, коммутаторами и управлением fabric. Ethernet-оборудование нельзя считать InfiniBand только потому, что на нём похожий разъём. У отдельных адаптеров бывают разные режимы работы; нужный режим и совместимость проверяют по точному артикулу.
Поддержка нужна по всему пути
В спецификацию входят приложение, ОС, драйвер, прошивка, адаптер, коммутатор, кабель или оптика и схема сети. Наличие RDMA в одной карточке не доказывает пригодность всего тракта. Ускоритель должен получать достаточные ресурсы PCIe и поддерживаться серверной платформой.
Для покупки полезна подтверждённая матрица совместимости выбранного решения. Общие названия ConnectX, RoCE или QSFP не заменяют проверку поколения и исполнения. Обновления драйверов и прошивок планируют с учётом требований приложения, а не только по принципу самая новая версия.
Перегрузки: нельзя обещать один рецепт PFC для всех
Для RoCE важен контроль перегрузок. В документации NVIDIA описаны ECN и варианты использования PFC; при этом наличие устойчивых к потерям реализаций не делает любую Ethernet-сеть готовой к выбранной нагрузке. Требования зависят от адаптеров, стека и поддерживаемого проекта.
Неверно требовать PFC всегда и везде или обещать, что он никогда не нужен. Нужен согласованный набор механизмов и проверка их работы по всему пути. Для эксплуатации определяют классы трафика, наблюдение за перегрузками и влияние на соседние сервисы. Здесь не приводятся команды изменения рабочей сети.
Скорость порта не равна скорости приложения
Помимо линка возможны ограничения PCIe, CPU, памяти, числа потоков и хранилища. Два быстрых порта на карте не гарантируют одновременную работу на суммарной скорости при любом подключении. Нужны ресурсы платформы и профиль приложения.
Кабельная инфраструктура должна соответствовать типам портов и дальности. Для трансиверов сверяют форм-фактор, скорость, совместимость с обоими устройствами и требования линии. Не выбирайте QSFP28 как универсальную замену любому модулю только по похожей фотографии.
Когда RDMA покупать не нужно
Если приложение не поддерживает нужный транспорт или существующий Ethernet удовлетворяет измеренным требованиям, отдельная RDMA-сеть может добавить сложность без полезного результата. Сначала сопоставьте стоимость изменения, сопровождение и проверяемую цель.
Для пилота заранее определите критерии успеха: задержка, полезная скорость, загрузка CPU и поведение при отказе. Отсутствие выигрыша в таком сравнении — основание сохранить более простую схему. Техническая возможность не обязывает использовать её в каждом сервере.
Что включить в подбор сети
Передайте приложение и версию, число узлов, профиль потоков, схему хранения, параметры сервера и PCIe, расстояния и требования к отказоустойчивости. Нужна спецификация всего тракта и перечень поддерживаемых версий, а не только одной сетевой карты.
Для предварительного сравнения используйте адаптеры 100GbE, трансиверы QSFP28 и коммутаторы L3. Эти разделы не являются списком гарантированно совместимых RDMA-компонентов: поддержку подтверждают отдельно для выбранного изделия и проекта.
Частые вопросы
Любая 100GbE-карта поддерживает нужный RDMA-режим?
Нет. Скорость порта не подтверждает поддержку транспорта, драйвера и приложения.
InfiniBand работает на обычном Ethernet-коммутаторе?
Такую совместимость предполагать нельзя. Это разные технологии; нужны соответствующие режимы и оборудование.
PFC обязательно включать для любой RoCE-сети?
Универсального правила нет. Используют поддерживаемый проект для конкретных адаптеров и ПО, проверяя контроль перегрузок.
Авторство и источники
Автор — Сергей Коваль, коммерческий директор ANDPRO. Материал подготовлен при участии AI-ассистента по документации производителей. Собственные испытания не заявлены. Факты сверены 31 октября 2026 года.
