Читать полный материал
NUMA и серверная память: как топология процессора влияет на доступ к RAM
В двухсокетном сервере память физически подключена к конкретному процессору, а не к серверу в целом. Поэтому обращение к локальной памяти быстрее, чем к памяти другой NUMA-ноды.
В статье — официальная механика NUMA по документации ядра Linux, Microsoft, VMware и AMD: что такое NUMA-нода, чем локальный доступ к памяти отличается от удалённого, как устроен интерконнект между сокетами, и как гипервизоры VMware ESXi и Hyper-V официально учитывают эту топологию при размещении виртуальных машин — включая честный разбор того, что происходит, когда ВМ больше одной физической NUMA-ноды. Про заполнение слотов памяти внутри одного сокета — в статье «Каналы серверной памяти: заполнение слотов».
Что разобрано в статье
NUMA-нода
Официальное определение: сокет плюс его локальная память по документации ядра Linux и Microsoft.
Локально vs удалённо
Официальная разница в скорости доступа — Linux kernel, VMware, AMD.
vNUMA
Официальная механика VMware ESXi: home node, планировщик, wide VM.
Hyper-V NUMA
Официальный механизм NUMA spanning и правила размера ВМ.
ВМ больше ноды
Официальный компромисс: больше памяти для ВМ vs выше задержка доступа.
Что такое NUMA и зачем она нужна
NUMA — архитектура многопроцессорного сервера, в которой память распределена по узлам и доступ к разным областям имеет разную задержку. Она нужна, чтобы масштабировать суммарную пропускную способность памяти без одной общей шины для всех процессоров.
В NUMA-сервере каждый процессорный узел сочетает вычислительные ядра и локальную память. Вместо одной общей шины, как в классическом SMP, доступ к памяти другого узла проходит через межпроцессорное соединение.
NUMA-нода: сокет и его локальная память
NUMA-нода — группа процессоров и памяти. Для процессора память его ноды является локальной, а память другой ноды — удалённой; ОС представляет эти ресурсы отдельными узлами.
На серверных платформах число NUMA-нод на сокет может настраиваться в BIOS. Для большинства нагрузок обычно используют одну ноду на сокет, а высокопараллельные сценарии иногда выигрывают от более детального деления. Поэтому число нод не всегда совпадает с числом физических сокетов.
Локальный доступ к памяти против удалённого
Доступ к памяти своей ноды быстрее и даёт большую пропускную способность, чем обращение к памяти удалённой ноды. NUMA-aware приложение старается выделять данные и выполнять обрабатывающие их потоки в одной ноде.
Использование ресурсов одной ноды даёт более предсказуемую производительность, а распределение между нодами увеличивает задержки. Производители описывают эффект качественно; универсальной паспортной цифры в процентах или наносекундах для всех серверов нет.
Интерконнект между сокетами: Intel UPI и AMD Infinity Fabric
Intel UPI связывает процессоры и повышает межпроцессорную пропускную способность в многосокетных системах. Это развитие более раннего межсоединения QPI.
У AMD аналогичную роль играет Infinity Fabric: она связывает чиплеты, память и ввод-вывод, поддерживает согласованность кэшей и используется для соединения сокетов в двухпроцессорной системе.
vNUMA в VMware ESXi: home node и планировщик
Планировщик ESXi назначает виртуальной машине домашнюю ноду и старается брать память и вычислительные ресурсы из неё. vNUMA показывает гостевой ОС эту топологию, чтобы она и приложения могли сохранять локальность данных.
vNUMA обычно включается для машин с числом vCPU больше восьми и строится по топологии физического хоста в момент первого запуска. Включение CPU Hot Add отключает vNUMA для этой виртуальной машины.
NUMA в Hyper-V: spanning и размер ВМ
Hyper-V также проецирует виртуальную NUMA-топологию в ВМ и по умолчанию старается сопоставить её физическому хосту. Без NUMA spanning машина не может получить больше логических ядер, чем доступно в одной физической ноде.
Если одной физической ноды не хватает, Hyper-V может выделить память из другой ноды — это NUMA spanning. Dynamic Memory нельзя одновременно использовать с полноценной virtual NUMA-топологией.
Когда виртуальная машина больше одной NUMA-ноды
ВМ с числом vCPU больше количества ядер в физической ноде размещается на нескольких узлах и может получить более высокую среднюю задержку памяти. Исключение — нагрузки, ограниченные пропускной способностью памяти: им иногда полезна суммарная пропускная способность нескольких нод.
NUMA spanning позволяет запустить больше ВМ и дать одной машине больше памяти, но может снизить предсказуемость производительности. vNUMA следует по возможности сопоставлять физической топологии, избегая отображения одной виртуальной ноды на множество частичных физических нод.
Частые вопросы
Насколько медленнее удалённая память по сравнению с локальной?
Официально — заметно медленнее, но без конкретной цифры. Ни Intel, ни AMD, ни Microsoft, ни VMware не публикуют вендорскую цифру в процентах или наносекундах для этой разницы — только качественные формулировки «быстрее» и «медленнее». Любая конкретная цифра в интернете, скорее всего, получена в конкретном тесте на конкретном железе, а не является официальным паспортным значением.
Что такое широкая виртуальная машина?
По официальной терминологии VMware — виртуальная машина с числом vCPU больше, чем ядер в одной физической NUMA-ноде. Такая машина размещается сразу на нескольких узлах и может испытывать более высокую среднюю задержку доступа к памяти, чем машина, полностью помещающаяся в одну ноду — за исключением нагрузок, которым важнее суммарная пропускная способность памяти, а не задержка.
Может ли виртуальная машина использовать память нескольких физических серверов сразу?
Нет, NUMA — это архитектура одного физического сервера с несколькими процессорными сокетами. NUMA-нода — это конкретный сокет и его локальная память внутри одной машины; «удалённый» доступ в контексте NUMA означает обращение к памяти другого сокета в том же корпусе, а не к другому серверу.
Обязательно ли ограничивать виртуальную машину размером одной NUMA-ноды?
Нет, это компромисс, а не жёсткое правило. По официальной документации и VMware, и Microsoft, выход за пределы одной ноды (NUMA spanning / wide VM) позволяет выделить машине больше ресурсов ценой потенциально более высокой средней задержки — конкретное решение зависит от чувствительности нагрузки к задержке против необходимого объёма ресурсов.
Как включение CPU Hot Add влияет на vNUMA в VMware?
По официальной документации VMware, включение CPU HotAdd для виртуальной машины официально отключает для неё vNUMA — то есть гостевая ОС перестаёт видеть NUMA-топологию узла, даже если сама машина физически размещена в конкретной NUMA-ноде.
Поможете подобрать серверную конфигурацию с учётом NUMA-топологии под нашу нагрузку?
Да. Пришлите тип нагрузки (базы данных, виртуализация, HPC) и требования к памяти на info@andpro.ru или через форму на /services/ — подберём процессоры, конфигурацию памяти и настройки NUMA под задачу.
Авторство и ответственность
Материал подготовлен для блога ANDPRO / ООО «АНД-Системс» как информационная статья о механике NUMA-архитектуры серверных процессоров и памяти. Статья не заменяет индивидуальный подбор конфигурации сервера и настроек виртуализации под конкретную нагрузку.
Материал подготовлен при участии AI-ассистента, прошёл фактчекинг и редакторскую вычитку. Формулировки проверены против официальной документации ядра Linux, Microsoft, VMware и AMD — см. sources.md.
Для подбора серверной конфигурации под вашу нагрузку обратитесь в ANDPRO: info@andpro.ru, +7 (495) 545-48-70, +7 (800) 707-78-15.
Дата последнего обновления материала: 23 сентября 2026 года.
