ECC, RDIMM, LRDIMM, UDIMM — разница для серверов простым языком

Что такое ECC и как она исправляет одиночные битовые ошибки

Оперативная память ошибается. Заряд в ячейке DRAM может самопроизвольно измениться из-за космического излучения, электрических наводок, деградации ячейки или банального перегрева. Результат — «перевёрнутый» бит: записали 0, прочитали 1. По данным крупного исследования Google и Университета Торонто, проводившегося на парке серверов в течение двух с половиной лет, корректируемые ошибки памяти за год затрагивают заметную долю работающих модулей — это не экзотика, а фоновое явление любого ЦОД.

Для домашнего ПК перевёрнутый бит — это в худшем случае вылет игры. Для сервера — испорченная транзакция в базе данных, повреждённый блок в журнале файловой системы или «тихая» порча данных, которую заметят через месяцы. Поэтому серверная память использует ECC — Error-Correcting Code, код коррекции ошибок.

Как это работает. Обычный модуль хранит и передаёт 64 бита данных за такт. ECC-модуль — 72 бита: к каждым 64 битам данных добавляются 8 контрольных, рассчитанных по коду Хэмминга. На модуле для этого физически распаяна дополнительная микросхема памяти — поэтому ECC-планку легко узнать по «лишнему» чипу (9 вместо 8 или 18 вместо 16).

При каждом чтении контроллер памяти заново вычисляет контрольные биты и сравнивает с записанными. Схема называется SEC-DED — Single Error Correction, Double Error Detection: одиночная битовая ошибка исправляется на лету, прозрачно для операционной системы; двойная — гарантированно детектируется, и система получает сигнал (machine check), вместо того чтобы молча работать с испорченными данными.

Почему on-die ECC в DDR5 — это не то же самое. Частый вопрос: «в DDR5 ECC уже встроен, зачем платить за серверные модули?» Встроенный в чипы DDR5 on-die ECC исправляет ошибки только внутри самой микросхемы памяти — он компенсирует рост плотности ячеек и нужен самим производителям чипов. Путь данных от чипа через дорожки платы, разъём DIMM и шину до контроллера он не защищает. Полноценный (side-band) ECC с дополнительными микросхемами и 80-битной организацией каналов в DDR5 RDIMM — по-прежнему отдельная серверная функция. Обычный DDR5 UDIMM для десктопа полноценного ECC не имеет.

Важная деталь: ECC — это совместная работа модуля, процессора и материнской платы. Если поставить ECC-модуль в десктопную платформу без поддержки ECC, модуль заработает, но коррекция будет отключена. Поддержку нужно проверять по спецификации CPU и платы — подробнее об этом в гайде по выбору серверной памяти.

RDIMM — что регистрируется и зачем

RDIMM расшифровывается как Registered DIMM. «Регистр» здесь — отдельная микросхема в центре модуля, в терминологии DDR4/DDR5 — RCD, Register Clock Driver. Она буферизует командные и адресные сигналы и тактовый сигнал: контроллер памяти отправляет команду не напрямую десяткам чипов на модуле, а одному регистру, который уже ретранслирует её чипам.

Зачем это нужно. Каждый чип памяти — электрическая нагрузка на линии канала. Чем больше чипов и модулей висит на канале, тем сильнее искажается сигнал и тем труднее держать высокую частоту. Регистр снимает эту проблему: для контроллера весь модуль выглядит как одна аккуратная нагрузка. Результат — на канал можно ставить больше модулей с большим числом рангов без потери стабильности. Именно поэтому двухсокетный сервер с 16–32 слотами DIMM проектируется под RDIMM: с небуферизованной памятью такая конфигурация физически не заведётся на паспортных частотах.

Чем платим. Ретрансляция через регистр добавляет один такт задержки на командном пути. На фоне суммарной латентности доступа к памяти это незаметная величина — реальные серверные нагрузки разницы не видят. Энергопотребление модуля чуть выше из-за самого регистра.

В поколении DDR5 регистровая схема стала ещё важнее: частоты выросли до 4800–6400 МТ/с, и RCD на серверных модулях работает в паре с управлением питанием прямо на плате модуля (PMIC). Серверные платформы Intel Xeon Scalable 4-го/5-го поколений и AMD EPYC 9004/9005 принимают только RDIMM — слоты этих платформ с UDIMM несовместимы.

Практический маркер: если в спецификации сервера написано «DDR4 RDIMM 3200» или «DDR5 RDIMM 4800» — берём именно регистровые модули, и весь парк памяти в системе должен быть регистровым.

LRDIMM — когда буферизуют ещё и данные

LRDIMM — Load Reduced DIMM, модуль «со сниженной нагрузкой». Он делает следующий шаг после RDIMM: буферизуются не только команды и адреса, но и сами данные. В DDR4 LRDIMM за это отвечают регистр RCD плюс девять буферных микросхем данных (Data Buffers) вдоль нижнего края платы — по одному буферу на каждую группу линий данных.

Главный эффект — маскировка рангов. Ранг — это группа чипов, которую контроллер опрашивает как единое целое (подробно ранги разберём в отдельной статье). У контроллера есть жёсткий лимит рангов на канал — обычно восемь. Четырёхранговый модуль большой ёмкости без буферизации съедает лимит мгновенно: два модуля 4R — и канал заполнен. Буферы данных LRDIMM «прячут» внутренние ранги: модуль с четырьмя или восемью физическими рангами виден контроллеру как одно- или двухранговый. Итог — в систему можно набить заметно больше памяти: модули 64, 128 и 256 ГБ исторически выпускались именно как LRDIMM.

Цена вопроса. Буферы данных добавляют задержку уже и на пути данных (а не только команд), увеличивают энергопотребление и заметно повышают стоимость модуля. Поэтому правило простое: LRDIMM оправдан только тогда, когда требуемый объём памяти физически не собирается на RDIMM. Если задача решается модулями RDIMM 32–64 ГБ — RDIMM будет и быстрее, и дешевле.

Статус в DDR5. В новом поколении ниша LRDIMM сжалась: технология 3DS (Three-Dimensional Stacking — чипы памяти, упакованные стопкой с TSV-соединениями) позволила выпускать RDIMM ёмкостью 96–256 ГБ без буферов данных. Большие объёмы на платформах DDR5 в основном собираются на 3DS RDIMM. На рынке DDR4 — где сегодня живёт основной парк серверов Dell PowerEdge 14–15G, HPE ProLiant Gen10 и аналогичных — LRDIMM остаётся актуальным способом дойти до 2–4 ТБ на сокет.

UDIMM — где уместна небуферизованная память

UDIMM — Unbuffered DIMM. Никаких посредников: контроллер памяти общается с чипами модуля напрямую. Это самая простая, дешёвая и формально самая быстрая схема — нет ни такта задержки на регистре, ни буферов данных.

Обратная сторона — электрические ограничения. Без буферизации канал выдерживает максимум два модуля, суммарная ёмкость ограничена (типично до 32 ГБ на модуль в DDR4 и до 48 ГБ в DDR5 настольного сегмента), а с ростом числа чипов на канале платформа сбрасывает частоту.

Где UDIMM уместен в серверном мире. Entry-уровень: одно-сокетные платформы на Intel Xeon E, AMD EPYC 4004, серверы начального уровня и рабочие станции. Эти платформы принимают ECC UDIMM — небуферизованные модули с коррекцией ошибок. Для микросервера филиала на 20 пользователей 1С это полностью рабочее решение: ECC-защита есть, а большие объёмы и плотная компоновка не нужны.

Здесь же главная ловушка при заказе: «ECC-память» — не синоним «серверная RDIMM». ECC UDIMM и ECC RDIMM — электрически разные модули, и платформа принимает строго один тип. Сервер под RDIMM не стартует с UDIMM-планками, и наоборот. Перед заказом сверяйте тип по спецификации платформы, а не по слову «ECC» в названии модуля.

Patrol Scrub, ADDDC и другие серверные ECC-функции

Сама по себе коррекция SEC-DED — это реакция на ошибку в момент чтения. Серверные платформы надстраивают над ней активные механизмы, которые не ждут, пока ошибка накопится. Эти функции живут в BIOS/UEFI сервера — после сборки стоит проверить, что они включены.

Patrol Scrub (патрульное сканирование). Контроллер памяти в фоновом режиме методично перечитывает весь объём RAM (типичный цикл — раз в сутки), находит одиночные ошибки и исправляет их в самих ячейках. Логика проста: одиночная корректируемая ошибка, оставленная без внимания, со временем может встретиться со второй в том же слове — а двойную ошибку SEC-DED уже не исправит. Патруль убирает одиночные ошибки до того, как они станут парными.

Demand Scrub. Та же запись исправленного значения обратно в ячейку, но в момент обычного чтения: нашли ошибку — отдали хосту исправленные данные — тут же починили ячейку.

ADDDC и Chipkill — защита от отказа целой микросхемы. SEC-DED спасает от перевёрнутого бита, но не от смерти целого чипа на модуле. Технологии класса Chipkill (термин IBM; у AMD реализация в EPYC, у Intel — ADDDC, Adaptive Double Device Data Correction, на Xeon Scalable) распределяют данные и контрольные биты так, что отказ целой микросхемы памяти переживается без потери данных: платформа на лету переходит в режим деградации и продолжает работать до плановой замены модуля. Для модулей на чипах x4 эта защита работает в полном объёме — ещё одна причина, почему в QVL критичных платформ преобладают модули 1Rx4/2Rx4.

Memory Mirroring и Sparing. Зеркалирование половины памяти и «запасной» ранг, на который платформа мигрирует данные с проблемного модуля. Это уже функции уровня RAS для критичных систем — ценой половины или части объёма. Для большинства задач достаточно ECC RDIMM + включённого Patrol Scrub + ADDDC/Chipkill, а зеркалирование оставляют системам, где секунда простоя дороже памяти.

В QC-Lab ANDPRO при тестировании серверной памяти перед отгрузкой мы прогоняем модули под нагрузкой с контролем журнала корректируемых ошибок: модуль, который «сыплет» одиночными ошибками ещё на стенде, не уезжает клиенту, даже если формально работает.

Сравнительная таблица: ECC / RDIMM / LRDIMM / UDIMM

Важно понимать: ECC — это функция коррекции, а RDIMM / LRDIMM / UDIMM — схемы буферизации. Они комбинируются: бывают ECC UDIMM, а все серверные RDIMM и LRDIMM — всегда с ECC. Поэтому сравниваем три типа модулей, у каждого указывая отношение к ECC.

Если по таблице вы определили свой тип — дальше выбор сводится к поколению (DDR4 3200 против DDR5 4800/5600), объёму и производителю. Этому посвящён отдельный раздел pillar-гайда, а готовые позиции — в каталоге: серверная DDR4 и серверная DDR5.

Какие модули нельзя смешивать в одной системе

Половина обращений «сервер не видит память» после самостоятельной доукомплектации упирается в нарушение правил смешивания. Они простые, но жёсткие.

1. RDIMM + UDIMM — никогда. Электрически разные схемы: один тип ждёт регистр, другой — прямое подключение. Система с такой смесью не пройдёт POST. Тип буферизации в системе может быть только один.

2. RDIMM + LRDIMM — тоже никогда. Несмотря на то, что оба регистровые, протоколы работы с буферами данных несовместимы. Платформы Dell, HPE и Lenovo прямо запрещают такую комбинацию в руководствах по конфигурированию памяти.

3. ECC + non-ECC. В лучшем случае платформа отключит коррекцию для всего объёма, в худшем — не стартует. На серверных платформах non-ECC модулям делать нечего в принципе.

4. Разные частоты — можно, но со штрафом. Канал работает на скорости самого медленного модуля. Добавили к парку 3200-х модулей планки 2933 — весь объём работает на 2933. Это не поломка, но платить за «быстрые» модули, которые сбросят частоту, бессмысленно.

5. Разные ранги и объёмы — допустимо с оговорками. Большинство платформ позволяет сочетать, например, 2Rx4 и 1Rx4 — но с обязательным соблюдением порядка установки по слотам (populating rules из руководства платформы) и ценой выхода из оптимального режима чередования каналов. Правило хорошего тона: внутри одного канала — одинаковые модули, а лучше — одинаковые во всей системе.

6. Разные производители — работает, но проверяйте. Формально модули одного типа/частоты/организации от разных вендоров совместимы. На практике серверные платформы чувствительны к таймингам SPD, и сочетание «как получится» — источник плавающих ошибок. Перед доукомплектацией боевого сервера сверьте новый модуль с QVL платформы; если позиции в QVL нет — мы прогоняем связку «ваша модель сервера + новый модуль» на стенде QC-Lab до отгрузки.

Минимальный порядок проверки перед заказом доукомплектации: тип буферизации (как у текущего парка) → ECC → поколение и частота → ранги и populating rules → QVL. Если на любом шаге сомнение — пришлите модель сервера и маркировку текущих модулей, подберём совместимый вариант: подбор по совместимости ANDPRO.

Частые вопросы