Нам поступил заказ на сборку нескольких GPU серверов на базе серверной платформы Asus
За основу была взята одна из моделей серверных платформа Asus ESC4000 – G4. Это стоечный сервер формата 2U, обеспечивающий высокую производительность в достаточно компактном размере.
Общий вид и характеристики
Платформа имеет размеры 800 x 440 x 88 мм, масса – 24кг, высота – 2U. Рабочая температура: 10 ℃ ~ 35 ℃. Нерабочая температура: -40 ℃ ~ 70 ℃. Влажность при хранении: 20% ~ 90% (без конденсации).
На лицевой панели расположены: кнопки управления, 4 разъёма USB (2 x USB 3.0, 2 x USB 2.0), двухсегментный дисплей POST, 8 отсеков для установки 3.5" дисков с горячей заменой (возможны различные варианты дисков: SATA, SAS, NVMe). Платформа поддерживает установку до двух NVMe дисков.
С тыльной стороны сервера находятся: 2 x USB 3.0, 1 x VGA port, 1 x RJ-45 Mgmt LAN port, 2 x RJ-45 GbE LAN ports (Intel I350-AM2), 2 x БП 1600 Вт. Питание осуществляется по схеме 1+1 блоками Redundant 1600W 80 PLUS Platinum с возможностью горячей замены резервных модулей.
Сервер Asus ESC4000-G4 устанавливается в стойку с помощью телескопических рельс, которые входят в комплект поставки.
Что внутри
Материнская плата поддерживает 2 процессора Intel Xeon Scalable 1-го и 2-го поколения (до 150Вт), память DDR4 различных типов: RDIMM, Load Reduced DDR (LRDIMM), 3DS-LRDIMM, а также энергонезависимую память Intel Optane. Общее количество слотов для модулей памяти – 16шт (по 8 на каждый процессор, 6-канальный контроллер памяти), суммарный поддерживаемый объём – 2 ТБ (зависит от процессора и типа памяти), пропускная способность – 2933/2666/2400/2133 ГБ/с.
На материнской плате предусмотрен разъём для установки компактного M.2 диска с поддержкой типоразмеров 2280/2260. За графику отвечает Aspeed AST2500 с 64MB VRAM. Поддерживается IPMI управление, KVM модуль (ASMB9-iKVM) интегрирован в плату. В платформу можно установить 8 полноразмерных и 3 низкопрофильных устройства PCI-E 3.0. Для задействования всех разъемов и интегрированных контроллеров необходимо установить два процессора.
Полноразмерные PCI-E:
8 * PCI-E 3.0 x16 (4 на канале x16 или 8 на канале x8) (2 от CPU1 и 2 от CPU2 или 4 от CPU1 и 4 от CPU2)
Тыльные:
1 * PCI-E 3.0 x24 (поддержка переходной платы)
(1 * PCI-E x16 (x16 Gen3 Link) от CPU1 и 1 * PCI-E x8 (x8 Gen3 Link) от CPU2)
Фронт:
1 * PCI-E x8 (внутренняя карта HBA/RAID)
(от CPU2 полоса пропускания распределяется между PCI-E x8 и двумя дисками NVMe)
Платформа совместима с графическими ускорителями NVIDIA, AMD и Intel, можно установить до четырех видеокарт.
Сервер имеет интеллектуальную систему управления вентиляторами, которая регулирует их обороты на основе данных от нескольких температурных датчиков, расположенных рядом со всеми ключевыми узлами. Блок охлаждения содержит семь вентиляторов 80x80 с возможностью их горячей замены.
Конфигурации дисков
8 x SATA дисков + 1 x M.2 разъем; 6 x SATA дисков + 2 x NVMe диска + 1 x M.2 разъем
В случае подключения накопителей с интерфейсом SATA, используется Intel Rapid Storage Technology Enterprise (RSTe) (RAID 0, 1, 5, 10). Если же надо подключить NVMe диски, то задействуется Intel VROC (RAID 0,1).
Для более надежной конфигурации возможна установка приобретаемого отдельно 8-канального SAS контроллера ASUS PIKE II 3008 (RAID 0, 1, 10, 1E) или 3108 (RAID 0, 1, 10, 5, 50, 6 и 60).
Сборка серверов
Собирается сервер, в принципе, не сложно, но есть свои нюансы. В случае установки дискретного контроллера требуется разобрать полсервера, либо использовать еще один комплект кабелей.
В нашей конфигурации платформу оснастили двумя CPU Intel Xeon Gold-6230R и по два модуля памяти Samsung 8GB DIMM DDR4 (памяти, на наш взгляд, маловато, но собирали по техническому заданию).
Под систему использовались два диска SSD Intel 2.5" 240GB в RAID1, под архив и резервные копии – 2 HDD WD Gold 3.5" 2TB в RAID1. Дополнительно был установлен контроллер LSI00417 c резервным питанием. И вишенка на торте: четыре видеокарты TESLA T4.
Примечательно то, что без обновления последними прошивками BIOS и BMC с этими графическими ускорителями сервер не заработал. Но после обновления, платформа успешно запустилась.
Заключение
На базе этой платформы можно собрать различные GPU-решения для самых требовательных запросов. Система позволяет гибко использовать весь возможный функционал, который есть на борту. С помощью приложения ASUS Control Center легко просматривать и управлять сервером дистанционно.
