Накопители и контроллеры: как создать быструю, надёжную и масштабируемую систему хранения данных

Накопители и контроллеры нужно выбирать как систему

В сервере данные проходят через несколько уровней: накопитель, корзину или backplane, кабель, контроллер, PCIe, драйвер, операционную систему, файловую систему и приложение. Если хотя бы один элемент не соответствует задаче, вся система хранения может работать медленнее или нестабильнее ожидаемого.

Например, NVMe SSD требует достаточного числа PCIe-линий и поддержки платформы. SAS-диски требуют совместимого контроллера и backplane. RAID-контроллеру нужен кэш и защита записи. HBA нужен там, где операционная система должна видеть физические диски напрямую.

Поэтому сначала определяют задачу хранения: системный том, база данных, виртуализация, файловый сервер, видеонаблюдение, архив, резервное копирование, СХД, NAS, рабочая станция или высоконагруженное приложение. После этого подбирают тип накопителей и контроллер.

Типы накопителей: HDD, SATA SSD, SAS SSD и NVMe

HDD остаются рациональным выбором для больших объёмов: архивы, файловые хранилища, backup, видеонаблюдение и ёмкие массивы. Они дешевле за терабайт, но уступают SSD по задержкам, IOPS и устойчивости к случайной нагрузке.

SATA SSD подходят для ускорения системных томов, рабочих приложений, небольших баз данных и серверов с умеренной нагрузкой. Они быстрее HDD, но ограничены интерфейсом SATA и ресурсом конкретной модели.

SAS SSD применяют в серверных задачах, где важны надёжность, предсказуемость, dual-port, совместимость с enterprise-инфраструктурой и стабильность под нагрузкой. NVMe SSD используют там, где нужны максимальные IOPS, низкая задержка и высокая пропускная способность.

Какие контроллеры используются с накопителями

RAID-контроллер объединяет диски в аппаратный массив и показывает операционной системе логический том. Он управляет уровнями RAID, кэшем, восстановлением, hot spare, мониторингом и отказоустойчивостью.

HBA-адаптер передаёт диски операционной системе напрямую. Такой подход часто используют для ZFS, TrueNAS, Ceph, JBOD, дисковых полок и software-defined storage, где логикой хранения управляет программный уровень.

Отдельно бывают NVMe-контроллеры и адаптеры, SAS/SATA-карты, платы расширения для дополнительных накопителей, а также сетевые адаптеры для доступа к внешним СХД по iSCSI, NFS, SMB, NVMe-oF или другим протоколам.

RAID или HBA: как не ошибиться с архитектурой

RAID-контроллер выбирают, если нужен аппаратный массив: RAID 1, 5, 6, 10, 50, 60 и другие уровни. Такой вариант удобен для классических серверов, где администратор управляет массивом средствами контроллера и серверной платформы.

HBA выбирают, когда диски должны быть видны системе напрямую. Это важно для ZFS, TrueNAS, Ceph и других решений, которым нужен доступ к SMART, ошибкам дисков, задержкам, идентификаторам и физическому состоянию накопителей.

Нельзя автоматически считать один подход лучше другого. RAID удобен для аппаратной отказоустойчивости и привычного обслуживания. HBA лучше для программных систем хранения, где файловая система сама отвечает за целостность данных.

Интерфейсы: SAS, SATA, NVMe и PCIe

SATA — массовый интерфейс для HDD и SSD. Он подходит для многих задач, но ограничивает скорость и не даёт всех возможностей enterprise-инфраструктуры. SAS чаще используют в серверах и СХД: он рассчитан на надёжную работу, дисковые полки, expander, dual-port и большой парк накопителей.

NVMe работает через PCIe и даёт значительно более высокую производительность, чем SATA/SAS SSD. Но NVMe требует совместимого сервера, backplane, кабелей, PCIe-линий и поддержки BIOS/UEFI, ОС и контроллера.

PCIe важен не только для NVMe, но и для самого контроллера. Нужно проверить поколение PCIe, количество линий, слот x4/x8/x16, физическую совместимость, airflow, питание и ограничения платформы при установке нескольких карт.

Производительность: IOPS, задержки, кэш и узкие места

Для систем хранения важны не только мегабайты в секунду. Для баз данных, виртуализации и терминальных серверов критичны IOPS и задержки. Для backup, архивов и видеонаблюдения важнее последовательная запись и ёмкость. Для аналитики и медиа — чтение больших файлов.

RAID-контроллер с кэшем может ускорить запись и сгладить пики нагрузки, но кэш должен быть защищён BBU, CacheVault или суперконденсатором. Без защиты write-back может быть рискован при отключении питания.

Узкими местами могут стать PCIe-линии, старый контроллер, SATA-интерфейс, медленный backplane, слабые диски, перегрев, неподходящий RAID-уровень, драйверы, файловая система или сетевой канал до СХД.

Надёжность: RAID, ресурс, мониторинг и backup

RAID повышает доступность массива при отказе диска, но не заменяет резервное копирование. Он не защищает от удаления файлов, шифровальщика, ошибки администратора, повреждения файловой системы, сбоя контроллера или потери всего сервера.

Для SSD важен ресурс записи: TBW, DWPD, тип памяти, over-provisioning и класс нагрузки. Для HDD важны серия, нагрузочный рейтинг, скорость вращения, интерфейс, поведение при ошибках и условия охлаждения.

Для любого массива нужны мониторинг SMART, уведомления о сбоях, контроль температуры, проверка состояния RAID, hot spare, регламент замены дисков, тесты восстановления и независимое резервное копирование.

Совместимость: что проверить заранее

Проверьте модель сервера, поддерживаемые контроллеры, BIOS/UEFI, версии прошивок, драйверы, ОС, гипервизор, backplane, корзины дисков, кабели, разъёмы, количество портов, возможность hot-swap и поддержку нужных накопителей.

Для SAS/SATA-контроллеров важны SFF-8087, SFF-8643, SFF-8644, SlimSAS и совместимость с backplane. Для NVMe — U.2, U.3, M.2, PCIe bifurcation, VROC, поддержка загрузки и число доступных линий.

Также нужно учитывать физику: full-height или low-profile bracket, длину карты, airflow, радиаторы, питание и температуру. Многие серверные RAID/HBA и NVMe-карты рассчитаны на направленное охлаждение.

Сценарии выбора накопителей и контроллеров

Для системного тома сервера часто используют два SSD в RAID 1. Это простая схема, которая повышает доступность ОС и сервисов. Для виртуализации чаще рассматривают RAID 10, NVMe, SAS SSD или внешнюю СХД в зависимости от нагрузки.

Для файлового хранилища, архива и backup часто выбирают HDD большого объёма с RAID 6/60 или ZFS-пулом. Для баз данных и высоконагруженных приложений важнее SSD/NVMe, низкие задержки, стабильная запись и ресурс.

Для ZFS/TrueNAS чаще используют HBA в IT mode, а отказоустойчивость строят средствами файловой системы. Для классического аппаратного массива выбирают RAID-контроллер с кэшем, BBU/CacheVault и поддержкой нужного уровня RAID.

Типичные ошибки при выборе накопителей и контроллеров

Первая ошибка — покупать быстрые накопители без проверки интерфейса. NVMe не раскроется без нужных PCIe-линий, а SAS-диск не заработает на обычном SATA-контроллере.

Вторая ошибка — выбирать RAID-контроллер для ZFS без понимания архитектуры. Если системе нужен прямой доступ к дискам, лучше использовать HBA в IT mode.

Третья ошибка — включать write-back-кэш без BBU или CacheVault. Это может повысить скорость, но создаёт риск потери данных при сбое питания.

Четвёртая ошибка — смешивать разные диски в одном массиве без необходимости. Массив часто работает по возможностям самого слабого накопителя, а восстановление становится менее предсказуемым.

Пятая ошибка — считать RAID резервной копией. RAID помогает пережить отказ диска, но не защищает от логической потери данных и ошибок эксплуатации.

Чек-лист выбора накопителей и контроллера

Определите задачу: системный том, виртуализация, база данных, файловый сервер, видеонаблюдение, архив, backup, ZFS/TrueNAS, Ceph, NAS, СХД, рабочая станция или высоконагруженное приложение.

Выберите тип накопителей: HDD для объёма, SATA SSD для ускорения, SAS SSD для enterprise-нагрузки, NVMe для максимальной производительности. Проверьте ресурс, интерфейс, форм-фактор, совместимость и условия охлаждения.

Выберите контроллер: RAID для аппаратного массива, HBA для прямого доступа к дискам, NVMe/SAS/SATA-адаптер для нужного интерфейса. Проверьте PCIe, backplane, кабели, кэш, BBU, драйверы, ОС, мониторинг и поддержку сервера.