Кэш процессора L1, L2 и L3: устройство и выбор CPU

Зачем процессору кэш

Когда нужные инструкции и данные доступны в кэше, процессору не требуется каждый раз обращаться за ними в оперативную память. Выигрыш зависит от того, какие адреса использует программа и насколько часто обращения находят нужные данные.

Рабочий набор — данные, с которыми программа активно работает на рассматриваемом этапе. Полный размер базы, файла или выделенной виртуальной памяти не обязательно равен этому набору. Размер кэша нельзя сравнивать только с размером исходного файла.

Поэтому сначала определяют задачу и измеримый результат: время расчёта, пропускную способность или задержки запросов. Больший кэш не гарантирует одинакового ускорения всех программ; собственных испытаний производительности в этой статье нет.

L1, L2 и L3: уровни и конкретная архитектура

В рассматриваемых серверных архитектурах L1 разделён на кэш инструкций и кэш данных. L2 относится к ядру, а L3/LLC обслуживает группу ядер. Название уровня ещё не сообщает, какие именно ядра совместно его используют.

AMD HPC Tuning Guide 58002, разделы 1.5–1.7 описывает для Zen 4 до 32 КБ L1 инструкций и 32 КБ L1 данных, а также до 1 МБ L2 на ядро. В показанном CCX до восьми ядер делят L3.

Справка Intel 000027820 показывает различия поколений Xeon Scalable. Не переносите размер L1/L2 одной строки таблицы на любые Xeon или на все современные процессоры.

Приватный кэш и граница общего LLC

Приватный L2 относится к ядру; это не означает, что другие ядра вообще не могут получить актуальные данные через механизмы когерентности. Область размещения кэша и обмен согласованными данными — разные свойства.

Для EPYC 9004 руководство AMD различает 91xx–96xx и 97xx. В первом случае в CCD один CCX, в 97xx — два CCX. Поэтому утверждение «L3 всегда общий для всех ядер одного CCD» без названия модели неверно.

У EPYC 9654 показаны 12 CCD. Суммарный L3 сокета не превращается в один одинаково локальный массив для каждого ядра: важно, к какому комплексу относятся исполняющиеся потоки. Наличие свободного кэша в другой группе само по себе не доказывает, что он равноценен локальному.

Для приложения с небольшим числом потоков проверьте размещение потоков и данных, а для многопоточного — характер совместного использования. Не меняйте привязку потоков вслепую: сравнивают тот же полезный результат при фиксированных условиях.

Дополнительная ссылка: руководство AMD по настройке HPC

Цифры кэша: примеры, а не рейтинг

В Intel 000027820 для Xeon Scalable 4-го поколения указаны 2 МБ MLC и 1,875 МБ LLC на ядро; для 5-го поколения — 2 и 5 МБ соответственно. Это характеристики строк сравнения поколений; спецификацию выбранного SKU проверяют отдельно.

В руководстве AMD 58002 приведены границы общего L3 на CCD: до 32 МБ для рассматриваемой обычной конфигурации и до 96 МБ с 3D V-Cache. Таблица не является универсальной формулой для любого EPYC: отдельно учитывают модель, число комплексов и кристаллов.

Не складывайте L1, L2 и L3 в одну цифру «доступного быстрого объёма» и не делите суммарный LLC на ядра как гарантированную индивидуальную квоту. Совместное использование и политика хранения копий требуют отдельного объяснения.

Inclusive и non-inclusive: обязательность копии

Инклюзивность описывает обязательное включение содержимого одного уровня в другой. Non-inclusive означает отсутствие такого обязательства, а не запрет любых совпадающих копий. Это также не синоним полностью эксклюзивной организации.

Intel 000027820 сравнивает прежний инклюзивный LLC с общей неинклюзивной организацией первых Xeon Scalable. Такое описание относится к названному переходу; оно не доказывает политику всех будущих и прошлых процессоров.

Из слова non-inclusive нельзя получить готовый процент ускорения или точный эффективный объём для программы. Нужны конкретная архитектура и наблюдение задачи; размер кэша и политика размещения — только часть условий.

Когерентность, обмены и NUMA

Если ядра работают с одними адресами, система должна согласовывать их копии данных. Приватность кэша не отменяет аппаратного обмена и проверок актуальности. Вместе с тем когерентность не заменяет корректную синхронизацию многопоточной программы.

В AMD 58002, раздел 1.9, I/O Die связывает CCD, память и ввод-вывод, помогает поддерживать когерентность и расширяет фабрику данных ко второму процессору через xGMI. Это описание конкретной платформы, а не одинаковая схема всех серверов.

NUMA учитывает топологию доступа к памяти. Расположение потоков и выделение памяти могут влиять на обмены, но из количества сокетов или расстояния до кэша нельзя вывести одну универсальную задержку. Для диагноза нужны данные конкретной программы и конфигурации.

AMD 3D V-Cache: что означает результат теста

3D V-Cache увеличивает объём L3 вертикальным размещением дополнительного кэша. Для рассматриваемых конфигураций EPYC 9004 руководство AMD приводит до 96 МБ общего L3 на CCD вместо до 32 МБ. Это не означает такое оснащение любой модели семейства.

Пресс-релиз AMD от 21 марта 2022 года, EDA и сноска 5 заявляет до 66% более быстрые симуляции Synopsys VCS на EPYC 7373X по сравнению с EPYC 73F3. Сноска описывает внутренний тест AMD от 20.09.2021 на одной референсной платформе Daytona с 16-ядерными CPU.

Это исторический результат определённой пары и нагрузки. Он не доказывает ускорение на 66% любой базы данных, виртуальных машин, CFD или любого CPU с большим L3. Для собственной задачи сравните корректность результата, время и условия; отдельный процент из рекламы не заменяет такую проверку.

Частые вопросы