Серверная память ECC Registered против обычных планок: почему сервер зависает с десктопной DDR4 и DDR5

Среда, 11:30. В серверную стойку монтируют платформу под базу 1С. В слоты материнской платы устанавливают четыре новые планки быстрой десктопной памяти DDR5 по тридцать два гигабайта. Сервер включают в сеть, вентиляторы выходят на максимальные обороты, но экран монитора остается черным. На диагностическом POST-индикаторе платы замирает код ошибки инициализации памяти.

Администратор меняет планки местами, сбрасывает настройки энергонезависимой памяти BIOS, проверяет питание. Серверная платформа на базе процессора Intel Xeon или AMD EPYC упрямо отказывается стартовать. Причина банальна: в сервер установили небуферизованную память UDIMM (Unbuffered DIMM — память без регистрового буфера). Серверные процессоры проектируются под совершенно другую схемотехнику ОЗУ. Попытка сэкономить на серверных планках оборачивается простоем всего офиса. Чтобы избежать подобных инцидентов, наши инженеры подготовили детальный разбор типов серверной памяти.

Случай из практики: почему новый двухсокетный сервер не проходит POST-тест.

Современный двухсокетный сервер способен нести до тридцати двух слотов оперативной памяти. Когда контроллер процессора обращается к массиву планок, он передает сигналы адреса и команд по тонким медным дорожкам материнской платы. В обычной десктопной памяти эти сигнальные дорожки идут напрямую от ножек процессора к чипам DRAM на текстолите.

Каждый чип памяти обладает собственной паразитной емкостью и входным сопротивлением. Если подключить к одной линии шестнадцать или тридцать два модуля без буферизации, электрическая емкость шины резко возрастает. Форма управляющих импульсов размывается, фронты сигналов заваливаются, а контроллер процессора физически захлебывается током утечки. В результате сервер виснет еще на этапе самотестирования железа (POST — Power-On Self-Test), не доходя до загрузки гипервизора или операционной системы.

Анатомия памяти: небуферизованная UDIMM против регистровой RDIMM.

Главное конструктивное отличие кроется в способе коммутации управляющих линий между процессором и микросхемами памяти. Индустрия выработала два принципиально разных стандарта планок:

• UDIMM (Unbuffered DIMM). Обычные модули без промежуточных микросхем. Адресные и тактовые линии процессора подключаются напрямую ко всем микросхемам памяти на планке. Применяются в домашних ПК, офисных станциях и простейших односокетных микросерверах.
• RDIMM (Registered DIMM). Профессиональные модули с установленным регистровым буфером RCD. Процессор передает команды не напрямую чипам памяти, а единственной входной микросхеме регистра. Стандарт де-факто для подавляющего большинства корпоративных серверов.

Регистровая память снимает электрическую нагрузку с шины процессора. Благодаря этому материнская плата может стабильно работать с десятками планок огромного суммарного объема.

Микросхема RCD: физика электрической развязки адресных линий контроллера.

В центре любого модуля RDIMM распаян продолговатый чип. Это микросхема RCD — регистровый драйвер тактовых импульсов и команд (Registering Clock Driver). Ее задача — изолировать контроллер памяти процессора от десятков кремниевых кристаллов DRAM.

Микросхема RCD работает как высокоскоростной повторитель и усилитель сигналов. Контроллер процессора нагружен всего на один входной каскад RCD вместо десятков чипов памяти. Получив команду и адрес строки, RCD буферизует их ровно на один тактовый цикл, восстанавливает крутизну фронтов импульсов и раздает сигнал на внутренние чипы модуля. Платой за аппаратную развязку является дополнительная задержка в один такт (Latency +1T). В высоконагруженных серверах баз данных и виртуализации эта задержка полностью нивелируется многоканальной параллельной работой каналов памяти.

Механизм аппаратного ECC: как алгоритм SECDED защищает от битовых флипов.

В обычных домашних компьютерах память хранит данные без контроля четности. На модуль устанавливают восемь чипов памяти, образующих 64-битную шину данных. Космическая радиация, электромагнитная наводка или термический шум могут перевернуть бит с нуля на единицу (Bit Flip). В обычном компьютере это приводит к синему экрану или скрытой порче файлов.

Серверная память всегда оснащается функцией аппаратной коррекции ошибок ECC (Error-Correcting Code — код обнаружения и исправления ошибок):

• Девятый чип на шине. Модуль ECC имеет разрядность 72 бита (64 бита полезных данных плюс 8 бит контрольных сумм).
• Алгоритм Хэмминга SECDED. Механизм Single Error Correction, Double Error Detection исправляет любую одиночную ошибку бита на лету без остановки сервера. При возникновении редкой двойной ошибки в том же машинном слове система фиксирует фатальный сбой, защищая базу данных от незаметной порчи.
• Журналирование в BMC. Контроллер удаленного управления сервером подсчитывает количество исправленных ошибок. Это позволяет вовремя обнаружить деградирующий модуль до аварийной остановки платформы.

Надежное сохранение данных на уровне ОЗУ критически важно для работы СУБД. О том, как защитить данные на дисковом уровне при сбоях питания, читайте в нашем материале про серверные накопители U.2 NVMe против десктопных M.2 SSD с защитой PLP.

Иллюзия надежности DDR5: почему On-Die ECC не заменяет серверный Side-Band ECC.

С выходом стандарта DDR5 маркетологи начали активно заявлять о наличии встроенного ECC в абсолютно любых потребительских планках. Это породило опасное заблуждение среди системных администраторов, начавших закупать десктопные планки для серверов.

В потребительской DDR5 реализован только внутренний On-Die ECC (внутрикристальная коррекция ошибок):

1. Локальная защита внутри чипа. Из-за сверхплотного техпроцесса ячейки памяти DDR5 стали микроскопическими и чувствительными к утечкам заряда. Встроенная схема On-Die ECC исправляет сбои только внутри самого кристалла кремния.
2. Отсутствие защиты шины данных. Сигналы, идущие от чипа памяти по дорожкам текстолита в процессор, остаются совершенно незащищенными. Помехи на шине легко искажают передаваемые байты.
3. Изоляция от операционной системы. Контроллер процессора не знает об ошибках On-Die ECC. Он не может вести учет деградации ячеек и прогнозировать отказы.

В настоящих серверных модулях DDR5 RDIMM применяется полноценный Side-Band ECC. Он включает дополнительные контрольные микросхемы и защищает весь сквозной тракт передачи данных от кремниевой ячейки до регистров центрального процессора.

Память LRDIMM: полная буферизация шины данных для максимальных объемов ОЗУ.

Когда требуется укомплектовать тяжелый сервер виртуализации терабайтами оперативной памяти, стандартных модулей RDIMM становится недостаточно. На помощь приходит стандарт LRDIMM — память со сниженной нагрузкой (Load-Reduced DIMM).

В модулях RDIMM регистр RCD буферизует только адресные и управляющие линии, в то время как 72-битные линии данных DQ по-прежнему подключаются напрямую к чипам памяти. При установке трех модулей на один канал емкостная нагрузка на шину данных снова превышает допустимый порог. В планках LRDIMM вместо простого RCD устанавливается центральный буфер данных iMB (isolating Memory Buffer) или девять распределенных буферных микросхем Data Buffer. Они полностью изолируют процессор как по адресным линиям, так и по шине данных. Контроллер процессора видит модуль как электрическую нагрузку всего в один логический ранг, позволяя забивать все слоты планками максимальной плотности.

Ранги модулей (1R, 2R, 4R, 8R): емкостная нагрузка и архитектура доступа к банкам.

Ранг памяти (Memory Rank) — это независимый логический блок чипов, подключенный к сигналу выбора Chip Select (CS):

• Одноранговые планки (1R). Чипы памяти скомпонованы в один 72-битный блок. Обладают минимальной электрической емкостью и легче всего разгоняются по частоте.
• Двухранговые планки (2R). Содержат два независимых блока чипов на одном текстолите. Контроллер процессора обращается к ним по очереди через механизм чередования рангов (Rank Interleaving), что дает прирост производительности в задачах 1С и СУБД на три-пять процентов.
• Четырехранговые и восьмиранговые планки (4R, 8R). Модули предельной плотности. В формате обычного RDIMM они создают чрезмерную нагрузку на шину. Поэтому их выпускают в стандарте LRDIMM или 3DS со стекированием кристаллов кремния TSV.

Контроллеры серверных процессоров имеют жесткое аппаратное ограничение на суммарное количество рангов на один физический канал (обычно не более восьми рангов на канал).

Падение эффективной частоты: что происходит при заполнении двух модулей на канал (2 DPC).

Покупая высокоскоростную память с паспортной частотой 3200 МГц (для DDR4) или 5600 МГц (для DDR5), администраторы рассчитывают получить эту скорость при полной набивке серверного шасси. Однако при заполнении всех слотов частота автоматически снижается.

Режим работы с одной планкой на канал обозначается как 1 DPC (1 DIMM Per Channel), а с двумя планками — 2 DPC (2 DIMM Per Channel). При установке двух двухранговых планок 2R на один канал суммарная электрическая емкость шины заставляет контроллер процессора снижать частоту генератора тактовых импульсов. Например, сервер с базовой частотой 3200 МГц в режиме 2 DPC может автоматически скинуть скорость до 2933 или 2666 МГц. Это необходимо контроллеру ради сохранения целостности импульсов. При проектировании серверов под высокочастотные базы данных выгоднее использовать меньшее количество планок большей емкости в режиме 1 DPC.

Тепловой режим и датчики SPD Hub: перегрев плотных планок ОЗУ в корпусах 1U и 2U.

В корпусах 1U и 2U воздушный поток вентиляторов сначала проходит через корзины накопителей. Затем воздух нагревается радиаторами CPU и лишь потом обдувает слоты ОЗУ. Плотные модули объемом 64 и 128 ГБ под постоянной нагрузкой выделяют от десяти до пятнадцати ватт тепла каждый.

В серверных планках стандарта DDR5 на текстолите распаивается микросхема SPD Hub с цифровым термодатчиком. При нагреве чипов свыше восьмидесяти пяти градусов активируется троттлинг (Thermal Throttling). Частота обращений принудительно снижается, а вентиляторы стойки выходят на максимум оборотов. Для снижения тепловыделения наши специалисты рекомендуют энергоэффективные блоки питания с сертификатом Platinum. Их архитектуру мы разбирали в статье про серверные блоки питания стандартов CRPS и 2U.

Сводная таблица: различия между UDIMM, UDIMM ECC, RDIMM и LRDIMM.

Чтобы не ошибиться при заказе комплектующих, наши сотрудники составили наглядную таблицу совместимости различных стандартов памяти:

Смешивание модулей разных типов (например, RDIMM и LRDIMM или RDIMM и UDIMM) на одной серверной материнской плате аппаратно запрещено. Сервер гарантированно не включится.

Правила раскладки памяти по слотам: многоканальность и цветовая маркировка DIMM.

В отличие от десктопных процессоров с двумя каналами памяти, современные серверные платформы имеют шесть, восемь или двенадцать независимых каналов на каждый процессорный сокет. Неправильная последовательность установки планок снижает пропускную способность шины памяти в несколько раз.

Основные правила инсталляции модулей в шасси:

• Соблюдение цветовой кодировки. Первые планки каждого канала устанавливаются в слоты белого или черного цвета (обозначены в шелкографии платы как Channel A Slot 0, Channel B Slot 0).
• Симметричное заполнение сокетов. Если в сервере установлены два физических процессора, объем и количество модулей ОЗУ для каждого сокета должны быть строго идентичными. Перекос по каналам приводит к деградации интерфейса межпроцессорной связи UPI или Infinity Fabric.
• Балансировка каналов. Для максимальной скорости работы СУБД задействуйте все физические каналы процессора. Восемь планок по тридцать два гигабайта работают значительно быстрее, чем четыре планки по шестьдесят четыре гигабайта.

Серверные модули оперативной памяти из нашего каталога.

В нашем каталоге представлены надежные серверные модули оперативной памяти стандартов DDR4 и DDR5 с гарантией быстрой отгрузки по России.

Модуль памяти Samsung 64GB DDR5 M321R8GA0EB0-CWM — флагман 5600 МГц.

Высокоскоростная регистровая память Samsung 64GB DDR5 M321R8GA0EB0-CWM с частотой 5600 МГц, организацией 2Rx4 и поддержкой аппаратного Registered ECC. Оснащена встроенным хабом управления питанием PMIC и температурным мониторингом SPD Hub. Оптимальный выбор для платформ на процессорах Intel Xeon Scalable четвертого поколения и AMD EPYC 9004.

Модуль памяти Micron 32GB DDR4 3200 RDIMM — проверенное стоечное решение.

Надежная серверная планка Micron 32GB DDR4 3200 RDIMM с организацией чипов 2Gbx4 и штатным напряжением 1.2 В. Обеспечивает стабильную круглосуточную работу в серверах Dell, HP, Lenovo и Supermicro под управлением гипервизоров ESXi и Proxmox.

Модуль памяти Samsung 16GB DDR5 4800MHz — сбалансированная плотность.

Серверный модуль Samsung 16GB DDR5 4800MHz RDIMM формата 1Rx8. Обеспечивает быстрый отклик в одноранговом режиме и минимальный нагрев при плотной компоновке слотов.

Модуль памяти Kingston 8GB DDR4 3200 ECC Reg — надежный компонент для шлюзов.

Компактный модуль Kingston 8GB DDR4 3200 ECC Reg серии Server Premier с пожизненной гарантией производителя. Прекрасно подходит для контроллеров домена, маршрутизаторов и серверов резервного копирования.

Инженерный чеклист перед закупкой памяти для апгрейда сервера.

Перед оформлением заказа на планки ОЗУ наши инженеры рекомендуют сверить конфигурацию шасси по следующим пунктам:

• Модель процессора и сокет. Проверьте максимальную поддерживаемую частоту и число каналов в спецификации CPU. Подробнее об особенностях серверных процессоров читайте в нашей статье про маркировки процессоров и комплектации OEM.
• Текущий тип установленных планок. Посмотрите маркировку существующих модулей: недопустимо смешивать планки RDIMM и LRDIMM в рамках одной платформы.
• Организация чипов (x4 против x8). Серверные платы требовательны к ширине шины чипов памяти. Планки с организацией x4 поддерживают расширенные алгоритмы защиты Chipkill, а модули x8 обходятся дешевле.
• Наличие свободного запаса по питанию. Каждый дополнительный модуль памяти увеличивает энергопотребление стойки. Для защиты от скачков напряжения используйте онлайн-системы резервирования, описанные в статье про онлайн-ИБП с двойным преобразованием напряжения.

Типичные ошибки: смешивание рангов, разных вендоров и напряжений питания.

Даже сертифицированные серверные планки могут работать нестабильно при грубых ошибках компоновки:

• Разная емкость в одном канале. Нельзя ставить в один канал модули разной емкости (например, 16 ГБ и 64 ГБ). В этом случае контроллер отключит чередование и перейдет в асимметричный медленный режим.
• Игнорирование версий BIOS. Производители серверных материнских плат регулярно обновляют микрокод AGESA и MRC (Memory Reference Code). Обновление прошивки устраняет проблемы с инициализацией новых ревизий чипов ОЗУ.
• Смешивание планок с разным напряжением. В поколениях DDR3 и DDR4 существовали низковольтные модификации (DDR3L на 1.35 В, DDR4 на 1.2 В). Установка планок с разным питанием приводит к нестабильности опорных напряжений VDD.
• Электростатический пробой при монтаже. Чипы памяти крайне чувствительны к статическому электричеству. Монтаж планок в стойку производите только с использованием антистатического браслета.

Совместимость с контроллерами накопителей и питанием серверной платформы.

Скорость дисковой подсистемы серверов напрямую зависит от пропускной способности оперативной памяти. Аппаратные RAID-контроллеры кэшируют операции случайной записи во внутреннем буфере ОЗУ, после чего сбрасывают массивы данных на быстрые дисковые полки.

Организация быстрой и отказоустойчивой дисковой подсистемы подробно рассмотрена в нашем инженерном обзоре про RAID-контроллеры MegaRAID 9460-16i для высоконагруженных баз 1С. Правильно подобранный массив оперативной памяти RDIMM в сочетании с производительным дисковым контроллером гарантирует максимальную отдачу от серверного оборудования.

Выбирайте надежную оперативную память в нашем каталоге с быстрой отгрузкой и профессиональной поддержкой наших специалистов.

AFOX.SU — выгодные цены, персональный подход и доставка по России.