Форма[т] и содержание серверных SSD

Первые жесткие диски на вращающихся магнитных плас­ти­нах бы­ли ве­ли­чи­ной с хо­ло­диль­ник, при ем­кос­ти в не­сколь­ко ме­га­байт. При­мер­но двад­цать лет на­зад оп­ти­ми­за­ция раз­ме­ра (форм-фак­то­ра) HDD ос­та­но­ви­лась на двух ус­той­чи­вых со­сто­я­ни­ях: LFF (3.5”) и SFF (2.5”). С по­яв­ле­ни­ем твер­до­тель­ных на­ко­пи­те­лей на флеш-па­мя­ти все по­шло враз­нос — кро­ме фор­ма­тов, со­вмес­ти­мых с HDD, по­я­ви­лось мно­го но­вых: AIC (Add-In-Card), mSATA, NGFF, не го­во­ря уже о BGA-мон­та­же в план­ше­тах и смарт­фо­нах.

Время расставляет все по местам

В персональной технике помалу утвердился стандарт сменных носителей M.2 2260 … 22110 (NGFF) — типовых карт 22 х 60 … 110 мм с одно- или двухсторонним размещением микросхем NAND. Хотя M.2 создавался как компактная ре­а­ли­за­ция SATA Express (c поддержкой интерфейса SATA 3.0 и шины PCIe 3.0), дело идет к полному вытеснению M.2 SATA устройствами M.2 NVMe: при одном-двух накопителях, с одинаково простым подключением, производительность PCIe SSD на голову выше. Цена сопоставима.

Не то в серверах: емкость хранения внушительнее, накопителей больше, специфические требования по горячей за­ме­не, подключению, теплоотводу диктуют совсем другие стандарты. Подсистемы хранения серверов — фронт борьбы за производительность передачи данных между CPU и постоянной памятью. Боевое знамя поддерживает рабочая гру­ппа NVM Express, развивая одноименную спе­ци­фи­ка­цию протокола доступа к данным по шине PCIe. В ее ком­пе­тен­цию входит и стан­дар­ти­за­ция накопителей — через при­жи­ва­ние технологий, совмещение интересов раз­ра­бот­чи­ков, обес­пе­че­ние пре­ем­ст­вен­но­сти экосистем.

И это еще не все актуальные варианты конструктивного исполнения NVMe SSD в серверах (здесь нет плат рас­ши­ре­ния AIC, нет NVDIMM, похожих на модули оперативной памяти, но уже со встроенным SMART):

Источник: NVMexpress.org

Пока что индустрия тяготеет к двум основным форматам твердотельных накопителей:

• M.2 под загрузочные тома (или временные данные) для внутренней установки;
• 2.5” под основные (критичные) данные c размещением в дисковых корзинах фронтального доступа и горячей заменой.

Контакты и конфликты (о разъемах)

Все чаще бэк­плей­ны дисковых корзин серверных корпусов оснащаются разъемами SFF-8639 (расширенной версией SAS-колодки SFF-8442), а материнские платы — портами для вывода сигналов шины PCI Express на бэк­плейн. Тер­ми­ном U.2 называют 2.5” NVMe, а в широком смысле — унифицированный формат подсистем хранения. Пригодность U.2 под все актуальные интерфейсы SAS/SATA/NVMe дает маневр по HDD/SSD и намек на стандартизацию. Не так важна совместимость с механическими дисками — SFF HDD 10-15K rpm давно сдали свои позиции производительным SSD, а SFF SATA HDD 7200 rpm ненамного дешевле SSD на QLC NAND. Смешение типов SSD — вот актуальный тренд. В 1U можно поставить до 12, а в 2U — до 24 накопителей, комбинируя SAS, SATA и NVMe SSD на памяти NAND, а то и вы­да­ю­щей­ся производительности Intel Optane SSD на памяти 3D XPoint.

 

Война форматов не закончена. Так, представляя формат «ruler», Intel может сколь угодно называть от­жив­ши­ми фор­ма­ты AIC, U.2 и M.2 — рынок решит по-своему. Проблема обустройства хранения в дата-центрах не сводится к одной только плотности компоновки.

Ширина интерфейса (во всех смыслах)

В частности, — и потому что про­из­во­ди­тель­ность накопителей напрямую связана с шириной шины. Все помнят, как за­ме­нив Ultra SCSI на SAS, серверы выиграли в скорости дисковых операций. И свободного места в системных корпусах стало больше. Без посредников, силами только интерфейса PCI Express, казалось бы, можно и дальше «сорить» про­ст­ран­ст­вом? А вот нет.

Проблемная зона — топология PCI Express. Свободные линии шины давно на счету — интеграторы дорожат этим ре­сур­сом. Наращивать количество PCIe-линков, ведущих к накопителям, не получится. А сдерживать про­из­во­ди­тель­ность подсистемы хранения тоже неправильно. Сегодня спрос таков, что с ростом свободных PCIe-линков, до­ступ­ных прямо из процессорного сокета, хотелось бы качественных изменений в дисковом хозяйстве.

Определенные ожидания связаны с внедрением PCIe V4.0 (не за горами и V5.0). Их скоростные показатели диктуют новую моду: где было x4 у PCIe V3.0, там станет x2 у PCIe V4.0, а вскоре и x1 у PCIe V5.0. Накопительные скидки в дей­ст­вии :)

Ужасы интеграции

Даже в персональных платформах охлаждение стало кричащей проблемой: компоненты обрастают радиаторами и вен­ти­ля­то­ра­ми. Внедрение SSD добавило новых забот разработчикам — учитывая плотность монтажа. Но если на поль­зо­ва­тель­ском рынке теплоотводу от накопителей отводится декоративная роль, серверный парк просто вы­нуж­ден следовать требнику по надежности.

 

Опасности отовсюду, но главная — перманентное снижение ресурса DWPD (Drive Writes Per Day) на фоне нуклонного роста емкости серверных SSD. Потеряв страх, пользователь полагается на изощренные алгоритмы резервирования NAND-контроллеров. «Выход на пенсию» дисковых массивов планируется строго по графику, а нарушение га­ран­тий­ных сроков — только в экстраординарных случаях. Все правильно, но не при работе в «горячем цехе».

Снизить тепловыделение можно снизив энергопотребление. На фоне объемной 3D-литографии этот тезис выглядит неубедительно. Форм-фактор накопителя здесь уже не фактор «юза­би­ли­ти», а, скорее, фактор риска. Потеряв из виду температурный режим дисковой полки, можно быстро познакомиться с технологией восстановления данных.

Какой из форматов SSD благоприятен для Endurance? Точно, что не M.2. AIC хорош, но известные ограничения — не эпи­зод в его судьбе, а сама судьба. Похоже, придется выбирать между U.2 и «ruler». У последнего — все тело те­пло­от­вод. Сервисные манипуляции над ним, правда, сложны в силу экзотичности продукта.

Баланс всему голова

Задача разработчиков и надзорных комитетов – искать разумный баланс. В случае формата серверных накопителей – емкости хранения, плотности компоновки, запаса производительности в расчете на устройство. Конечно же, воз­мож­но­го тиража и цены реализации.

Более важными представляются мас­ш­та­би­ру­е­мость хранения, тер­мо­эф­фек­тив­ность в рамках привычного дизайна серверов, доступность накопителей на рынке и удобство их обслуживания (включая горячую замену). Об­рат­ная со­вмес­ти­мость по форматам была бы не так важна, будь мы все свободны в бюджете. Но мы несвободны. Не­стан­дарт­ная эк­зо­ти­ка всегда будет дорогой и иметь меньше шансов, чем сба­лан­си­ро­ван­ный по параметрам продукт.