Первые жесткие диски на вращающихся магнитных пластинах были величиной с холодильник, при емкости в несколько мегабайт. Примерно двадцать лет назад оптимизация размера (форм-фактора) HDD остановилась на двух устойчивых состояниях: LFF (3.5”) и SFF (2.5”). С появлением твердотельных накопителей на флеш-памяти все пошло вразнос — кроме форматов, совместимых с HDD, появилось много новых: AIC (Add-In-Card), mSATA, NGFF, не говоря уже о BGA-монтаже в планшетах и смартфонах.
Время расставляет все по местам
В персональной технике помалу утвердился стандарт сменных носителей M.2 2260 … 22110 (NGFF) — типовых карт 22 х 60 … 110 мм с одно- или двухсторонним размещением микросхем NAND. Хотя M.2 создавался как компактная реализация SATA Express (c поддержкой интерфейса SATA 3.0 и шины PCIe 3.0), дело идет к полному вытеснению M.2 SATA устройствами M.2 NVMe: при одном-двух накопителях, с одинаково простым подключением, производительность PCIe SSD на голову выше. Цена сопоставима.
Не то в серверах: емкость хранения внушительнее, накопителей больше, специфические требования по горячей замене, подключению, теплоотводу диктуют совсем другие стандарты. Подсистемы хранения серверов — фронт борьбы за производительность передачи данных между CPU и постоянной памятью. Боевое знамя поддерживает рабочая группа NVM Express, развивая одноименную спецификацию протокола доступа к данным по шине PCIe. В ее компетенцию входит и стандартизация накопителей — через приживание технологий, совмещение интересов разработчиков, обеспечение преемственности экосистем.
И это еще не все актуальные варианты конструктивного исполнения NVMe SSD в серверах (здесь нет плат расширения AIC, нет NVDIMM, похожих на модули оперативной памяти, но уже со встроенным SMART):
Источник: NVMexpress.org
Пока что индустрия тяготеет к двум основным форматам твердотельных накопителей:
- M.2 под загрузочные тома (или временные данные) для внутренней установки;
- 2.5” под основные (критичные) данные c размещением в дисковых корзинах фронтального доступа и горячей заменой.
Контакты и конфликты (о разъемах)
Все чаще бэкплейны дисковых корзин серверных корпусов оснащаются разъемами SFF-8639 (расширенной версией SAS-колодки SFF-8442), а материнские платы — портами для вывода сигналов шины PCI Express на бэкплейн. Термином U.2 называют 2.5” NVMe, а в широком смысле — унифицированный формат подсистем хранения. Пригодность U.2 под все актуальные интерфейсы SAS/SATA/NVMe дает маневр по HDD/SSD и намек на стандартизацию. Не так важна совместимость с механическими дисками — SFF HDD 10-15K rpm давно сдали свои позиции производительным SSD, а SFF SATA HDD 7200 rpm ненамного дешевле SSD на QLC NAND. Смешение типов SSD — вот актуальный тренд. В 1U можно поставить до 12, а в 2U — до 24 накопителей, комбинируя SAS, SATA и NVMe SSD на памяти NAND, а то и выдающейся производительности Intel Optane SSD на памяти 3D XPoint.
Война форматов не закончена. Так, представляя формат «ruler», Intel может сколь угодно называть отжившими форматы AIC, U.2 и M.2 — рынок решит по-своему. Проблема обустройства хранения в дата-центрах не сводится к одной только плотности компоновки.
Ширина интерфейса (во всех смыслах)
В частности, — и потому что производительность накопителей напрямую связана с шириной шины. Все помнят, как заменив Ultra SCSI на SAS, серверы выиграли в скорости дисковых операций. И свободного места в системных корпусах стало больше. Без посредников, силами только интерфейса PCI Express, казалось бы, можно и дальше «сорить» пространством? А вот нет.
Проблемная зона — топология PCI Express. Свободные линии шины давно на счету — интеграторы дорожат этим ресурсом. Наращивать количество PCIe-линков, ведущих к накопителям, не получится. А сдерживать производительность подсистемы хранения тоже неправильно. Сегодня спрос таков, что с ростом свободных PCIe-линков, доступных прямо из процессорного сокета, хотелось бы качественных изменений в дисковом хозяйстве.
Определенные ожидания связаны с внедрением PCIe V4.0 (не за горами и V5.0). Их скоростные показатели диктуют новую моду: где было x4 у PCIe V3.0, там станет x2 у PCIe V4.0, а вскоре и x1 у PCIe V5.0. Накопительные скидки в действии :)
Ужасы интеграции
Даже в персональных платформах охлаждение стало кричащей проблемой: компоненты обрастают радиаторами и вентиляторами. Внедрение SSD добавило новых забот разработчикам — учитывая плотность монтажа. Но если на пользовательском рынке теплоотводу от накопителей отводится декоративная роль, серверный парк просто вынужден следовать требнику по надежности.
Опасности отовсюду, но главная — перманентное снижение ресурса DWPD (Drive Writes Per Day) на фоне нуклонного роста емкости серверных SSD. Потеряв страх, пользователь полагается на изощренные алгоритмы резервирования NAND-контроллеров. «Выход на пенсию» дисковых массивов планируется строго по графику, а нарушение гарантийных сроков — только в экстраординарных случаях. Все правильно, но не при работе в «горячем цехе».
Снизить тепловыделение можно снизив энергопотребление. На фоне объемной 3D-литографии этот тезис выглядит неубедительно. Форм-фактор накопителя здесь уже не фактор «юзабилити», а, скорее, фактор риска. Потеряв из виду температурный режим дисковой полки, можно быстро познакомиться с технологией восстановления данных.
Какой из форматов SSD благоприятен для Endurance? Точно, что не M.2. AIC хорош, но известные ограничения — не эпизод в его судьбе, а сама судьба. Похоже, придется выбирать между U.2 и «ruler». У последнего — все тело теплоотвод. Сервисные манипуляции над ним, правда, сложны в силу экзотичности продукта.
Баланс всему голова
Задача разработчиков и надзорных комитетов – искать разумный баланс. В случае формата серверных накопителей – емкости хранения, плотности компоновки, запаса производительности в расчете на устройство. Конечно же, возможного тиража и цены реализации.
Более важными представляются масштабируемость хранения, термоэффективность в рамках привычного дизайна серверов, доступность накопителей на рынке и удобство их обслуживания (включая горячую замену). Обратная совместимость по форматам была бы не так важна, будь мы все свободны в бюджете. Но мы несвободны. Нестандартная экзотика всегда будет дорогой и иметь меньше шансов, чем сбалансированный по параметрам продукт.