Что такое JBOD?

Когда-то JBOD счи­тал­ся дис­ко­вым мас­си­вом для тех, у ко­го не хва­ти­ло де­нег на про­дви­ну­тый RAID-кон­т­рол­лер или ес­ли со вре­ме­нем со­бра­лась раз­но­шер­ст­ная груп­па на­ко­пи­те­лей, а ре­сур­сов и тех­но­ло­гий для то­го что­бы уп­ра­вить­ся с ни­ми ока­за­лось не­до­ста­точ­но. Се­го­дня си­ту­а­ция кар­ди­наль­но по­ме­ня­лась.

Чем же примечательна кон­ст­рук­ция, пред­наз­на­чен­ная для ус­та­нов­ки не­сколь­ких де­сят­ков HDD/SSD, ко­то­рую не­ско­ль­ко ­фа­миль­яр­но на­зы­ва­ют «просто комплект дисков» — Just a Bunch Of Disks (JBOD)? Будем разбираться.

JBOD как класс

JBOD как отдельный класс серверного оборудования возник на переломе технологий — объем HDD стал кри­ти­че­ской величиной для выживаемости RAID-массивов, а энтропия информации стала безжалостно за­пол­нять лю­бое сво­бод­ное про­ст­ран­ст­во. В ответ на эти вызовы появилось про­грам­мно-оп­ре­де­ля­е­мое хра­не­ние, спо­соб­ное вклю­чать в свою ор­би­ту дис­ко­вые мас­сивы, об­слу­жи­ва­е­мые SAS-ин­тер­фей­сом (либо лю­бой дру­гой при­ем­ле­мой аль­тер­на­ти­вой ему).

Теперь монолитный ранее «сто­ридж» предоставляет доступ ко все­му сво­е­му со­дер­жи­мо­му: к каж­до­му мо­ду­лю хра­не­ния, ко всем пор­там ин­тер­фей­са и вне­по­лос­но­го управления. Ос­та­лось ос­нас­тить уп­рав­ля­ю­щие кон­т­рол­ле­ры ум­ны­ми фун­к­ци­я­ми, опе­ри­ру­ю­щи­ми дис­ко­вы­ми кор­зи­на­ми. JBOD — это именно ав­то­ном­ная дис­ко­вая кор­зи­на, зо­на фи­зи­че­ско­го ком­фор­та на­ко­пи­те­лей. Хра­ня­щи­ми­ся в них дан­ны­ми уп­рав­ля­ют «внеш­ние» си­лы — сер­ве­ры. Они же мо­ни­то­рят со­сто­я­ние всех сис­тем JBOD, убеж­дая вла­дель­ца ин­фор­ма­ции в том, что дан­ные в без­о­пас­но­сти.

Дисковые корзины: конструктивный подход

Для хранения больших массивов информации уместно ис­поль­зо­вать спе­ци­аль­но пред­наз­на­чен­ные для это­го кон­ст­рук­ции. Просто так взять и разместить несколько десятков магнитных дисков в первый по­пав­ший­ся кор­пус не по­лу­чит­ся — возникает ряд технических проблем, для решения которых требуется особый ин­же­нер­ный подход. Что же это за проблемы и каким способом они решаются? Рассмотрим один из удачных ва­ри­ан­тов реализации дискового массива — UltraStar Data60 от Western Digital.

Против вибрации

Массивы жестких магнитных дисков при плотной компоновке могут страдать от вза­им­но­го вли­я­ния. Ис­точ­ни­ком про­б­лем ста­но­вит­ся со­ле­но­ид ак­ту­а­то­ра, позиционирующий блок головок над рабочей поверхностью. Его виб­ра­ции ока­зы­ва­ют за­мет­ное влияние на соседние устройства. Точность по­зи­ци­о­ни­ро­ва­ния головок снижается, потому что любое воз­дей­ст­вие на диск при зазоре между головкой и по­верх­но­стью менее 10 нанометров становится критичным — и кон­т­рол­лер HDD вы­нуж­ден снова выполнять поиск нужного цилиндра.

В сеансе ОС сервер обращается сразу ко всем дискам, фор­ми­ру­ю­щим про­грам­мно-оп­ре­де­ля­е­мую ин­фра­ст­рук­ту­ру. Каж­дый из них, едва заметно подрагивая корпусом, постоянно осуществляет свою программу по­зи­ци­о­ни­ро­ва­ния (по­ис­ка нужной дорожки) — в итоге цепочка ви­бра­ци­он­но­го вза­и­мо­вли­я­ния замедляет работу всех накопителей в JBOD, заметно снижая скорость доступа к данным (что плохо, но не фатально) и существенно сокращая срок жизни дисков (что катастрофически плохо).

 

Для борьбы с этим явлением Western Digital JBOD Ultrastar Data60 применяет остроумное демпфирование. Его суть, составляющая основу патентованной технологии IsoVibe, состоит в следующем. Ка­на­лом, по ко­то­ро­му рас­про­ст­ра­ня­ют­ся вибрации, оказалась плата бэкплейна, к которой подключаются HDD. Посему в текстолите PCB сде­ла­ны спе­ци­аль­ные фи­гур­ные вы­ре­зы, со­об­ща­ю­щие гибкость тому участку, где распаян SAS-разъем. Это прак­ти­че­ски сво­дит на нет вза­и­м­ное вли­я­ние дисков в JBOD — вибрация каждого из них отлично амортизируется хитрым подвесом разъема.

Дополнительным фактором, гасящим вибрацию, надежное без­резь­бо­вое крепление накопителя в отсеке, осо­бен­но эф­фек­тив­ное при установке 2,5" устройств. С учетом те­х­но­ло­гии Isovibe, это почти на две тре­ти сни­жа­ет виб­ра­ци­он­ную на­груз­ку на магнитные диски в JBOD, что бла­го­твор­но вли­я­ет на ре­жим их работы и продлевает срок их служ­бы.

Охлаждение

Гелий-наполненные диски, которые и разработаны для JBOD, в активной фазе чтения/записи потребляют зна­чи­тель­ный ток, что приводит к их нагреву. Ути­ли­за­ция теп­ла пре­сле­ду­ет те же цели, что и по­дав­ле­ние виб­ра­ции: про­дле­ние жиз­нен­но­го цик­ла на­ко­пи­те­лей и ста­биль­ность дис­ко­вых опе­ра­ций. В Ultrastar Data60 они до­сти­га­ют­ся бла­го­да­ря кон­цеп­ции ArcticFlow.

Терморегуляция ArcticFlow — это тех­но­ло­гия, за­па­тен­то­ван­ная ком­па­ни­ей Western Digital технология. Ее суть сво­дит­ся к фор­ми­ро­ва­нию раз­дель­ных по­то­ков воз­ду­ха, ох­лаж­да­ю­щих фрон­таль­ную и тыль­ную зо­ны JBOD.

Воздух, охлаждающий передние ряды HDD, на­гре­ва­ет­ся и уходит по бо­ко­вым ко­ри­до­рам мимо тыль­ной зоны. Ту­да, вглубь JBOD, по­да­ет­ся холодный воздух по спе­ци­аль­но спро­ек­ти­ро­ван­но­му цен­т­раль­ному воз­ду­хо­во­ду. Он минует на­гре­тые диски фрон­таль­ной зоны и раз­де­ля­ется на пе­ри­фе­рий­ные по­то­ки, обес­пе­чи­ва­я эф­фек­тив­ное ох­лаж­де­ние тыльной зоны — зад­них ря­дов на­ко­пи­те­лей.

Центральный воздушный коридор выполняет и задачу тер­мо­ре­гу­ля­ции еще одного от­вет­ст­вен­но­го узла: двух бло­ков пи­та­ния по 1,6 КВт каждый и модулей вво­да/вы­во­да — SAS-экспандеров. Еще недавно компоновка JBOD стро­и­лась по ти­по­вой схеме: экс­пан­де­ры раз­ме­ща­лись на тыльной стороне шасси, об­ду­ва­е­мые горячим от­ра­бо­тан­ным воздухом. Их перенос в зону центрального коридора — фирменный почерк хранилищ семейства Ultrastar.

Для них формируется независимый поток? В результате вентиляторы работают тише? ли вибрация снижается на 60%. Как воздух рециркулирует? Почему нельзя заглушек дюжину добавить к HDD?

Аэродинамика

Технология ArcticFlow построена с учетом аэро­ди­на­ми­че­ских ха­рак­те­рис­тик шас­си JBOD. По этой при­чи­не по­ря­док ус­та­нов­ки на­ко­пи­те­лей рег­ла­мен­ти­ро­ван: первыми заполняются свободные отсеки тыль­ной зоны. В даль­ней­шем по­пу­ля­ция рас­ши­ря­ет­ся в сто­ро­ну фрон­таль­ной зоны, заселяя свободные отсеки в строгой очередности.

 

Минимально требуется 24 накопителя для эф­фек­тив­но­го от­во­да теп­ла внутри корпуса JBOD, что про­дик­то­ва­но осо­бен­но­стью воз­душ­ных по­то­ков в двух­зон­ной кон­фи­гу­ра­ции хра­ни­ли­ща. При мень­шем ко­ли­че­ст­ве уст­ройств в кор­зи­не JBOD воз­ни­ка­ет риск па­ра­зит­ной ре­цир­ку­ля­ции, в ре­зуль­та­те ко­то­рой от­ра­бо­тан­ный го­ря­чий воз­дух через цен­т­раль­ный ко­ри­дор может снова попасть в систему охлаждения.

Исключение из правил — установка SSD. Ultrastar Data60 от Western Digital по­зво­ля­ет за­нять твер­до­тель­ны­ми на­ко­пи­те­ля­ми 24 отсека из 60 имеющихся. SSD всегда размещаются в тыль­ной зо­не, бли­же к вен­ти­ля­то­рам, так как гре­ют­ся силь­нее маг­нит­ных дис­ков.

 

Даже, если понадобится всего один SSD, его нужно ставить в по­след­ний ряд, блокируя не­за­ня­тые от­се­ки спе­ци­аль­ны­ми за­глуш­ка­ми. Они требуются для корректного, с точки зрения аэро­ди­на­ми­ки, рас­пре­де­ле­ния воз­душ­ных по­то­ков.

Культура регулярности

JBOD, как агрегат для объемного хранения, дол­жен ин­те­ре­со­вать нас в первую очередь своей мас­ш­та­би­ру­е­мо­стью. Его воз­мож­нос­ти выгодно отличаются от проприетарных систем. В отличие от них, JBOD-ин­фра­ст­рук­ту­ра не свя­за­на ог­ра­ни­че­ни­я­ми про­грам­мно­го слоя, вы­чи­сли­тель­ной мощ­но­стью уп­рав­ля­ю­щих конт­рол­ле­ров и спо­со­бом их под­клю­че­ния в сеть.

Забота об утилизации лучших качеств данного типа хра­ни­лищ — в куль­ту­ре ре­гу­ляр­но­с­ти. С по­ни­ма­ни­ем от­но­сясь к уни­вер­саль­ным воз­мож­но­стям Ultrastar Data60, пользователь должен отдавать себе от­чет, что наи­луч­шим его при­ме­не­ни­ем будет однородная среда HDD, способная к пе­ре­оп­ре­де­ле­нию в со­от­вет­с­т­вии с ме­ня­ю­щи­ми­ся за­да­ча­ми. А экс­пе­ри­мен­ты с SSD, хотя и под­дер­жи­ва­ют­ся фун­к­ци­о­наль­но­стью JBOD, ос­та­ют­ся ис­клю­че­ни­ем из правил. Твер­до­тель­ным на­ко­пи­те­лям луч­ше будет в JBOF. Но это уже дру­гая ис­то­рия.