Четыре петабайта в украинском проекте: подробности реализации отказоустойчивого кластера

Несмотря на то, что все­воз­мож­ные об­лач­ные ре­ше­ния про­дол­жа­ют на­би­рать по­пу­ляр­ность, мно­гие круп­ные ком­па­нии лишь при­смат­ри­ва­ют­ся к ним. Од­на из по­пу­ляр­ных мо­де­лей по­ст­ро­е­ния со­вре­мен­ной IT-ин­фра­ст­рук­ту­ры — ис­поль­зо­ва­ние ги­брид­ных об­­лач­­ных тех­но­ло­гий, при ко­то­ром со­че­та­ют­ся об­ще­до­ступ­ное об­ла­ко уров­ня Azure или AWS и об­ла­ко част­ное.

Для частного облака не­об­хо­ди­мым ус­ло­ви­ем ста­но­вит­ся по­стро­е­ние on-pre­mise плат­фор­мы как фун­да­мента для даль­ней­ше­го мас­шта­би­ро­ва­ния соб­с­т­вен­ной ин­фра­с­т­рук­ту­ры, ког­да ин­те­гра­ция с об­ла­ка­ми рас­смат­ри­ва­ет­ся как пер­с­пек­ти­ва. Для такого фун­да­мента желательна од­но­род­нос­ть сер­вер­но­го обо­ру­до­ва­ния для обес­пе­че­ния на­деж­но­с­ти и вза­и­мо­за­ме­ня­е­мо­с­ти компонентов, а также ми­ни­ми­за­ци­и вре­­ме­­ни уст­ра­не­нии ап­па­рат­ных от­ка­зов.

Как, решая поставленную задачу, ум­но рас­по­ря­дить­ся фи­нан­са­ми и со­здать га­ран­ти­ро­ва­но от­ка­зо­ус­той­чи­вый и хо­ро­шо мас­ш­та­би­ру­е­мый продукт?

Киевская компания «Оникс» создала и внедрила у одного из крупных заказчиков отказоустойчивый кластер, ко­то­рый по украинским меркам вполне может счи­тать­ся монстром IT-бизнеса. Сегодня слож­но кого-то уди­вить ре­корд­ной про­из­во­ди­тель­но­стью или аст­ро­но­ми­че­ски­ми объ­е­ма­ми хранения данных — в но­во­стях ре­гу­ляр­но появляются все но­вые и но­вые ре­кор­ды. Но одно дело — в новостях из-за оке­а­на, и со­всем дру­гое — когда по­доб­ные про­ек­ты ре­а­ли­зу­ют­ся не­по­сред­ст­вен­но у нас в стра­не.

Подробности конфигурации

Что же представляет собой типовой проект кор­по­ра­тив­ной плат­фор­мы, который легко масштабирует и ком­пью­тер­ные мощ­но­с­ти, и пространство хранения?

Аппаратным ядром решения стал вы­чис­ли­тель­ный кластер, построенный на двух четырехсокетных серверах от Su­per­Mic­ro, са­тел­ли­та­ми ко­то­рых выступили пять двухпроцессорных серверов. Дуб­ли­ро­ва­ние су­пер­мощ­ных плат­форм — дань на­деж­но­с­ти, а вот фундамент из про­из­во­ди­тель­ных двух­про­цес­сор­ных сер­ве­ров ну­жен для на­ра­щи­ва­ния раз­де­ля­е­мой сре­ды вы­чис­ле­ний. В первом случае про­цес­сор­ная со­став­ля­ю­щая — это 72 фи­зи­че­ских яд­ра Intel Xeon, ра­бо­та­ю­щих на час­то­те 3 ГГц, в их распоряжении — по 1,5 терабайта опе­ра­тив­ной памяти. Для сер­ве­ров мас­ш­та­би­ро­ва­ния за­дей­ст­во­ва­ны плат­фор­мы Su­per­mic­ro по­скром­нее: 36 фи­зи­че­ских ядер с поддержкой Hyper-Thre­ad­ing, каж­дый узел которых обеспечен 768 ГБ RAM.

Организация сети кластера

Высокая пропускная способность, низкие задержки и гарантированное отсутствие потерь стали возможны бла­го­да­ря се­те­во­му обо­ру­до­ва­нию Mellanox SN2410. Связав с его помощью воедино все аппаратные со­став­ля­ю­щие клас­те­ра, уда­лось по­ст­ро­ить систему, стабильность и со­вме­с­ти­мость которой можно до­ка­зать не­по­сред­ст­вен­ным тес­ти­ро­ва­ни­ем.

Решаемые задачи

Но самое впечатляющее в кластере — это дисковое пространство в 4 петабайта. Для его реализации по­на­до­би­лись две СХД (сис­те­мы хра­не­ния дан­ных) от компании Infortrend с объемом дискового про­ст­ран­ст­ва по 2 PB каж­дая. Вы­бор этих мон­ст­ров диктуется прикладными задачами, де­ле­ги­ро­ван­ны­ми конкретно данному клас­те­ру: в его обязанности входит поддержка боль­ших и вы­со­ко­на­гру­жен­ных баз дан­ных, почтовые сис­те­мы, а также огромный объ­ём ин­фор­ма­ции, ко­то­рая не ис­поль­зу­ет вы­со­ко­ско­рост­ные SSD, но требует на­дёж­но­го хранения таких объ­ё­мов с при­ем­ле­мой ско­ро­стью доступа к ним.

По замыслу инженеров «Оникс» при вы­хо­де из строя одного из узлов системы хра­не­ния кластер сохранит бес­пе­ре­бой­ный до­­ступ к ви­де­о­ар­хи­ву, обеспечив про­зрач­ную работу с ним на всю глубину. В основе его от­ка­зо­ус­той­чи­во­с­ти — от­сут­ст­вие еди­ных точек отказа, в том числе и в СХД.

Кроме «холодного» пула система хранения In­for­trend поддерживают тиринг, ба­зи­ру­ю­щий­ся на SSD, который пред­по­ла­га­ет раз­де­ле­ние данных по степени их во­с­тре­бо­ван­но­с­ти. Для часто запрашиваемой ин­фор­ма­ции («го­ря­чие» дан­ные) отводится 24 твердотельных накопителя по 1,6 ТБ каждый. Ред­ко­час­тот­ные запросы об­слу­жи­ва­ют­ся маг­нит­ны­ми но­си­те­ля­ми: у них и объемы побольше, и це­на за ги­га­байт хра­не­ния щадящая. Дис­ко­вая полка от Infor­trend на 204 уст­рой­ст­ва как нельзя луч­ше соответствует по­став­лен­ным за­да­чам.

Итоги и перспективы

На первый взгляд, локальным on-pre­mise решениям ничто не угрожает, с известной долей иронии можно да­же ска­зать, что над ними безоблачное небо. Как гибридные технологии проторят себе дорогу в об­лач­ные струк­ту­ры, ес­ли им по­ка ком­форт­но здесь «на земле» оперировать ги­гант­с­ки­ми пространствами хранения с по­мо­щью по­сто­ян­но ра­с­ту­щих про­цес­сор­ных мощ­но­с­тей?

Во-первых, пространства для хранения не бывает много. То что сегодня казалось бесконечномерным про­ст­ран­ст­вом уже зав­т­ра, благодаря информационной эн­т­ро­пии, может стать узким горлышком в поголовной ди­джи­та­ли­за­ции. Рост про­цес­сор­ных мощностей (и это во-вторых) уже давно продемонстрировал тенденцию увя­да­ния. На по­вест­ке дня ком­пью­тинг со­в­сем другой природы — гетерогенные вы­чис­ле­ния, призванные ре­шать задачи ис­кус­ст­вен­но­го ин­тел­лек­та. Фактически это означает глубокий анализ хранящейся ин­фор­ма­ции по многим критериям, пред­став­ля­ю­щим со­ци­аль­ный интерес.

Пример реализации компанией «Оникс» отказоустойчивого кластера — толь­ко пер­вый шаг к построению гиб­рид­ных об­ла­ков, где бу­дут собираться и, главное, ана­ли­зи­ро­вать­ся огромные пласты ин­фор­ма­ции, спо­соб­ной из­ме­нить к луч­ше­му наше бу­ду­щее.