Влияние BIOS на производительность серверов

Самое интересное в процессорах семейства Intel Xeon E5 v3 – наличие режима Cluster-on-Die, сокращенно – COD. Это новшество открывает путь к построению еще более производительных платформ и, как следствие, к реализации с их помощью высоконагруженных систем.

Заметим, что не все процессоры Haswell-EP обладают способностью формировать внутри себя кластерные узлы, а лишь только те из них, у которых количество ядер более десяти. В чем прелесть мультиядерной кластеризации? Ответ на это вопрос можно найти в дискуссионных материалах технического центра компании Dell, адресованных специалистам по обслуживанию Haswell-серверов. Давайте проанализируем, насколько обсуждаемая тема может быть полезной отечественным серверостроителям, потребителям их продукции и разработчикам программного обеспечения для HPC и HighLoad-систем?

Теоретический базис

Что такое кластер внутри процессора Haswell-EP? Ответ на этот вопрос требует небольшого экскурса в историю серверных платформ.

С появлением двух- и более сокетных платформ, в разъемах которых гнездились процессоры со встроенным RAM-контроллером, на повестке дня встал вопрос про оптимизацию доступа к системной памяти. Суть его сводилась к тому, что без крайней необходимости процессор не должен обращаться к массиву ОЗУ, подключенному к соседнему гнезду. Понятно, что при доступе к локальным ресурсам латентность ниже, чем при обращении к ресурсам соседнего сокета. Такая топология получила название NUMA или Non-Uniform Memory Access, что подчеркивает неоднородный доступ к памяти, предоставляемый процессорам серверной платформы.

Режим Cluster-on-Die, используемый для процессоров Intel Xeon E5 v3 с десятью и более ядрами, логически разделяет каждый процессор на два NUMA-узла, называемых кластерами.

Заметим, что NUMA-иерархия в приложении Haswell-EP к стала двухуровневой: нижний уровень – кластеры, верхний уровень – процессорные сокеты (гнезда). Каждому сокету теперь есть возможность назначить два NUMA-узла. Из этого следует, что параметр, характеризующий расстояние между узлами в мультипроцессорной NUMA-системе, может принимать более двух значений (не только локальный или удаленный узел).

Декларирование кластеров, также как и декларирование топологии мультипроцессорных NUMA-систем с целью передачи информации от UEFI BIOS платформы к операционной системе и оптимизации использования локальных ресурсов кластера, осуществляется посредством ACPI-таблицы SRAT (System Resource Affinity Table, или, по другой версии Static Resource Affinity Table). Для описания двухуровневой NUMA-системы потребуется еще одна ACPI-таблица SLIT (System Locality Distance Information Table). Эта таблица содержит матрицу размерностью N x N, где N = количество NUMA-узлов. Элементы матрицы Xij содержат константы, численно характеризующие расстояние между узлами i, j.

Практическая надстройка

Для того чтобы изучить влияние установок BIOS на производительность сервера, компания Dell использовала платформу PowerEdge R730xd с 14-ядерными процессорами  Intel Xeon E5-2697 v3 частотой 2,60 ГГц. Прежде, чем приступить к рассмотрению результатов тестов отметим, что их значения ниже теоретических, которые мы обсуждали в статье «DDR4 в серверах: чего ждать?»:

Бенчмарки Dell получены с помощью пакета программного обеспечения Stream Triad. Наилучший результат достигается при обмене данными с ОЗУ, в котором были задействованы оба процессора. Его значение 116 ГБ/сек немногим уступает гипотетически возможному 136 ГБ/сек. Сведем сравнение всех полученных результатов в таблицу:

Примечание [1]. В качестве теоретического для сравнения приводится пропускная способность одного канала оперативной памяти, вычисляемая как произведение тактовой частоты передачи данных 2133 MГц и разрядности шины данных модуля DIMM, без учета ECC (это 8 байт = 64 бита): 2133 * 8 = 17064 , что составляет чуть более, чем 17 ГБ/сек.

Режим Full System (два сокета, 8 каналов памяти) предполагает выполнение в мультипроцессорной системе ресурсоемкого приложения, способного загрузить работой логические процессоры, входящие в состав всех ядер двух физических процессоров (сокетов). При этом подразумевается, что приложение оптимизировано в соответствии с топологией платформы и каждый программный поток использует диапазон адресов, относящийся к контроллеру памяти, схемотехнически ближайшему к логическому процессору, выполняющему этот поток.

Режим Local Socket (один сокет, 4 канала памяти) предполагает, что приложение выполняется на логических процессорах, относящихся только к одному из сокетов, но при этом по прежнему оптимизировано и использует память, ближайшую к логическим процессорам, выполняющим этот поток. Поскольку в рассматриваемой платформе каждый процессорный сокет содержит свою четырехканальную подсистему памяти, а каждая подсистема в свою очередь состоит из двух двухканальных контроллеров, критериев оптимальности два: выбор оптимальной подсистемы и выбор оптимального контроллера в составе подсистемы.

Режим Local NUMA Node (один кластер) также предполагает NUMA-оптимизированное приложение, но выполняемое одним кластером, то есть половиной физического процессора, что означает использование только одного двухканального контроллера памяти, ближайшего к данному кластеру.

В режиме Remote to same Socket (доступ к ОЗУ соседнего кластера) тестовое приложение, вместо ближайшего контроллера памяти, намеренно использует контроллер соседнего кластера того же физического сокета, для того, чтобы оценить падение производительности, имеющее место в этом случае.

В режиме Remote to other Socket (доступ к ОЗУ соседнего сокета) тестовое приложение намеренно создает наихудший случай, используя контроллер памяти другого физического сокета. В этом случае логические процессоры выполняющие обращение к памяти и адресуемый блок памяти физически относятся к разным сокетам.

Полезные выводы

Распределенные вычисления, замкнутые в кольце процессорного кластера, выполняются более эффективно, если организована сегрегация пространства оперативной памяти. Как показывает эксперимент Dell, доступ к локальной области ОЗУ на 47% быстрее по сравнению с операциями с памятью, выделенной соседнему кластеру. Чтение и запись данных, расположенных в массиве RAM, подключенном к соседнему сокету (гнезду) выполняются еще медленнее – на 58%.

Оптимально ли значение 10 ядер для запуска Cluster-on-Die топологии? Ответ на этот вопрос остается открытым в силу того, что подтвердить или опровергнуть его можно эмпирическим путем. А вся информация по данному вопросу дозировано исходит только от компании Intel.

Существенный прирост производительности COD-технология может обеспечить, когда выполнение гостевых задач виртуализации поручено выделенным процессорным кластерам. Логическое распределение вычислений в таком случае поддерживается и на аппаратном уровне.