Blade серверы: их история, основные преимущества, современные системы
Для чего служат Blade-серверы?
В настоящее время существует большой класс задач, требующих высокой концентрации вычислительных средств. К ним могут относиться как сложные ресурсоемкие вычисления (научные задачи, математическое моделирование, вычислительный поиск), так и обслуживание большого числа пользователей (распределенные базы данных, Интернет-сервисы и хостинг, серверы приложений).
Мощность вычислительного центра можно сделать больше, увеличив производительность отдельных вычислительных модулей или их количество. В настоящее время преобладает вторая тенденция, и усилия разработчиков направлены, прежде всего, на внедрение параллельных вычислений.
Это связано с тем, что поскольку сейчас производительность центрального процессора очень высока при относительно низкой стоимости, рациональнее использовать для решения большинства задач кластерные конфигурации, а не сложные многопроцессорные системы. В будущем, скорее всего, эта тенденция сохранится (надеяться на это позволяет появление многоядерных центральных процессоров, еще более сокращающих разрыв в вычислительной мощности между специализированными решениями и простыми серверами с двумя — четырьмя центральными процессорами).
Увеличение числа вычислительных модулей в вычислительном центре требует новых подходов к размещению серверов. Применение кластерных решений приводит к росту затрат на помещения для центров обработки данных, их охлаждение и обслуживание.
Фактически блейд система состоит из следующих компонентов
Вместо обычных PCI(PCI-E, PCI-X) плат в сервер вставляются мезонинные карты, которые позволяют использовать интерфейсы FC, Infiniband, SAS, или дополнительные порты Ethernet, при наличии в шасси соответствующего внешнего коммутационного модуля.
Тем не менее, по данным аналитиков, повышенная плотность лезвий сейчас отходит на второй план и их главным преимуществом для корпоративного сектора становится улучшение управляемости серверов с более высокой степенью автоматизации их обслуживания. Переход к серверной инфраструктуре, построенной из лезвий, позволяет реализовать интегрированное управление системы и отойти от прежней схемы работы Intel-серверов, когда каждому приложению выделялась отдельная машина. На практике это означает значительно более рациональное использование серверных ресурсов, уменьшение числа рутинных процедур (таких, как подключение кабелей), которые должен выполнять системный администратор, и экономию его рабочего времени.
Типичное 10U шасси для 10 Blade-серверов
Кроме того, Blade-серверы намного проще обслуживать, чем обычные стоечные серверы, — например, при выходе машины из строя системный администратор просто заменяет лезвие на новое и затем в дистанционном режиме инсталлирует на него ОС и прикладное ПО. В настоящее время разработчики пакетов для управления Blade-серверами реализуют в своих продуктах не только возможности автоматического развертывания на новых серверах ОС и приложений, но и функции быстрого обновления установленного ПО или инсталляции программных “заплаток”.
Blade-серверы являются крайне эффективным решением для экономии пространства в центрах обработки данных (ЦОД), а также с точки зрения их консолидации и перехода к централизованному управлению серверным парком. Например, системный администратор может управлять шасси с лезвиями как одним объектом и по мере роста нагрузок увеличивать его вычислительную мощность, добавляя новые лезвия. Кроме того, поскольку обычно в шасси предусмотрена возможность установки сетевых коммутаторов, эта опция позволяет провести и консолидацию сетевых ресурсов ЦОД.
Помимо уменьшения занимаемой площади в ЦОД, экономический эффект от перехода на лезвия имеет еще несколько составляющих. Поскольку в них входит меньше компонентов, чем в обычные стоечные серверы, и они часто используют низковольтные модели процессоров, то сокращаются требования к энергообеспечению и охлаждению машин. Как уже говорилось выше, экономится рабочее время администратора, который в результате успевает обслуживать больше объектов, и поэтому при росте серверного парка, предприятию не обязательно нанимать еще одного администратора. Наконец, хотя при переходе к архитектуре Blade-серверов вместе с самими лезвиями нужно приобретать и шасси, благодаря совместному использованию его компонентов дальнейшее масштабирование Blade-системы требует меньше затрат, чем системы из стоечных серверов, и шасси с пятью — десятью лезвиями обходится дешевле аналогичного числа обычных стоечных машин.
Преимущества использования Blade-серверов можно выразить следующим списком:
Разумеется «Blade» имеют и недостатки:
В целом, внедрение Blade-серверов приносит больше положительного эффекта, оно экономически выгодно. Однако, традиционно, введению новшества сопротивляется человек. Большинство компаний опасается приобретать Blade-системы, предпочитая проверенные временем стоечные или башенные серверы. Но с каждым годом объём продаж Blade-серверов растёт, появляется всё больше решений на их основе.
Блейд-сервер
Ничего удивительного, что не все понимают, что такое блейд-сервер, он применяется далеко не повсеместно, поэтому постараюсь раскрыть сию тему более подробно, чтобы пробелов осталось минимально и вы прекрасно понимали, что за тип серверного оборудования перед вами. Из статьи вы узнаете про архитектуру устройства, сферах применения и каким образом достигается высокая плотность компоновки.
«Острая» инфраструктура
Blade-server (блейд-сервер, сервер лезвие) — специализированный класс серверного оборудования с вынесенными за пределы платформы компонентами, которые можно объединить. По сути, этот класс — модульные серверы, задачи стоят те же, что и перед «классическими» кластерами, серьезное отличие заключается только в плотности компонентов.
Блейд-сервер: архитектура
Итак, давайте сначала посмотрим на сие устройство с технической точки зрения. Устройство состоит из следующих компонентов:
Шасси включает в себя систему охлаждения, объединительную плату, сетевые компоненты и питание.
Вычислительных мощностей не имеет, но позволяет разместить следующие компоненты — модули (лезвия). Это, по сути, отдельные серверы особым образом скомпонованные. В них нет системы охлаждения (кроме радиаторов на процессорах для теплоотвода), блоков питания, порой, даже USB и сетевые порты вынесены в шасси. То бишь, в лезвиях есть только процессоры, оперативная память, иногда видеокарты и накопители.
Фактически сервер-лезвие представляет собой аналог стойки, но с некоторыми особенностями, которые раскрою дальше.
Требования к шасси
Сейчас попробую объяснить, зачем требуется модульный тип компоновки. Наверняка вам известно, что такое центры обработки данных, какая численность оборудования требуется и насколько сложно разместить его в рамках небольших помещений. Соответственно, плотность компонентов требовалось увеличить, причем сохраняя максимальную эффективность. Сия нужда и привела к созданию блейд-сервера. Для реализации за пределы отдельного лезвия пришлось вынести следующее:
Соответственно, теперь устройства стали компактнее и в формате 1U можно разместить до 4 практически полноценных серверов. Только для работоспособности потребуется платформа. Смотрите фото выше.
В нее устанавливаются отдельные blade-server, которые позволят при меньшем занимаемом объеме получить максимальную эффективность. Но все не так просто как может показаться на первый взгляд. Давайте углубимся в проблематику такого типа устройств.
Компоновка
Итак, все комплектующие расположены максимально емко, никакого лишнего места не остается, соответственно мы получаем весомую проблему в системе охлаждения. Довольно сложно охлаждать систему с процессорами с высоким TDP или мощной профессиональной видеокартой. Соответственно, структурная сложность при проектировке и компоновке комплектующими приводит к увеличению цены, ведь сложность конечной архитектуры серверного лезвия заметно выше, чем у классических вариантов серверов.
В одном «блейде», по сути, есть только серверная плата, процессор, оперативная память. Видеокарты, дисковая подсистема и остальное встречается не всегда.
Конспект админа: блеск и нищета блейд-систем
В Конспекте мы часто обходим стороной enterprise-технологии из-за их малой применимости в не столь масштабных проектах. Но сегодняшняя статья – исключение, потому что речь пойдет о модульных системах, «блейдах».
Не так много архитектурных изысков в IT-мире, которые были бы окутаны большим ореолом «невероятной крутости» и сравнимым набором мифов. Поэтому не буду усложнять еще больше, и просто расскажу об особенностях и применимости такого рода систем на практике.
LEGO для инженера
Блейд-сервер почти обычный сервер, в котором есть привычная материнская плата, оперативная память, процессоры и множество вспомогательных систем и адаптеров. Но «почти» заключается в том, что такой сервер не предназначен для автономной работы и поставляется в специальном компактном корпусе для установки в специальное шасси.
Шасси – или «корзина» – ни что иное, как большой короб с посадочными местами для серверов и дополнительных модулей. Все серверы и компоненты соединены при помощи большой коммутационной платы (Backplane) и образуют блейд-систему.
Если разобрать всю систему на составляющие, то на столе окажется следующая горка:
Блейд-серверы (лезвия) – серверы без блоков питания, вентиляторов, сетевых разъемов и модулей управления;
Шасси – корпус и бэкплейн;
Системы питания и охлаждения для всех компонентов системы;
Коммутационные устройства для связи с внешним миром;
От обычного серверного шкафа все это добро отличается компактными размерами (обычно 6-10U) и высоким уровнем надежности, так как все компоненты могут быть зарезервированы. Здесь, кстати, кроется один из мифов: десяток лезвий не собирается в один большой сервер. Это будет просто десяток серверов с общей инфраструктурой.
К слову, у HPE есть решения, напоминающие традиционные blade-серверы – HPE Superdome. В качестве лезвий там используются процессорные модули с оперативной памятью. В таких решениях вся система действительно представляет собой один высокопроизводительный сервер.
Нюансы архитектурных решений разных производителей блейд-систем уже обсуждались на Хабре (статья хоть и старая, но в своих основах актуальная), поэтому я для иллюстрации использую блейд-систему от HPE – BladeSystem c7000.
В роли лезвий могут выступать:
Дисковые массивы – например, HPЕ StorageWorks D2200sb, в который можно установить до 12 дисков 2,5’’. Так легко и непринужденно нескольким серверам можно выдать общее DAS-хранилище;
Коммутаторы SAN для доступа к внешним системам хранения и полноценные NAS-серверы – например, HPE StorageWorks X1800sb;
На картинке ниже изображена полностью укомплектованная система HPE BladeSystem c7000. Расположение компонентов понятно и так – обратите только внимание на секцию Interconnect modules. В каждый ряд устанавливается отказоустойчивая пара сетевых устройств или pass-thru модулей для простого проброса серверных сетевых интерфейсов наружу.
В компактное лезвие HPE ProLiant BL460c Gen8 помещается только два диска 2,5’’. Для большей красоты вместо дисков можно использовать сетевую загрузку с дисковой системы SAN или PXE.
Ниже изображена более компактная блейд-система от IBM. Общие принципы те же, хоты расположение узлов тут отличается:
Интереснее всего в блейдах, на мой взгляд, сетевая составляющая. С использованием модных конвергентных коммутаторов можно творить настоящие чудеса с внутренней сетью блейд-системы.
Немного сетевой и Enterprise магии
В качестве сетевых модулей могут выступать специальные коммутаторы Ethernet или SAS, либо умеющие и то и другое. Разумеется, в блейд-систему нельзя установить обыкновенный коммутатор, но совместимые модели производятся привычными брендами. Например «великолепной тройкой» HPE, Cisco, Brocade. В самом простом случае это будут просто модули доступа к сети, выводящие все 16 лезвий наружу через 16 портов Ethernet – HPE Pass-Thru.
Такой модуль не уменьшит количество сетевых проводов, но позволит подключиться к корпоративной LAN с минимальными вложениями. Если же вместо него использовать недорогой Cisco Catalyst 3020 с 8 портами 1GbE Ethernet и 4 портами 1GbE SFP, то к общей сети нужно будет подключить лишь несколько общих портов шасси.
Такие сетевые устройства своими возможностями не отличаются от обычных. Значительно интереснее выглядят модули HPE Virtual Connect (VC). Главная их особенность – возможность создавать несколько отдельных сетей с гибким распределением полосы пропускания LAN и SAN. Например, можно подвести к шасси 10GbE и «нарезать» из него 6 гигабитных LAN и один 4Gb SAN.
При этом VC поддерживает до четырех подключений к каждому серверу, что открывает определенные просторы для творчества и сборки кластеров. Подобные решения есть и у других производителей – нечто подобное от Lenovo называется IBM BladeCenter Virtual Fabric.
Вопреки расхожему мнению, сами по себе блейды не отличаются от обычных серверов, и никаких особых превосходств в плане виртуализации не предоставляют. Интересные возможности появляются только с использованием специальных, vendor-locked технологий, вроде VC от HPE или LPAR от Hitachi.
Несколько IPMI из одной консоли
Для настройки блейд-серверов можно использовать встроенные модули аппаратного управления BMC (iLO в случае HPE). Механизм администрирования и удаленного подключения мало отличается от обычного сервера, но сами управляющие модули Onboard Administrator (OA) могут резервировать друг друга и предоставляют единую точку входа для управления всеми устройствами в шасси.
OA могут быть со встроенной консолью KVM для подключения внешнего монитора, либо с одним лишь сетевым интерфейсом.
В общем и целом, администрирование через OA выглядит следующим образом:
Вы подключаетесь к веб-интерфейсу консоли Onboard Administrator. Здесь можно посмотреть состояние всех подсистем, отключить или извлечь лезвие, обновить прошивку и т.п.
Если нужно добраться до консоли конкретного сервера – выбираете его в списке оборудования и подключаетесь к его собственному iLO. Тут уже весь привычный набор IPMI, включая доступ к образам и перезагрузку.
Еще лучше – подключить блейд-систему к внешнему управляющему ПО вроде HPE Insight Control или сменившей ее OneView. Тогда можно настроить автоматическую установку операционной системы на новое лезвие и распределение нагрузки кластера.
К слову о надежности – блейды ломаются точно так же, как обычные серверы. Поэтому при заказе конфигурации не пренебрегайте резервированием компонентов и внимательным изучением инструкций по прошивке. Если подвисший Onboard Administrator доставит лишь неудобства администратору, то неправильное обновление прошивок всех элементов блейд-системы чревато ее неработоспособностью.
Но за всей этой магией мы совсем забыли о приземленных материях.
Нужен ли блейд в вашей компании
Высокая плотность, небольшое количество проводов, управление из одной точки – это все хорошо, но оценим и стоимость решения. Предположим, в абстрактной организации нужно запустить разом 10 одинаковых серверов. Сравним стоимость блейдов и традиционных стоечных моделей HPE ProLiant DL. Для простоты оценки не беру в расчет стоимость жестких дисков и сетевого оборудования.
| Наименование | Модель | Количество | Стоимость |
| Шасси | HPE BladeSystem c7000 | 1 | 603 125 ₽ |
| Блок питания | 2400W | 4 | — |
| Модуль управления | HPE Onboard Administrator | 1 | — |
| Модуль сети | HPE Pass-Thru | 2 | 211 250 ₽ |
| Лезвие | HPE ProLiant BL460c Gen8 | 10 | 4 491 900 ₽ |
| Процессор | Intel Xeon E5-2620 | 20 | — |
| Оперативная память | 8 Гб ECC Reg | 40 | — |
| Итого: | 5 306 275 ₽ |
Цены актуальны на 06.02.2017, источник – STSS
Аналоги – HP ProLiant DL360p Gen8:
| Наименование | Модель | Количество | Стоимость |
| Платформа | HP ProLiant DL360p Gen8 | 10 | 3 469 410 ₽ |
| Процессор | Intel Xeon E5-2620 | 20 | — |
| Блок питания | 460W | 20 | — |
| Оперативная память | 8 Гб ECC Reg | 40 | — |
| Итого | 3 469 410 ₽ |
Цены актуальны на 06.02.2017, источник – STSS
Разница почти в два миллиона рублей, при этом я не закладывал полную отказоустойчивость: дополнительный модуль управления и, в идеале, еще одно шасси. Плюс, лишаемся удобной сетевой коммутации из-за использования самых дешевых pass-thru модулей для простого вывода сетевых интерфейсов серверов наружу. VIrtual Connect был бы здесь более уместен, но цена…
Получается, что «в лоб» экономии не выйдет, поэтому перейдем к остальным плюсам и минусам блейдов.
Еще немного аргументов
К очевидным плюсам блейд-систем можно отнести:
Плотность установки. Если нужно много-много серверов в одном ДЦ, блейды похожи на спасение;
Аккуратная и компактная кабельная инфраструктура за счет гибкой внутренней коммутации блейдов;
Удобство управления – всей корзиной можно управлять из одной консоли и без установки дополнительного ПО;
Легкая установка новых лезвий, пока есть место в шасси – прямо как с дисками в корзинах с горячей заменой. В теории, можно сразу при установке лезвия загружать настроенную систему по PXE и распределять ресурсы в кластере;
Но как же без минусов:
Ограниченность лезвия. Если нужен сервер с четырьмя процессорами и большим количеством локальных жестких дисков (например, NMVE SSD), то установка столь крупного лезвия в четверть всей емкости шасси делает бессмысленным использование корзины высокой плотности;
Надежность. Несмотря на дублирование компонентов присутствует единая точка отказа – коммуникационная плата (бэкплейн) шасси. При сбое могут отказать все лезвия;
Невозможность разделения. Если нужно создать территориально распределенный кластер, нельзя просто вытащить и перевезти половину серверов – потребуется еще одно шасси;
Так что же выбрать
Блейды очень органично смотрятся в действительно крупных ЦОД, вроде хостинговых компаний. В таких сценариях на первое место выходит скорость масштабирования и максимальная плотность размещения оборудования – экономия на пространстве и администрировании вполне может окупить и корзину, и всякие Virtual Connect.
В остальных случаях более разумным и универсальным видится применение обычных стоечных серверов. Кроме того, широкое распространение быстрых систем виртуализации еще больше снизило популярность блейдов, так как большинство приложений можно «уплотнить» и с помощью виртуальных серверов. Что уж говорить, управлять виртуальными машинами еще удобнее, чем блейдами.
Если вам доводилось использовать блейд-системы в не самых крупных компаниях – поделитесь впечатлениями от администрирования.
Что такое блейд-серверы и что с ними дальше будет
Блейд-сервер – это сервер в модульном исполнении, в котором нет блока питания и сетевой платы. Ресурсы питания и сети для них обеспечиваются корзиной (enclosure) и объединительной панелью (midplane) в стойке (rack)
Форм-фактор блейд-серверов может быть разный, например, на фото показаны «одно-юнитовые» (1U) и «двух-юнитовый» модули блейд-серверов.
Рис. 1. Внешний вид модулей блейд-серверов.
Общие ресурсы электропитания и охлаждения
Многие блейд-серверы могут похвастаться «интеллектом» для ещё большего снижения энергопотребления. Например, технология HP Thermal Logic снижает его более чем на 30 % по сравнению со стоечными серверами.
Улучшенные возможности управления.
Блейд-серверы как правило имеют общую для всех ресурсов систему управления, а не отдельные системы для серверов, СХД и сети, как у стоечных. В частности, платформа HPE OneView обеспечивает единый подход программной конфигурации (software-defined) к управлению всей инфраструктурой дата-центра и позволяет автоматизировать рутинных операций управления.
Конструктивное исполнение
Блейд-серверы в стойке могут располагаться как горизонтально, так и вертикально, как на фото ниже:
На блейд-серверах обычно строят большие дата-центры, в т.ч. облачные, предназначенные для приложений с высоким потреблением трафика от большого числа пользователей.
Конструкция блейд-серверов обычно рассчитана на жёсткие условия работы, например для военных и промышленных применений. Они проходят соответствующие испытания на прочность, термоустойчивость и влагозащищённость.
Какие преимущества дают блейд-серверы:
Блейд-серверы имеют и недостатки:
Архитектура серверной блейд-системы
В наиболее простом виде архитектура дата-центра на блейд-серверах показана на рисунке.
Рис. 3. Общая архитектура дата-центра на блейд-серверах.
К недостаткам такой архитектуры следует отнести то, что инфраструктура ресурсов серверной системы является разделённой. Типичной является ситуация, когда блейд-сервер поставляется одним поставщиком, сетевое оборудование – другим, системы хранения данных – третьим, а сервер управления – четвёртым.
Хотя вендоры и поставщики обычно публикуют т.н. «перечень совместимости» (compatibility list), с оборудованием других поставщиков, не все инженеры читают эти списки, и считают, что всё должно работать со всем. И даже эти списки не гарантируют отсутствие проблем при стыковке составных частей системы. Иногда «вылезает» несовместимость версий операционной системы. Например, модель сервера вендора Х присутствует в compatibility list вендора сетевого оборудования Y, однако, если Х успел выпустить новую версию ОС, то она может не работать с текущей версией ОС коммутатора Y. Хотя предыдущая версия ОС Х прекрасно работала.
Задача горизонтального и вертикального расширения также часто превращается в шараду, когда нужно рассчитать, на сколько нужно расширить полосу пропускания сети при добавлении новых серверов или увеличения ёмкости СХД. Эти расчёты, в принципе, несложные, но часто бывает так, что практика опровергает их результаты.
Переход от блейд-серверов к конвергентной серверной инфраструктуре
Решение перечисленных выше проблем было найдено в т.н. гиперконвергентной инфраструктуре HCI (Hyper Converged Infrastructure).
Вначале появились т.н. «конвергентные шасси», которые содержали как блейд-серверы, так сетевое оборудование, где использовался протокол FCoE (Fiber Channel over Ethernet). Более поздние версии уже содержали и некоторый объём СХД, который можно было назначать серверам.
Такие «начально конвергентные» системы позволили значительно сократить число кабелей в дата-центрах. Однако, в обычных (не гипер-) конвергентных системах всё ещё сохранялись сложности управления серверами, сетевым оборудованием и СХД, поскольку они всё ещё представляли собой отдельные компоненты, даже если соединения между ними значительно упрощены.
Гиперконвергентные системы HCI – это отдельные модули, монтируемые в стандартную стойку. Внешне они выглядят как небольшие блейд-серверные корзины, в которые можно устанавливать вставные модулей (hot-pluggable), которые можно добавлять во время работы. А также модули HCI могут быть оснащены различными «мезонинными платами», вставляемыми в их «нутро», чтобы добавить функции или повысить характеристики.
Рис. 4. Мезонинная плата.
В модулях HCI имеются как серверная часть, так и определённый объём СХД, а также сетевое оборудование. Некоторое число таких системных «кубиков» можно объединять между собой без использования дополнительного сетевого оборудование. При превышении этого числа, точно так же, как и раньше, требуется внешняя сеть.
Рис. 5. Переход от традиционных серверных систем к конвергентным и далее к гиперконвергентным.
Преимущества гиперконвергентной инфраструктуры HCI
Таким образом, HCI – это серверный модуль, содержащий, кроме вычислительной части, также ресурсы хранения и сети, и, что немаловажно, приспособленный для запуска виртуальных машин.
Такую архитектуру от других серверных систем с локальной СХД и возможностью виртуализации отличают следующие особенности:
Подход вендоров
Хотя сами вендоры это пока особо не афишируют, но из их продуктовых линеек в последнее время активно исчезает серверное оборудование класса «блейд», и предлагается всё больше модулей HCI.
Например, компания НРЕ недавно объявила, что прекращает поставку блейд-серверов. Последние заказы на серверы и некоторые опции в НРЕ можно успеть разместить до конца января. С февраля все блейд-серверы будет удалены из конфигуратора НРЕ.
Приближается окончание производства и продаж блейд-серверов HPE BladeSystem c-Class. Производство шасси HPE BladeSystem c7000, а также коммутаторов, блоков питания, модулей Virtual Connect и управления Onboard Administrator уже прекращено, хотя в наличии ещё могут быть отдельные компоненты.
Крайний срок размещения заказа на производство блейд-серверов HPE ProLiant BL460c Gen10 установлен на 31 декабря 2020 г. В течение января 2021 года возможно размещение заказа, если будут в наличии компоненты для производства. После 1 февраля 2021 года все номера частей будут удалены из систем учета HPE.
Для заказчиков это означает, что если в эксплуатации ещё есть шасси BladeSystem и существуют планы его развития, то нужно поторопиться, чтобы запрыгнуть в последний вагон уходящего поезда и дозаказать недостающее. С февраля за этим оборудованием, видимо, придётся обращаться уже в музей или на барахолки.
Примерно так же поступают и другие вендоры, с различием лишь сроков и номенклатуры возможностей для заказа.