Классификация ЦОД TIER
Отказоустойчивость — главный критерий, по которому определяют надежность ЦОД и принимают решение, подходит ли тот или иной дата-центр. Он свидетельствует о том, насколько надёжен тот или иной ЦОД (то же самое, что дата-центр). Время отказа — это время, когда клиентское оборудование, размещённое в дата-центре, не работает. Оно включает в себя плановые технические работы в инфраструктуре дата-центра и аварии. Чем меньше время отказа, тем выше классификация ЦОД.
Логично классифицировать ЦОДЫ по уровням надёжности. Но «надёжность» — понятие абстрактное. Чтобы избежать размытых формулировок и сформировать чёткие технические критерии для строящихся дата-центров, решили ввести классификацию Tier. В статье рассмотрим историю вопроса и параметры, по которым отличаются между собой уровни сертификации.
Как появились уровни дата-центров Tier?
В далёком 1993 году в США был основан Uptime Institute (Институт Бесперебойных Процессов). Его создали для того, чтобы повышать надёжность и доступность ЦОДов. Учёные из этого института проработали и внедрили в оценку классификацию Tier (от англ. уровень). Это шкала надёжности ЦОДов, на которой есть всего 4 деления. Другими словами, в 2020 году существуют только: Tier I, Tier II, Tier III и Tier IV.
Есть распространённое заблуждение насчёт критерия, который лёг в основу классификации Tier. Считается, что тот или иной уровень ЦОДу присваивают по времени простоя в год. Чем оно больше, тем ниже Tier. На самом деле это условие дополняет другой важный параметр — можно ли проводить профилактику, не останавливая работу дата-центра. Для Tier I и Tier II ответ — нет. А Tier III и Tier IV ремонтируются без остановки.
Так выглядит таблица соответствий уровня Tier и временем остановки в год, влияющим на процент отказоустойчивости:
Стандарт надежности Tier III
Tier 3 — это стандарт надежности инфраструктуры и оборудования, который присваивается Центрам обработки данных (ЦОД). Выделяют четыре категории таких стандартов. Дата-центр, соответствующий стандарту третьего уровня, имеет специальное дублирующее оборудование, которое позволяет выполнять ремонт и обслуживание систем без остановки работы.
Что такое Tier
При описании любого ЦОД всегда возникает понятие Tier. Tier — это уровень надежности, защищенности данных в описываемом Центре, разработанный в Uptime Institute. Сегодня, помимо Tier, существуют и другие варианты стандартов. Tier отличается от них тем, что делает акцент на безотказности и безостановочной работе всей системы в целом.
Выделяют четыре уровня Tier, причем каждый из них имеет свои уникальные требования. Стандарт предусматривает комплексный подход в обеспечении безопасности: ЦОД рассматривается не как независимое образование, а как элемент в комплексе с другими важными системами и оборудованием.
Стандарт Uptime Institute
Uptime Institute — известнейшая компания среди тех, что занимаются сертификацией Дата-центров. В ее состав входят отделения, которые специализируются на разных областях функционирования ЦОД, включая консалтинг, строительство, эксплуатацию и т.д.
Главный офис предприятия сегодня располагается в Нью-Йорке, а региональные представительства компании открыты в разных странах, включая Великобританию, Россию, ОАЭ, Тайвань.
Зачем классифицируют ЦОДы?
Оценка инфраструктуры от Uptime Institute — это процедура, к которой сегодня прибегают еще не все компании, так как сертификация полностью добровольная. Однако она дает возможность показать передовой опыт оцененной компании, ее соответствие высоким критериям защиты, что может стать дополнительным аргументом для клиента в пользу выбора того или иного ЦОД.
Классификация и соответствие стандартам важны для клиентов, так как они выступают своеобразной гарантией надежности и отказоустойчивости.
Требования к уровням надежности
Оценка соответствия определенной категории защищенности предполагает проверку компании сразу по нескольким важным характеристикам и соответствиям:
Особенности стандарта надежности
Чтобы разобраться в том, что такое Tier, необходимо в отдельности рассмотреть все 4 существующих стандарта.
Tier I
Базовый уровень в классификации, бывший актуальным примерно 50-60 лет назад. Он предполагает, что ЦОД может утратить функциональность под влиянием внешних факторов, так как в системе не используются источники бесперебойного питания. То есть копирование данных невозможно, как и их безопасное хранение (в современном понимании безопасности).
Допустимое время простоя для Tier I составляет 28,8 часов в год, коэффициент отказоустойчивости — 99,671%.
Tier II
Стандарт, во многом схожий с Tier I, так как в таких системах ошибка ЦОД также может привести к остановке функционирования. Чтобы восстановить систему, потребуется ремонт, однако от первого уровня Tier 2 отличается тем, что есть возможность резервирования работоспособности систем (правда, на незначительном уровне), могут быть избыточные системные ресурсы, используются относительно современные средства охлаждения, имеется фальшпол, а также используются резервные IP.
В Дата-центре, соответствующем Tier 2, выполнено дублирование исключительно активного оборудования, поэтому остается сильная уязвимость системы при аварийных ситуациях. Если необходимо провести ремонт оборудования или просто обслуживание, система отключается. Это предусмотрено в особенностях ее использования. Обычно время допустимого нефункционирования составляет несколько часов в течение года.
Допустимое время простоя для Tier II составляет 22 часа в год, коэффициент отказоустойчивости — 99,749%.
Tier III
Стандарт сильно отличается от 1 и 2 уровня. Его главное отличие заключается в отсутствии необходимости останавливать работу для ремонтных работ и профилактики. Дата-центры, соответствующие стандарту Tier 3, оснащены резервными мощностями и вспомогательным (дублирующим) охлаждением. Благодаря полному резервированию значительно повышается надежность, система может работать бесперебойно.
В настоящее время Tier III является самым популярным уровнем в сфере предоставления облачных сервисов.
Допустимое время простоя для Tier III составляет 1,6 часа в год, коэффициент отказоустойчивости — 99,982%.
Его популярность объясняется не только высоким уровнем отказоустойчивости, но также большей доступностью по сравнению со следующим стандартом в списке — Tier IV.
Tier IV
Самый высокий стандарт, который существует на сегодняшний день. Он предполагает двойное резервирование и дублирование рабочих систем.
Допустимое время простоя для Tier IV составляет 0,4 часа в год, коэффициент отказоустойчивости — 99,995%.
Как выбрать уровень Tier
Очень распространенным является следующее заблуждение: чем выше уровень Tier, тем лучше. Однако это утверждение далеко не всегда соответствует действительности.
Каждый Tier выработан таким образом, чтобы соответствующие ему ЦОДы могли удовлетворять строго определенные нужды бизнеса по отказоустойчивости и производительности. Разные предприятия нуждаются в инфраструктуре разного вида и уровня надежности. Для небольших компаний хостинг в Дата-центре, соответствующем Tier IV будет финансово неоправданным.
Расходы на обеспечение и обслуживание сильно увеличиваются для различных стандартов, поэтому Tier нужно выбирать таким образом, чтобы он максимально точно соответствовал потребностям.
Серверы компании «Смарт Офис» размещены в надежном Дата-центре уровня Tier III — это гарантирует оптимальный уровень надежности и бесперебойной работы размещенного оборудования.
Классификация уровней надежности ЦОД (Tier I, II, III, IV)
Любой облачный провайдер в качестве подтверждения уровня предоставляемых сервисов ссылается на вендоров, чье оборудование он использует в составе своих облачных платформ, степень доступности сервисов и уровень Tier.
Именно последний параметр и отражает степень надежности дата-центра, на базе которого развернуты облачные сервисы. Здесь действует простая логика: чем выше уровень, тем меньше простоев может позволить себе оператор дата-центра.
Давайте разберемся, чем отличаются ЦОДы разных уровней и может ли Tier выступать критерием выбора дата-центра.
Обзор уровней Tier
Классификация Tier была предложена Uptime Institute — одним из наиболее признанных сертификационных институтов. Именно эта организация разработала собственный стандарт надежности ЦОД. Присвоенный на этапе создания проекта уровень, в первую очередь, показывает, насколько отказоустойчив ЦОД.
В классификации Tier существует четыре уровня, к которым может быть отнесен дата-центр:
Уровни отличаются друг от друга множеством параметров, среди которых ключевыми являются:
Надежность и безопасность ЦОД увеличивается с каждым уровнем. Из этого следует простой вывод: при выборе облачного провайдера или аренде услуг дата-центра (например, colocation) следует обращать внимание на уровень ЦОД, в котором будет «жить» ваша ИТ-инфраструктура.
Рассмотрим каждый из уровней подробнее.
Tier I
Дата-центр уровня Tier I представляет из себя базовую инфраструктуру начального уровня. ЦОД, соответствующий первому уровню, должен иметь выделенное под ИТ-оборудование пространство, ИБП, охлаждающие системы и генератор для минимизации простоев при проблемах с питанием.
Такие объекты не имеют запасных ресурсов, а критически важные элементы инфраструктуры не зарезервированы. Допустимое время простоя составляет 28.8 часов в год, а уровень отказоустойчивости составляет 99.671%. Поломка любой из систем для ЦОД уровня Tier I нарушает (или даже останавливает) работу всего объекта.
Tier II
В дата-центре уровня Tier II уже присутствует резервирование критически важных компонентов. Работа такого ЦОД может быть нарушена аварийной ситуацией или проведением плановых работ — при профилактике он будет отключен. Активное оборудование резервируется по схеме N+1, присутствует один энерговвод.
Допустимое время простая дата-центра, которому присвоен Tier II, — 22 часа в год, а уровень отказоустойчивости, соответственно, — 99.749%.
Tier III
Ключевое отличие ЦОД уровня Tier III — возможность ремонта и модернизации без отключения оборудования и остановки работы дата-центра. Иными словами, клиенты такого дата-центра даже не узнают, что на объекте проводилась профилактика или замена вышедших из строя компонентов. Tier III ЦОД имеет уже два энерговвода, активное оборудование резервируется по схеме N+1, а вот потоки — по 2N.
Подавляющее число коммерческих ЦОД в России соответствуют требованиям Tier 3. Отказоустойчивость составляет 99.982%, а значит, простой такого дата-центра не превысит 1.6 часа в год.
Tier IV
Самый высокий уровень на сегодняшний день. Фактически ЦОД уровня Tier IV представляет собой дата-центр третьего уровня с добавлением концепции отказоустойчивости в топологическую схему. Объект, которому присвоен наивысший уровень в классификации Uptime Institute, будет работать даже при системном сбое или проведении ремонтных работ.
Максимальный показатель доступности — 99.995% — достигается благодаря дублированному резервированию инженерных систем (2(N+1)). Это означает, что дублируются и основные, и дополнительные системы ЦОД. Более того, для большей отказоустойчивости основные и резервные компоненты разнесены по разным помещениям. Допустимое время простоя ЦОД Tier IV составляет всего лишь 26 минут в год.
Сравним все рассмотренные уровни в таблице:
| Tier I | Tier II | Tier III | Tier IV | |
|---|---|---|---|---|
| Резервирование оборудования | нет | N+1 | N+1 | 2(N+1) |
| Возможность обслуживания без остановки | нет | нет | да | да |
| Годовой простой | 28.8 часов | 22 часа | 1.6 часа | 26 минут |
| Уровень доступности | 99.671% | 99.749% | 99,982% | 99.995% |
Стоит ли безоговорочно доверять уровням Tier
Присвоенный дата-центру Tier — важный критерий выбора и гарантия бесперебойной работы ваших бизнес-приложений и систем. Однако в этом случае «больше» не всегда значит «лучше». Иными словами, подавляющему числу заказчиков не нужен дата-центр уровня Tier IV. На это есть несколько причин:
Некоторые ЦОДы могут соответствовать определенному уровню Tier, но не иметь сертификата. Как правило, от сертификации отказываются небольшие дата-центры и чаще всего из-за стоимости. В пересчете на стойку затраты могут оказаться весьма чувствительными, из-за чего в будущем оператору придется компенсировать эти расходы путем повышения стоимости услуг.
Однако это не единственная причина, по которой ЦОД может оказаться без сертификата Uptime Institute. Эта организация активно работает на территории России меньше десяти лет, поэтому некоторые ЦОДы при строительстве просто не имели возможности пройти сертификацию.
Конечно, это не значит, что ЦОД без сертификата — это обязательно плохой ЦОД. Если вы готовы мириться с отсутствием документального подтверждения соответствия уровню Tier, обязательно попросите оператора дата-центра подтвердить это соответствие на практике. Если же вам нужно однозначное подтверждение соответствия — выбирайте ЦОД с сертификатами Uptime Institute. Это гарантирует качество услуг дата-центра.
Кому какой уровень ЦОД подойдет
Сейчас большинство коммерческих дата-центров в мире относится к Tier III, меньше — к Tier II.
Давайте подытожим. Конечно, уровень надежности ЦОД — важный параметр при выборе поставщика сервисов. Однако далеко не единственный. Стоит внимательно учитывать и другие факторы — сколько лет на рынке присутствует провайдер, кто уже пользуется его услугами и каков практический опыт оператора в реализации таких проектов.
Часто задаваемые вопросы
Мой бизнес напрямую зависит от бесперебойной работы ИТ-инфраструктуры? Стоит ли мне выбирать ЦОД Tier IV?
Нет. Предприятия, которым требуется высокая доступность ИТ-систем и бизнес-приложений, успешно решают свои задачи, используя услуги на базе ЦОД Tier III.
На что, кроме уровня надежности дата-центра, необходимо обращать внимание при выборе провайдера?
Обязательно уточните, как долго присутствует поставщик на рынке облачных сервисов. Обращайте внимание на то, какую поддержку гарантирует провайдер, как реализованы системы физической защиты и дублирование каналов. Обязательно ознакомьтесь с отзывами клиентов.
Введение в систему классификации TIER
Система классификации Tier, разработанная Uptime Institute для оценки надежности дата-центров, приближается к рубежу в два десятилетия. Со времени своего создания в середине 90-х гг. система прошла путь от общей терминологии до глобального стандарта проверки инфраструктуры дата-центров.
Что такое Tier?
Uptime Institute разработал стандарты Tier-классификации для оценки возможностей дата-центров с точки зрения времени безотказной работы. Уровни Tier (I-IV) прогрессирующие, то есть каждый новый уровень включает в себя требования, предъявляемые к предыдущим.
Tier I: базовый уровень. Дата центр класса Tier I ориентирован на поддержку информационных технологий для решения офисных задач. Инфраструктура включает в себя выделенное пространство для ИТ-систем, источники бесперебойного питания для фильтрации перебоев напряжения, охлаждающее оборудование, которое не отключится в конце рабочего дня, и генератор для защиты от длительных перебоев.
Tier II: резервные мощности. Оснащение класса Tier II включает резервные мощности для критически важных компонентов электроснабжения и охлаждения, что обеспечивает возможность ремонта и повышает запас прочности против проблем, связанных со сбоями оборудования.
Tier III: параллельный ремонт. Дата-центр Tier III не требует остановок для технического обслуживания и ремонта. Резервный канал электроснабжения и охлаждения добавляется к критически важным компонентам Tier II, поэтому каждый элемент, необходимый для поддержки ИТ-процесса, может быть отключен и отремонтирован без влияния на работу дата-центра.
Tier IV: отказоустойчивость. Инфраструктура Tier IV строится на базе Tier III с добавлением концепции отказоустойчивости в топологическую схему. Отказоустойчивость означает, что сбои отдельных единиц оборудования или перебои в работе резервного канала не окажут влияния на работу.
Затраты на инфраструктуру и сложность проекта возрастают с повышением Tier-класса. Tier не устанавливает конкретных технологических или проектировочных критериев. Нельзя сказать, что класс Tier IV «лучше», чем класс Tier II. Инфраструктура дата-центра должна соответствовать задачам бизнеса, не требуя чрезмерных затрат и не подвергая компанию большому риску.
В 2009 году Uptime Institute удалил показатель «ожидаемое время простоя за год» из стандартов Tier. Текущий стандарт не присваивает класс Tier исходя из прогнозов. Изменения вызваны пониманием, что действия пользователей могут иметь большее влияние на доступность сайта, чем физическая инфраструктура.
Сертификация Tier
Процесс сертификации Tier обычно начинается c внедрения новых мощностей дата-центра. Владелец дата-центра решает достичь определенного класса Tier в соответствии с запросами его бизнеса и обращается в Uptime Institute для непредвзятого и независимого анализа, гарантирующего, что проектировщики, подрядчики и поставщики услуг выполнят свои обязательства.
Первый шаг в этом процессе – сертификация проектной документации (Tier Certification of Design Documents (TCDD)). Консультанты Uptime Institute просматривают 100% документации, включая электрические, механические, мониторинговые и автоматические подсистемы, знакомятся с фундаментальными понятиями и проверяют, нет ли слабых звеньев в цепи.
За свою историю Uptime Institute провел более 400 проверок, анализируя наиболее сложные дата-центры по всему миру. Один из важных уроков, полученных при этом, состоит в том, что компании могут пройти сертификацию проектной документации и избежать последующей сертификации оборудования. Uptime Institute никогда не предполагал, что TCDD будет финальной ступенью сертификации. Это скорее контрольная точка для демонстрации того, что первая часть капитального проекта отвечает требованиям. Остановка процесса на стадии сертификации проекта наносит ущерб целостности программы, поэтому Uptime Institute внедрил срок годности для сертификата TCDD. Все TCDD, выданные после 1 января 2014 года, действуют 2 года с момента выпуска.
Следующая стадия – сертификация установленного оборудования (Tier Certification of Constructed Facility (TCCF)). Команда консультантов Uptime Institute посещает объект и выявляет несоответствия между чертежами и фактически установленным оборудованием. Консультанты Uptime Institute проводят тесты и демонстрации, доказывающие соответствие Tier. Именно в нахождении белых пятен и слабых мест и заключается ценность сертификации.
Надежность работы дата-центра определяется не только проектом и оборудованием. Текущие операции играют огромную роль в поддержании доступности сервисов дата-центра, поэтому в 2010 году Uptime Institute разработал руководство по управлению (стандарт Tier: операционная устойчивость (Tier Standard: Operational Sustainability)) и начал сертификацию текущей работы дата-центров. Процесс включает сравнительный анализ возможностей управленческой команды по специальному оценочному листу с обязательным выездом консультантов на место. Ключевые направления анализа — описание, наблюдение и подтверждение основных процессов, включая подбор персонала, обучение и техобслуживание.
За последнее время Tier сертификация приобретает все большую популярность. Сейчас в процессе сертификации находится больше компаний, чем когда-либо еще за 20-летнюю историю.
Немного статистики
Гиганты-инноваторы вроде Google, Facebook, eBay, Apple, вполне самодостаточны и не проходят сертификацию, именно поэтому фактическое количество дата-центров соответствующего уровня надёжности может быть намного больше. Например, по данным Uptime Institute в Финляндии сертифицированных дата-центров нет. Однако там размещается одно из творений Google – дата-центр в Хамине.
Если говорить о статистике самого института, на данный момент сертификацию прошло 490 дата-центров, что составляет около 10% от всех известных на сегодня. Рекордной страной по количеству дата-центров остается США, здесь находится 67 сертифицированных ЦОДов. На втором месте расположилась Бразилия с 23 центрами. Почетное третье место занимает Канада, где функционирует 19 дата-центров.
На пост-советском пространстве несомненным лидером является Россия, где находится 14 дата-центров (в том числе 13 Tier III и 1 Tier IV). Второе место заняла Литва с тремя ЦОДами, на 3-м Казахстан с двумя. Ещё по одному возведено в Украине и Латвии.
Инфраструктура отказоустойчивого дата-центра класса TIER-III
В средней части первого этажа ЦОД «Компрессор» два машзала, строго над ними — два машзала на втором этаже. В каждом зале по 1 МВт электромощности на стойки. На первом этаже трансформаторная подстанция, распредпункт, электрощитовая. Слева-сверху на схеме бытовой комплекс, помещение охраны. Справа от машзалов – помещение системы охлаждения – насосная станция. Рядом с машзалами (по бокам) коридоры с фанкойлами, по центру — коридор с распредщитами.
Второй этаж в принципе повторяет планировку первого этажа:
На месте трансформаторных подстанций — ИБП и аккумуляторы. Холодильная часть второго этажа — это насосная станция гликолевого контура (второй контур охлаждения). Плюс справа от машзалов установлен бак-аккумулятор на 100 кубометров на 15 минут автономного холодоснабжения ЦОДа (при отключении внешнего электроснабжения на время запуска дизельной электростанции для охлаждения машзалов используется уже заранее захоложенная вода из бака, которая подаётся в контур охлаждения).
Макет ЦОДа
Вводная
Прежде чем идти дальше, для начала коротко расскажу о ситуации. Сейчас у КРОК есть 3 ЦОДа, которые располагаются вот так:
Первые два – у нас в офисе и под соседним зданием парковки соответственно. Третий (как раз «Компрессор») находится подальше, но тоже в Москве, из-за развитой инфраструктуры и хороших каналов связи в столице и из любой точки города. Он расположен там, куда системный администратор или инженер спокойно может добраться минут за 40-50 из любой точки города или из центра на метро или машине.
Вообще, на сегодня мы участвовали уже более чем в 60 запусках ЦОДов разных компаний в России – где-то делали очень много, где-то консалтили, где-то выполняли только отдельный участок работ. Опыт накопился большой. Но начиналось всё просто: первый ЦОД был пилотный, со всеми классическими решениями. На базе него мы для себя поняли, насколько перспективно это направление и насколько аутсорсинговые ЦОДы востребованы. Тогда же мы начали проектировать и строить ЦОД «Компрессор». По ходу дела появилась возможность построить ещё один не очень большой ЦОД под парковкой. В нём впервые в РФ мы использовали ДДИБП (это очень интересный ИБП, где огромный ротор накапливает кинетическую энергию), плюс как на нем, так и на Компрессоре обкатали ещё несколько новых штук.
Первый ЦОД на 90 стоек и 1Мвт.
Второй ЦОД на 110 стоек и 2 Мвт.
ЦОД «Компрессор» на 800 стоек и 8 Мвт.
Электроснабжение
Извините, меня предупредили, что если на схеме будет что-то читаться, то безопасники меня пристрелят, поэтому вот так.
Полные 8 МВт достигаются при температуре +37 снаружи и полной загрузке машинных залов. Вход — 2 линии от ТЭЦ, причём нам пришлось дорабатывать их питающие ячейки и самим прокладывать инфраструктуру до ЦОДа. Затем 8 трансформаторов, 4 группы по 2 штуки. Мы старались минимизировать количество коммутирующих аппаратов. В России один автоматический выключатель на 2,5 килоампера стоит дороже, чем трансформатор. Поэтому мы оптимизировали схему исходя из минимизации затрат. На каждый машзал сейчас работает по два независимых трансформатора по 2000 киловольт-ампер каждый. Нечётные трансформаторы питают чиллеры и градирни, чётные — фанкойлы. Мы имеем возможность отключать любой из трансформаторов, и при этом работоспособность ЦОДа не нарушается. Справа на схеме — 7 резервных ДГУ по 2000 киловольт-ампер резервной мощности. Запас топлива хранится в двух ёмкостях по 25 кубометров.
ИБП — классические статические. 38 штук по 300 киловольт-ампер каждый. Для машзалов резервирование 2N, для инженерной нагрузки — N+1. Обеспечивается 15 минут бесперебойного питания.
Силовые трансформаторы отечественные, они вполне высокого качества. Всего — 8 штук. Делал их Подольский трансформаторный завод, они прекрасно работают, никаких нареканий. Кабельная продукция тоже отечественная, но мы тщательно проверяли каждый кабель при отгрузке, потому что не секрет, что при больших партиях наши заводы могут выгнать брак. Воевали за каждый метр.
Охлаждение
Система охлаждения – это баланс между экологичностью, ценой и эффективностью. Да-да, мы любим экологичные решения, и уже тогда думали про это, а не только про деньги.
Система двухконтурная, первый контур с водой — 200 тонн. В случае разлива никаких проблем. Вода ещё и хороша по теплофизическим свойствам. Баки-аккумуляторы у нас из железобетона, давление создаётся естественным столбом воды (система открытая).
Мы закладывали высокие параметры по температуре, чтобы минимизировать потери мощности на конденсации воды на теплообменниках. В нашем случае 13 градусов на подающей 18 градусов на обратной магистрали. В будущем, в следующих ЦОДах (мы их постоянно строим в России) хотим ещё поднимать температуру, можно двигаться дальше.
Внешний контур заполнен этиленгликолем. Чиллеры и драйкулеры включены последовательно — то есть расширяется температурный диапазон работы в режиме свободного охлаждения, можно практически до +15 на улице частично снимать тепло драйкулерами в режиме свободного охлаждения. 100% Фрикулинг с полным съёмом мощности доступен уже при +5 и ниже.
Применяли систему автоматизированного проектирования, что позволило оптимизировать итоговую схему. В процессе испытания получили все заложенные в проект значения по температурам, давлению и так далее совершенно чётко и без сложностей. Вручную было бы сложно из-за высокой разветвлённости трубопроводов.
Под фальшполом нет ничего, кроме труб системы газового пожаротушения, и там ничего не зонируется, работаем на общий объем. Чиллеры все воздушные + «сухие» градирни, включенные в контур последовательно (сначала по потоку стоят градирни, потом чиллеры). Это позволяет расширить диапазон работы системы в режиме полного и частичного фрикулинга.
В предыдущем топике был вопрос по именно такому решению через фальшпол, расскажу чуть подробнее, почему. Работа через фальшпол достаточно эффективна, удобна и конструктивно проста практически для всех современных применений в ЦОДах. Одна из задач, которую мы решали при проектировании инженерных систем состояла в том, чтобы внутри машинных залов не было никакого «постороннего» (не относящегося к арендаторам) инженерного оборудования. Нужно это потому, что если, например, банк размещает у нас стойки, то чаще всего ставит специальные ограждения прямо в машзале. Любое обслуживание оборудования внутри зоны клиента означает необходимость звать их безопасников. Вопросы безопасности наших клиентов превыше всего.
Вторая задача – отсутствие воды в машинных залах и над ними (никаких «внутрирядников» и «холодильников» на перекрытиях). Работая через фальшпол мы обе эти задачи и решили, ведь фанкойлы у нас вынесены из машзалов в специальные боковые коридоры.
Ещё вопрос был про «мегагорячие» стойки. Они охлаждаются на общих основаниях. Рядом с ними ставим «пустые» стойки с заглушками. Есть условие — через одну перфорированную плитку фальшпола в наших условиях можно продуть количество воздуха, достаточное для снятия примерно 5 кВт тепла (одного «среднестатистического» серверного шкафа). Если сервер выделяет 30 кВт, значит ему нужно отдать 6 плиток.
Защита от пыли
Заготовка воздуха
Сертификация
Если коротко, то есть два подхода к сертификации – «стройте как мы сказали и всё будет ОК» — по TIA и «стройте по требованиям, и мы проверим объект» по UI. Мы сертифицировали по второй методологии, то есть прогоняли по ЦОДу фактические тесты, что довольно-таки редко в России. Список сертифицированных по TIER-III ЦОДов можно посмотреть вот здесь: uptimeinstitute.com/TierCertification/certMaps.php.
Разницу про подходы сертификации – вот здесь habrahabr.ru/company/croc/blog/157099.
Различия между уровнями TIER I – TIER IV
TIER-III по Uptime предполагает параллельное обслуживание, когда регламентные работы и аварии не вырубают ЦОД и не снижают его выходные параметры.
Делалось это так: сначала Uptime получает проектные документы на английском. Они выдают рекомендации, потом если всё хорошо — они выдают сертификат на проект. Специалисты ATD (специалисты сертифицированные UI) могут очень помочь на этой стадии, плюс они гарантируют соответствие проекта требованиям института. Это сертификация бумаг, то есть проекта.
Затем уже куда сложнее сертифицировать построенный ЦОД, чтобы получить сертификацию объекта. После утверждения проекта и строительства парни из UI приезжают на место. У нас они пробыли 4 дня, провели комплексные испытания с имитацией кучи отказов и имитацией регламентного обслуживания. Залог успеха — полное соответствие ЦОД проекту, плюс опыт работы команды обслуживания. Если вы до этого не проводили «учебных тревог» — высок шанс не пройти проверку. Для подготовки программ обучения и персонала можно опять же привлечь ATD, если нужна помощь.
Вообще, при проектировании и строительстве ЦОДа повышенной ответственности очень важно иметь лучших специалистов в каждой сфере. Как правило, сейчас это инженеры советской школы, крайне глубоко знающие предмет и имеющие огромную практику. Подрастает и новое поколение, благо IT в СНГ развивается довольно бурно. Ещё в проектной команде нужен человек от бизнеса, который обеспечивает соответствие целей проекта целям бизнеса. Он же поможет привлечь лучшие ресурсы в случае необходимости.
Нужны проверенные субподрядчики. Кроме самих работ нужно понимать, что комплексные испытания будут проводиться несколько раз, и хорошо если подрядчики будут помогать, это важно.
Очень важно привлекать службу эксплуатации в сам проект, чтобы к запуску не пришлось начинать учить всех заново. Хорошо когда эксплуатационная команда изнутри понимает что и как работает.