Ж у р н а л   о   к о м п ь ю т е р н ы х   с е т я х   и   т е л е к о м м у н и к а ц и о н н ы х   т е х н о л о г и я х
СЕТИ И СИСТЕМЫ СВЯЗИ on-line
  ПОИСК: ПОДПИСКА НА НОВОСТИ: НОМЕР:
    ДОМОЙ • Архив: Новостей | Конференций | НомеровПодписка
 
   
 
   
    
РЕДАКЦИЯ
 
Все о журнале
Подписка
Как проехать
Где купить
Отдел рекламы
График выхода журнала
Адреса в Интернет

РУБРИКАТОР
   
• Инфраструктура
• Информационные
   системы

• Сети связи
• Защита данных
• Кабельные системы
• Бизнес
• Колонка редактора
• Электронная
   коммерция

• Только на сервере
• Системы
   учрежденческой
   связи

• Новые продукты


Rambler's Top100

  

Инженерная инфраструктура центра данных, или решения NCPI

А. Г. Барсков

Инженерные подсистемы, еще несколько лет назад считавшиеся второстепенными, начинают все сильнее влиять на бесперебойное функционирование информационных и телекоммуникационных комплексов.

Организация центра обработки данных (ЦОД), телекоммуникационной комнаты или другого подобного объекта — дело хлопотное. Прежде чем начинать подключать серверы, коммутаторы или, скажем, маршрутизаторы, надо выбрать подходящее помещение, оборудовать его кондиционерами, наладить бесперебойное электропитание, установить необходимое число монтажных шкафов и стоек, блоков мониторинга, лотков для укладки кабелей — короче говоря, выстроить все инженерные подсистемы. В англоязычной литературе все вышеперечисленное называют NCPI (Network Critical Physical Infrastructure), или критически важной физической инфраструктурой.

“Горячая” проблема...

В последнее время серьезно обострилась проблема охлаждения оборудования, устанавливаемого в монтажные шкафы и стойки. Дело в том, что индустрия ИТ- и телекоммуникационного оборудования стремится выпускать все более компактные серверы и сетевые устройства — трудно найти сегодня производителя, который не любил бы похвастать своими серверами или коммутаторами высотой всего один юнит (1U). Понятно, что таких пицца-подобных устройств в стандартный шкаф или стойку поместится значительно больше, следовательно, экономится место. Здорово! Если бы не одно “но”. При этом, естественно, растет уровень электропотребления в каждой стойке, и если еще несколько лет назад он был в среднем 1—2 кВт, то сейчас доходит до 6—8 кВт. Значит, повышается и тепловыделение, вот и проблема.

Полную версию данной статьи смотрите во 2-ом номере журнала за 2004 год.

Становясь все тоньше, оборудование вместе с тем оснащается все большим числом портов. Если раньше компактные коммутаторы высотой 1U имели максимум 24 порта, то сейчас промышленность вовсю выпускает 48-портовые аппараты. Увеличение плотности портов ведет к увеличению числа кабелей и коммутационных шнуров в стойках. Висящая “борода” проводов не только портит внешний вид ЦОД и затрудняет поиск неисправностей, но и может перекрыть пути, по которым поступает охлаждающий воздух. В результате перегрев оборудования, снижение его производительности, а возможно, и выход из строя. Ну как тут не вспомнить практическое правило, которое гласит, что при каждом повышении температуры на 10 °C надежность ИТ-оборудования снижается на 50%.

Распространение таких новых технологий, как IP-телефония (VoIP) или беспроводные ЛВС (WLAN), тоже, как это ни покажется на первый взгляд странным, пусть и косвенно, но способствует повышению температуры внутри аппаратных шкафов. Дело в том, что для подачи электропитания на IP-телефоны и точки доступа беспроводных ЛВС используются специальные средства Power over Ethernet, которые существенно повышают уровень потребляемой мощности.

Думаю, приведенных примеров вполне достаточно, чтобы персонал ИТ-отделов и связисты со всей серьезностью отнеслись к проблеме перегрева оборудования. Возможно, уже в самое ближайшее время она станет даже более острой, чем широко обсуждаемая сегодня проблема достижения уровня надежности “пять девяток” по электропитанию.

...и “холодное” решение

Наиболее прямолинейный подход к решению задачи улучшения охлаждения оборудования — просто увеличить число кондиционеров в помещении или уменьшить температуру термостатирования. Однако этот подход требует больших затрат и вовсе не гарантирует, что холодный воздух будет попадать туда, где это нужно больше всего, например на радиаторы процессоров критически важного сервера. Поэтому в первую очередь следует подумать об оптимальном управлении воздушными потоками. Возможно, оно позволит вам не только отказаться от закупки дополнительных кондиционеров, но и убрать из помещения часть уже имеющихся.

В таком управлении вам помогут блоки распределения воздуха (нагнетатели), устанавливаемые внутри шкафа и формирующие воздушный поток снизу вверх, который равномерно охлаждает все оборудование независимо от его расположения в шкафу. Этот поток может проходить, например, через дверь-воздуховод с выходными отверстиями в нужных местах. Еще один полезный элемент — специальная вытяжка, оптимизирующая отвод тепла из стоек, плотно заполненных оборудованием. Отводимый от оборудования горячий воздух через вытяжку и воздуховод может направляться в полость на потолке, а оттуда непосредственно в систему кондиционирования.

Как организовать правильное питание

Система электропитания еще одна важнейшая составляющая инфраструктуры NCPI. В свою очередь, ключевым элементом этой системы является источник бесперебойного питания (ИБП).

При оборудовании объектов типа ЦОД важно грамотно выбрать мощность ИБП. С одной стороны, конечно, ни в коем случае нельзя ошибиться в расчетах так, что мощности ИБП не хватит для обслуживания всего оборудования. С другой — никому не хочется переборщить, чтобы большая часть ресурсов дорогостоящего ИБП постоянно простаивала, а значит, деньги ушли впустую. Это может происходить по разным причинам: возможно, проектировщики исходили из максимальной мощности оборудования, а на практике оказалось, что оно загружено лишь на 60—70%; возможно, развитие центра “притормозило”, а электропитание было рассчитано сразу на всю его мощность; возможно, заказчик просто перестраховался. Однако бесполезный простой ресурсов ни в коем случае нельзя путать с их избыточностью, которая столь необходима для обеспечения резервирования, а значит, и надежности рассматриваемых нами объектов.

Так как же оптимизировать текущую мощность источника питания, не забывая при этом о должном уровне его резервирования и возможности наращивания при росте потребностей ЦОД? Задачи резервирования и наращивания мощности решаются, например, установкой нескольких ИБП в параллель. Данную возможность поддерживают большинство крупных ИБП ведущих фирм-производителей (см.: “ИБП в параллель” // Сети и системы связи. 2003. № 10. С. 34). Другой вариант — использовать так называемые модульные ИБП. Такие источники выпускают далеко не все фир-мы, из известных мне это APC (со своей системой Symmetra), Liebert-Hiross (продукт Nfinity), Invensys Powerware (модель 9170) и Socomec-Sicon (Modulys), недавно модульную систему представила фирма Gamatronic (ИБП Power+). Обеспечивая легкость наращивания и технического обслуживания, модульные ИБП стоят, однако, дороже обычных, немодульных систем.

При организации системы бесперебойного электропитания важно уделить внимание не только ИБП, но и другим элементам: байпасным панелям, блокам распределения питания, силовой проводке (иногда очень протяженной). Все они могут снижать общий показатель надежности системы, поэтому идеальный вариант — дублировать не только ИБП, но и все цепи распределения питания. Также важно обеспечить контроль за работой всех элементов системы электропитания. Следить только за ИБП — мало. Представьте ситуацию: ИБП работает нормально, но происходит сбой в выходных цепях и вы “теряете” нагрузку при полном “молчании” системы контроля!

Просто InfraStruXure

Первым комплексным решением NCPI от одной фирмы-производителя, о котором большинство российских специалистов узнали в прошлом году, стала система InfraStruXure (ISX) компании APC.

В ней под шильдиками с одной торговой маркой собраны все основные инженерные подсистемы: аппаратные шкафы и стойки, ИБП и компоненты распределения электропитания, кондиционеры и компоненты распределения воздуха, блоки мониторинга и т. д.

В системе ISX используются ИБП Smart-UPS мощностью от 1 до 4 кВт, а также модульные ИБП Symmetra мощностью до 1 МВт и более. Причем ИБП небольшой и средней мощности устанавливаются в те же монтажные шкафы NetShelter, что и основное оборудование (серверы, маршрутизаторы и т. п.), тем самым экономится пространство в помещении ЦОД. Системы кондиционирования включают нагнетатели и вытяжки, которые устанавливаются в шкафы NetShelter для оптимизации воздушных потоков, охлаждающих оборудование. Блоки мониторинга состояния среды “следят” за уровнем температуры и влажности в монтажных шкафах, а системы укладки кабелей позволяют упорядочить кабели в помещениях без дорогостоящего фальшпола.

Любой ЦОД — уникальный комплекс, поэтому подбор инженерных подсистем для него долгий и трудоемкий процесс. Специалисты APC считают, что, предложив модульную архитектуру из типовых компонентов, они не только значительно ускорили решение этой задачи, но и гарантировали совместимость всех подсистем. В качестве приме-ра они приводят ЦОД на 300 стоек, для которых требуются системы питания общей мощностью 1,5 МВт, прецизионное кондиционирование, средства контроля и т. п. При традиционном подходе на расчет проекта такого комплекса уходили недели. Использование конфигураторов для ISX позволяет получить первичный проект уже через 20 мин после постановки задачи.

Еще одним важным достоинством платформы ISX специалисты АРС считают то, что при дублировании всех критически важных подсистем в ней практически нет компонентов, которые в случае необходимости пользователь не мог бы заменить самостоятельно. Диагностические средства сообщат ему, какой модуль требует замены, а сама операция — дело нескольких минут.

Есть еще и Foundation

Получив от компании APC заверение в уникальности ISX, мы, естественно, сразу же “просканировали” рынок в поисках чего-нибудь подобного. И, вы знаете, не напрасно. Пусть менее раскрученное, но концептуально очень похожее на платформу ISX решение оказалось у компании Liebert-Hiross. Ее комплекс Foundation поставляется в двух базовых конфигурациях: шкаф и мини-компьютерная комната (MCR). В состав Foundation входят 19-дюймовый монтажный шкаф, системы бесперебойного электропитания, кондиционирования (вентиляции) с возможностью резервирования, модули управления. Кроме того, решение комплектуется разнообразными датчиками: температуры и влажности, открытия двери, задымления.

По словам Михаила Салтыкова, зам. генерального директора компании “Стинс Корп”, российского партнера Liebert-Hiross, “корни” Foundation лежат в более раннем решении Liebert-Hiross — Little Glass House (LGH); оно появилось примерно в 1995 г., но не получило в Европе широкого распространения. При разработке идеологии Foundation был учтен опыт создания LGH.

Поскольку все элементы Foundation предлагает один производитель, обеспечивается их 100%-ная совместимость. Как правило, каждый шкаф является “вещью в себе”, но возможна и кластеризация — например, установка двух шкафов вместе с обеспечением правильной циркуляции воздуха. Михаил Салтыков считает, что системы Foundation наиболее удобны, когда требуется разместить небольшое количество единиц оборудования (несколько стоек) в неспециализированном помещении.

В общем случае при оборудовании объектов типа ЦОД системами бесперебойного электропитания компания “Стинс Корп” практикует различные подходы: централизованный, распределенный, комбинированный. Для питания серверной комнаты приличной мощности (более 20 кВА) чаще рекомендуется комбинированная схема, когда все оборудование питается от большого мощного ИБП (это может быть и система с резервированием), но наиболее критичные нагрузки имеют в дополнение собственные маломощные ИБП. Мощные ИБП могут быть расположены как отдельно, так и в самой серверной (определяется спецификой проекта), а локальные ИБП — как правило, в стойках с оборудованием. При небольшом числе стоек используется и распределенная схема гарантированного электропитания — в каждой стойке один или несколько локальных ИБП.

Прецизионные системы кондиционирования Liebert-Hiross, отмечает Михаил Салтыков, име-ют шкафную компоновку, что позволяет удобно расположить их вместе с оборудованием. Прецизионные системы, специально предназначенные для поддержания микроклимата в помещениях с оборудованием, регулируют как температуру (охлаждение, нагрев), так и влажность (увлажнение, осушение). По сравнению с комфортными системами они обеспечивают более эффективные схемы выдува охлажденного воздуха (под фальшпол, с замещением, верхний выдув). Конкретный выбор схемы выдува определяется конструкцией шкафов, используемых для размещения оборудования, и направлением движения воздуха в них.

Пляшем от... ИБП

Компании APC и Liebert-Hiross ассоциируются у нас в первую очередь с производством ИБП. Поэтому о решениях для инфраструктур NCPI мы поинтересовались и у других игроков этого рынка. Как выяснилось, большинство поставщиков ИБП сосредоточились исключительно на своих источниках. Характерный ответ пришел от Максима Сурду, главы московского офиса компании Powercom: “Мы делаем только ИБП.., но не кондиционеры и шкафы. Специализация —наш конек”.

В перечне продукции по защите вычислительных залов и серверных помещений компания N-Power указала “старшие” модели своих ИБП, стабилизаторы напряжения и системы прецизионного кондиционирования. В конце 2003 г. компания завершила проект по установке систем кондиционирования в серверных помещениях оператора сотовой связи МТС. Этот проект, выполненный совместно с интегратором — компанией “АйТи”, помимо своего масштаба (восемь кондиционеров общей холодопроизводительностью около 450 кВт, почти 2 км фреонопроводов и другие впечатляющие характеристики) интересен тем, что дистанционный мониторинг работы климатических установок осуществляется через SNMP/HTTP-адаптер.

Еще один производитель ИБП компания MGE UPS Systems заверила нас, что имеет большой опыт в деле обеспечения гарантированного питания ЦОД в Европе, США и России. В решениях компании, надежность которых, согласно ее данным, составляет шесть девяток (99,9999%), могут использоваться ИБП Galaxy мощностью от 10 до 800 кВА (в параллельной конфигурации до 4800 кВА), а также автоматические коммутаторы питания Upsilon STS и PMM (Power Management Module), обеспечивающие распределение и контроль питания на участке от ИБП до нагрузки. Вводная разводка питания осуществляется на базе оборудования Schneider Electric. Что же касается систем кондиционирования, то используются решения партнера — фирмы Stulz.

Из всех “узкоспециализированных” поставщиков ИБП наиболее комплексное видение проблематики, связанной с NCPI, показала компания “Абитех” (партнер фирмы General Electric). Отвечая на наши вопросы, руководитель ее отдела экспертизы Константин Соколов затронул практически все компоненты NCPI, включая системы активной и пассивной безопасности, противопожарной защиты, климатического контроля.

Рассматривая технические ограничения, которые могут корректировать требования к инженерным системам, Константин Соколов отмечает, что верхний предел электропотребления для всех видов нагрузки в ЦОД определяется максимальной разрешенной мощностью на электрическом вводе (вводах). Изменение этого параметра (в сторону повышения) зачастую связано с существенными затратами: строительство трансформаторных подстанций или замена трансформаторов, прокладка высоковольтных кабельных линий. Это обстоятельство надо иметь в виду при оценке мощности подсистемы бесперебойного электропитания, проектировании кабельной системы, щитового оборудования, систем ИБП. Если ЦОД вводится в эксплуатацию поэтапно, т. е. не нужно обеспечивать бесперебойное электроснабжение нагрузки максимальной мощности на самой ранней стадии эксплуатации, г-н Соколов рекомендует использовать ИБП, которые наряду с резервированием гарантируют постепенное наращивание мощности. Аналогичным образом можно заложить масштабирование других инженерных систем, например кондиционирования воздуха, контроля доступа или СКС.

Эксперт компании “Абитех” обращает особое внимание на взаимоувязанность инженерных подсистем и построение системы мониторинга. Иногда бывает необходимо выделить комплекс систем безопасности в отдельную, изолированную структуру. В этом случае интеграция инженерных компонентов (ИБП, резервные генераторы, кондиционеры и т. п.) осуществляется на уровне “сухих контактов” — службе безопасности, безусловно, надо быть в курсе того, не произошли ли где-нибудь авария электроснабжения или отказ системы кондиционирования. В случае изоляции системы безопасности и создания так называемого поста централизованной охраны управление инженерными средствами возлагается на второй диспетчерский пост. Программно-аппаратное оснащение диспетчерского поста должно обеспечивать не только прием статусной (“да/нет”) информации о состоянии оборудования, но и проведение измерений, ведение журнала событий, графическое отображение схемы включения оборудования. Подобного рода системы давно используются на промышленных и технологических объектах и получили название систем SCADA (Supervisory Control And Data Acquisition). Процедура интеграции технологического оборудования разных фирм довольно проста, если оно имеет стандартные промышленные интерфейсы (RS232/422/485, Modbus, Profibus, CAN, LON, Bacnet и др.).

Хотя среди проектов, реализованных компанией “Абитех”, нет специализированных ЦОД (если не считать оснащения многочисленных серверных помещений ИБП различной мощности), но есть несколько проектов, масштаб которых сопоставим с организацией крупных ЦОД. Один из них — реконструкция системы электроснабжения ИТАР-ТАСС. В ходе ее проведения компании пришлось не только решать задачи обеспечения собственно бесперебойного электропитания, но и заменять системы распределения электроэнергии внутри здания, строить систему технологического кондиционирования, реконструировать систему отопления и ряд других инженерных подсистем. При реализации проекта использовалось оборудование General Electric (ИБП SitePro мощностью от 30 до 400 кВА, в том числе параллельные системы), щитовое оборудование Schnider Electric, системы кондиционирования Mitsubishi. Система управления также была интегрирована с резервным дизельным генератором.

***

Ответы поставщиков ИБП навели нас на мысль, что построение полноценной инфраструктуры NCPI — задача, скорее, компаний-интеграторов, а не просто поставщиков оборудования. После рассмотрения их подходов, чем мы займемся в следующем номере журнала, можно будет уже анализировать “полную картину” организации инженерной инфраструктуры объектов типа ЦОД..





  
2 '2004
СОДЕРЖАНИЕ

бизнес

• "Коммунальные вычисления". Вы верите в их возможность?

• Доктрины производителей

• На пути к электронному голосованию

инфраструктура

• Телефоны VoWLAN: готовность номер один

• Инженерная инфраструктура центра данных, или Решения NCPI

• Пора обзаводиться тестовым инструментарием

• iSCSI-сети хранения данных

информационные системы

• Когда применение SOAP становится неэффективным

• Программные средства технической поддержки клиентов

сети связи

• Новые IP-телефоны

• УАТС как услуга

кабельные системы

• Медиаконвертеры позволяют модернизировать сеть, не обременяя бюджет

• Соблюдайте правила установки огнезадерживающих средств

защита данных

• Вооружитесь камерами и замками

• Говоря на языке SAML


• Калейдоскоп



 Copyright © 1997-2007 ООО "Сети и Системы Связи". Тел. (495) 234-53-21. Факс (495) 974-7110. вверх