Ж у р н а л   о   к о м п ь ю т е р н ы х   с е т я х   и   т е л е к о м м у н и к а ц и о н н ы х   т е х н о л о г и я х
СЕТИ И СИСТЕМЫ СВЯЗИ on-line
  ПОИСК: ПОДПИСКА НА НОВОСТИ: НОМЕР:
    ДОМОЙ • Архив: Новостей | Конференций | НомеровПодписка
 
   
 
   
    
РЕДАКЦИЯ
 
Все о журнале
Подписка
Как проехать
Где купить
Отдел рекламы
График выхода журнала
Адреса в Интернет

РУБРИКАТОР
   
• Инфраструктура
• Информационные
   системы

• Сети связи
• Защита данных
• Кабельные системы
• Бизнес
• Колонка редактора
• Электронная
   коммерция

• Только на сервере
• Системы
   учрежденческой
   связи

• Новые продукты


Rambler's Top100

  

InfiniBand и другие технологии ввода-вывода

Стив Чапин

Архитектура InfiniBand — новый стандарт на системы ввода-вывода для распределенных вычислений. Она представляет собой комбинацию сети устройств памяти (Storage Area Network — SAN), коммуникационной сети и шины ввода-вывода. Когда кластерные решения стали широко применяться на разного рода предприятиях, оказалось, что недостаточно быстрый доступ к разделяемым данным является основным фактором, замедляющим работу коммерческих приложений.

Одно время узким местом (особенно для научных приложений) были каналы связи между компьютерами. Чтобы повысить их производительность, специалисты разработали специальные межмашинные сети связи, названные системными (System Area Networks). Как правило, они представляли собой фирменные решения, ориентированные на передающие сообщения приложения.

С появлением относительно недорогих высокоскоростных средств организации межсоединений, основанных на стандартных технологиях Myrinet, VIA (Virtual Interface Architecture) и Gigabit Ethernet, компьютеры стали взаимодействовать друг с другом быстрее, чем с системами хранения данных. Это не мешает проведению научных вычислений, но снижает производительность коммерческих приложений.

В настоящее время названная проблема решается путем создания сетей SAN, объединяющих центральные средства хранения данных с группой компьютеров (вычислительных узлов). Эти сети используются только для информационного обмена между средствами хранения и вычислительными узлами, сообщения же передаются по отдельной локальной или системной сети. Современные сети SAN основаны на технологии Fibre Channel. Они коммутируют трафик между узлами и в этом отношении похожи на коммуникационные сети. Хотя при наличии двух сетей — коммуникационной и SAN — администратор может более гибко управлять данными и отделять трафик устройств памяти от трафика сообщений, это довольно дорогое и не очень эффективно работающее решение (рис. 1).

Дело в том, что сеть SAN функционирует значительно медленнее, чем коммуникационная сеть. К несчастью для сторонников технологии Fibre Channel, коммуникационные сети являются мультигигабитовыми, а сети SAN работают со скоростью сотни мегабитов в секунду. Производители немало сделали для увеличения пропускной способности сетей, но это породило проблему нехватки полосы пропускания шины PCI (рис. 2).

Стандартная 32-битовая шина PCI с тактовой частотой 33 МГц имеет пропускную способность около 132 Мбайт/с (примерно 1 Гбит/с). Уже несколько лет выпускаются сетевые платы, передающие данные с указанной скоростью и не позволяющие задействовать адаптеры сетей устройств памяти (для них просто не остается полосы пропускания шины).

Внедрение 133-МГц 64-битовой шины PCI-X с пропускной способностью 1 Гбайт/с лишь частичное решение проблемы дефицита полосы пропускания подсистемы ввода-вывода сервера, поскольку некоторые производители, включая фирмы Foundry Networks и Extreme Networks, уже создали коммутаторы, способные работать с платами 10 Gigabit Ethernet. Таким образом, коммуникационная сеть в состоянии нагрузить до отказа любую разновидность шины PCI. Кроме того, данная шина является разделяемой, т. е. все подключенные к ней устройства делят ее полосу пропускания между собой. Стоит также сказать и о присущем архитектуре PCI ограничении по масштабируемости: чем быстрее работает эта шина, тем она короче и тем меньше устройств можно подключить к ней. Это заставляет разработчиков вычислительных систем с целью поддержания их расширяемости на прежнем уровне увеличивать число независимых шин ввода-вывода, что усложняет конструкцию системы.

InfiniBand идет на помощь

Согласно документации, архитектура InfiniBand — это не усовершенствованная сеть SAN, а системная сеть. Впрочем, в ней сочетаются характеристики обеих названных сетей, при этом она выводит шину ввода-вывода за пределы архитектуры одиночного компьютера. Поддерживающие InfiniBand машины будут продолжать использовать внутренние каналы связи для обмена данными с собственными оперативными запоминающими устройствами (ОЗУ), а внешние средства InfiniBand станут обращаться к контроллеру ОЗУ напрямую, минуя шину PCI (рис. 3). Конечными узлами сети InfiniBand могут быть компьютеры, маршрутизаторы, системы ввода-вывода (диски SCSI, сети Fibre Channel и даже видеоплаты).

Подобно информационной системе, основанной на стандарте VIA, сеть InfiniBand является коммутируемой инфраструктурой с виртуальными каналами связи типа “точка—точка”. При этом отсутствуют разделяемые шины и проблемы с их масштабируемостью. Для повышения степени отказоустойчивости в сети InfiniBand можно организовать резервные (альтернативные) пути передачи данных. Многочисленные подсети InfiniBand объединяются друг с другом с помощью маршрутизаторов. Как показано на рис. 4, каждое подключенное к сети устройство имеет канальный адаптер, являющийся конечной точкой его соединения с коммутатором. Это может быть целевой канальный адаптер (Target Channel Adapter — TCA), предназначенный для предоставляющих сетевые услуги устройств, или канальный адаптер хост-узла (Host Channel Adapter — HCA), которым предполагается оснащать вычислительные узлы, взаимодействующие с вышеназванными устройствами и другими подобными узлами.

Внутри вычислительного узла (хост-узла) адаптер HCA подключается непосредственно к контроллеру ОЗУ. Последний управляет передачей данных между ОЗУ, системной шиной и шиной периферийных устройств (PCI). Хост-узлы могут иметь несколько HCA. Поддержка технологии InfiniBand отнюдь не исключает наличия в хост-узле шины PCI, которая и дальше будет использоваться для подключения локальных дисков, сетевых адаптеров, видеоплат и других устройств. Их работа никак не повлияет на производительность сети InfiniBand. Первые реализации систем InfiniBand будут представлять собой временные решения с адаптерами HCA в виде плат PCI-X. Позднее должно быть реализовано прямое подключение этих адаптеров к контроллеру ОЗУ. Разработчики компьютерных систем получат возможность подсоединять к ним самые разные типы периферийных устройств (включая сетевые адаптеры Ethernet) как через локальную шину ввода-вывода, так и через инфраструктуру InfiniBand. В ближайшем будущем большинство компьютерных систем будут по-прежнему оснащаться многочисленными подключенными к локальной PCI-шине устройствами, но со временем появятся системы, ориентированные исключительно на работу в сети InfiniBand.

Адаптеры TCA обеспечивают прямое подключение периферийных устройств к коммутаторам InfiniBand. Речь идет о подсистемах RAID, средствах резервного копирования, пулах устройств хранения данных (storage farm) и концентраторах ввода-вывода. Последние оснащены коммутаторами InfiniBand и предназначены для подключения к сети InfiniBand других систем и устройств (см. рис. 4). В простейшей системе InfiniBand соответствующая технология используется в качестве замены внутренней шины ввода-вывода. При этом адаптер HCA подключается непосредственно к коммутатору, расположенному в шасси концентратора ввода-вывода (рис. 5).

Сетевые механизмы

Архитектура InfiniBand ориентирована не только на рынок систем хранения данных, но и на рынок коммуникационных сетей. Она имеет встроенную поддержку заголовков IPv6 и через адаптеры TCA может взаимодействовать с коммутаторами и маршрутизаторами внешних локальных и территориально распределенных сетей. Данная архитектура определяет четыре первых уровня модели OSI, поддерживает механизмы гарантированной и негарантированной доставки данных и имеет службы передачи дейтаграмм и установления соединений. Внутри сети InfiniBand используется ее собственный транспортный механизм, но эта сеть совместима и с другими транспортными протоколами, посылая пакеты данных во внешнюю сеть (с этими протоколами) через соответствующий адаптер (например, через плату Ethernet, установленную в шасси концентратора ввода-вывода).

Помимо преимуществ, связанных с отсутствием разделяемых каналов связи, архитектура InfiniBand обеспечивает более высокую скорость передачи данных по сравнению с конкурирующими технологиями. Если предусмотренные технологиями PCI-X и Fibre Channel максимальные скорости передачи данных составляют 1 Гбайт/с и 1 Гбит/с (100 Мбайт/с) соответственно, то спецификация InfiniBand определяет скорости передачи до 10 Гбит/с и выше. Конечно, сторонники технологии Fibre Channel не сидят сложа руки: в рамках ассоциации Fibre Channel Industry Association имеется технический комитет, разрабатывающий 10-Гбит/с вариант этой технологии. Однако стоит помнить, что с увеличением скорости передачи данных свыше 1 Гбит/с для разделяемой инфраструктуры Fibre Channel начнут действовать описанные ранее ограничения (когда речь шла о шине PCI).

Учитывая все вышесказанное, попытаемся спрогнозировать будущее технологий InfiniBand и Fibre Channel. Первая из них представляется нам более общим решением, сочетающим в себе характеристики сети SAN, системной сети и шины ввода-вывода. Вышеназванные сети можно реализовать и на основе технологии Fibre Channel, но все же ее используют в основном для построения сетей SAN. В мире установлено довольно большое число устройств Fibre Channel, но инфраструктуру InfiniBand можно будет связать с уже существующими сетями (Ethernet и Fibre Channel) через концентратор ввода-вывода. Технологию InfiniBand поддерживают ведущие компании компьютерной индустрии. Отсюда возникает вопрос: перейдут ли предприятия, уже имеющие сети Fibre Channel, на сети InfiniBand? Это будет зависеть от трех основных факторов: от соотношения стоимостей владения этими сетями, от того, насколько быстро появятся на рынке средства InfiniBand, и от того, достигнет ли к тому времени технология Fibre Channel скорости передачи 10 Гбит/с. Соревнование технологий InfiniBand и Fibre Channel еще не началось, поэтому говорить о его возможном результате пока слишком рано, но, похоже, технологию InfiniBand ждет светлое будущее.





  
6 '2001
СОДЕРЖАНИЕ

колонка редактора

• Интеллектуальное здание ждет своего оператора

локальные сети

• Infiniband и другие технологии ввода-вывода

• Давайте жить без проводов!

• Измерительные комплексы для поддержания вашей сети в форме

• Некоторые аспекты безопасности структурированных кабельных систем

• Новый подход к тестированию волоконно-оптических линий кабельных систем зданий

корпоративные сети

• Маршрутами АТМ

• Восстановление данных: время - деньги

• "Тонкие" клиенты на основе Web

только на сервере

• Тихая революция: Web-инструменты приходят в отделы кадров

защита данных

• К вопросам безопасности отнеситесь серьезно

• Проблемы безопасности беспроводных сетей

электронная коммерция

• Заводы и фабрики становятся интерактивными

системы учрежденческой связи

• Операторские центры: классика плюс Интернет-новации

бизнес

• Microsoft ставит на .Net

услуги сетей связи

• Мультисервисная городская транспортная сеть MATN

• Создание опорной сети оператора связи

• DSL на подъеме

• Представляем устройство DSL



 Copyright © 1997-2007 ООО "Сети и Системы Связи". Тел. (495) 234-53-21. Факс (495) 974-7110. вверх