Ж у р н а л   о   к о м п ь ю т е р н ы х   с е т я х   и   т е л е к о м м у н и к а ц и о н н ы х   т е х н о л о г и я х
СЕТИ И СИСТЕМЫ СВЯЗИ on-line
  ПОИСК: ПОДПИСКА НА НОВОСТИ: НОМЕР:
    ДОМОЙ • Архив: Новостей | Конференций | НомеровПодписка
 
   
 
   
    
РЕДАКЦИЯ
 
Все о журнале
Подписка
Как проехать
Где купить
Отдел рекламы
График выхода журнала
Адреса в Интернет

РУБРИКАТОР
   
• Инфраструктура
• Информационные
   системы

• Сети связи
• Защита данных
• Кабельные системы
• Бизнес
• Колонка редактора
• Электронная
   коммерция

• Только на сервере
• Системы
   учрежденческой
   связи

• Новые продукты


Rambler's Top100

  

Кэширование Web-трафика с помощью серверов-посредников

Кристофер Смит

При желании снизить расходы по использованию арендованной выделенной линии для соединения с Интернет вам стоит рассмотреть вариант установки сервера-посредника (proxy) для управления Web-трафиком вашей сети. Если вы к тому же захотите предоставлять более быстрый доступ к Интернет или сделать службу удаленного доступа более экономичной, то серверы-посредники с функцией кэширования и здесь помогут вам. В данной статье мы рассмотрим, как использование сервера-посредника позволяет снизить число дублирующихся HTTP- и FTP-запросов.

По утверждению фирмы Nеtscape Communications, от 30 до 60% всех НТТР- и FTP-запросов в Интернет — это повторяющиеся запросы пользователей, которым нужна информация, уже проходившая через Интернет-шлюз их компании. Идея кэширования с помощью серверов-посредников заключается в том, чтобы сохранять наиболее часто запрашиваемые данные и таким образом свести объем трафика к минимуму.

Кроме того, наличие поддержки серверов-посредников браузерами позволяет реализовать определенные функции, такие, как тиражирование узла (репликация) и балансировка загрузки, которые обеспечивают более эффективную работу с внутренней структурой серверов и тем самым делают применение серверов-посредников еще более выгодным. В лаборатории журнала , находящейся в университете г. Сиракузы, мы использовали продукты Proxy Server 1.0 фирмы Microsoft и Proxy Server 2.5 фирмы Netscape для тестирования различных вариантов установки серверов-посредников как на крупных предприятиях, так и в малых офисах.

Что кэшировать?

В большинстве случаев сервер-посредник устанавливается в месте соединения вашей сети с Интернет, куда поступают все запросы. Функция кэширования реализуется непосредственно для FTP-, gopher- и НТТР-трафика. У производителей имеются свои методы определения, какой трафик кэшировать. Например, Microsoft Proxy Server по умолчанию не кэширует НТТР-трафик, если в URL включен символ «?», характерный для поисковых запросов. Он также игнорирует любой защищенный трафик, который поступает к пользователю посредством протокола Secure Sockets Layer (SSL).

Наоборот, Netscape Proxy Server кэширует SSL-трафик. Для получения доступа к данным, хранящимся на сервере-посреднике, необходима повторная аутентификация, но, несмотря на это, продукт Netscape не требует повторного обращения к первоначальному источнику.

Распределение кэша

В больших организациях серверы-посредники можно устанавливать двумя способами. Первый и наиболее очевидный из них — установка его на Интернет-шлюзе, в результате чего благодаря повторяющимся запросам объем трафика снижается, а полоса пропускания становится доступной для других нужд. Другое популярное место установки серверов-посредников, характерное для частных корпоративных сетей, — на обоих концах арендованной линии. Обычно территориально распределенные организации, использующие «медленные» арендованные линии, выделяют полосу пропускания, которой достаточно только для работы самых важных приложений. При наличии нескольких серверов-посредников, установленных в одной организации, репликация данных снижает объем сетевого трафика, выходящего за рамки локальной сети, и позволяет распределять данные по нескольким различным серверам-посредникам (внешним и внутренним), территориально наиболее близким к пользователю.

Nеtscape Proxy Server предлагает иерархическую репликацию, связывающую серверы в цепочку. Данные постоянно копируются с сервера на сервер, а запрос пользователя передается серверам-посредникам по цепочке до нахождения копии искомой Web-страницы. Если ее нет на ближайшем к пользователю сервере, она немедленно копируется туда. Иерархическая репликация привлекательна для географически удаленных офисов, которые посылают свои запросы к Интернет и интрасети через одну центральную точку. Web-ресурсы удаленного офиса с легкостью могут быть отображены установленными в центральном офисе серверами-посредниками, и наоборот.

В настоящее время Microsoft Proxy Server не предлагает никаких функций репликации серверов, но мы протестировали лишь его бета-версию 2.0, которая тем не менее обеспечивает иерархическое кэширование и организацию кэш-массива — уникальную функцию Microsoft. Она также позволяет администраторам рассматривать кластер серверов-посредников как одно логическое устройство с единым виртуальным кэшем. Каждый сервер кэш-массива постоянно передает запросы другим серверам-посредникам. Таким образом, загрузка может распределяться на несколько серверов, так как элементы кэш-массива являются частями одного большого кэша. Это позволяет снизить суммарный объем необходимого дискового пространства всех серверов-посредников и управлять кэшем из одной центральной точки.

Совмещение иерархической репликации и кэш-массива — прекрасное решение для тех организаций, которым необходимо обслуживать пользователей не только центрального офиса, но и удаленных. Организовав в центральном офисе кэш-массив из нескольких серверов, можно обеспечить простое и в то же время централизованное управление им. При использовании иерархической репликации в удаленных офисах серверы-посредники, находящиеся там, смогут копировать только нужную информацию, сохраняя большую автономность.

Фирма Microsoft представила IETF свой проект протокола Cache Array Routing Protocol (CARP) — протокол CARP 1.0. Он работает совместно с Microsoft Proxy Server 2.0 и для определения элемента кэш-массива, из которого нужно получить необходимые данные, позволяет Web-браузеру использовать метод хэш-маршрутизации. Вместо того чтобы связаться с сервером-посредником, а потом ждать переадресации к серверу, содержащему нужный кэш, клиент определит направление пути автоматически.

Microsoft Proxy Server позволяет расположить кэш так близко к пользователю, насколько это возможно

Microsoft Proxy Server позволяет расположить кэш так близко
к пользователю, насколько это возможно

Протестированные нами серверы Microsoft и Netscape также включают в себя функции пакетного обновления кэша. Администратор сервера-посредника может составить расписание загрузки нужных узлов. В нашей лаборатории с помощью этого метода мы получали свежие копии наиболее часто посещаемых узлов, не обновляя кэш вручную. Используя сервер Netscape, мы регулировали глубину отслеживаемых гиперссылок при записи в кэш. Эта функция способна облегчить работу администраторов, поддерживающих серверы-посредники, в периоды наиболее интенсивного доступа.

Репликация кэша становится очень полезной для сетевых администраторов, обремененных высвобождением полосы пропускания и пытающихся снизить избыточную утилизацию сети, вызванную новыми push-технологиями, включая PointCast Network, Nеtscape NetCaster и Microsoft Internet Explorer. При обновлении кэша согласно расписанию данные располагаются ближе к пользователю, сокращая тем самым нагрузку на сеть.

Браузеры, «чувствующие» кэш

Один из революционных моментов в развитии индустрии серверов-посредников — появление интеллектуальных клиентов (браузеров), способных автоматически конфигурироваться с целью передачи пользовательских запросов нужному серверу.

Microsoft и Netscape предлагают собственные средства конфигурации, загружаемые с Web-серверов. Мы протестировали Proxy Server 2.5 фирмы Netscape, загружающий конфигурационный файл .pac (proxy automatic configuration). Он написан на языке JavaScript и реализует функции, которые позволяют клиенту задавать свою собственную логику запросов.

Такой способ клиентской конфигурации имеет несколько преимуществ. Во-первых, вы получаете централизованно управляемый файл конфигурации, легко загружаемый с сервера на клиентскую машину. Во-вторых, у вас появляется возможность осуществлять балансировку загрузки для оптимального использования сервера-посредника. Эта функция особенно эффективна в организациях, где архитектуру сервера-посредника применяют для внутренних служб корпоративной сети и доступа к Интернет.

В лаборатории журнала мы установили, что предлагаемая Netscape поддержка файла автоматической конфигурации .рас позволяет включать в нее довольно большой объем информации о нашей сети. Мы сконфигурировали браузер Netscape Navigator 3.03 таким образом, чтобы загружать нужный файл .рас, указав IP-адрес соответствующего сервера-посредника. Нам также удалось создать довольно хороший сценарий на языке JavaScript, который позволял нашему браузеру Nеtscape выбирать определенный сервер-посредник, основываясь либо на DNS, либо на IP-адресах. Мы даже смогли запрограммировать переключение на резервный сервер на тот случай, если главный сервер-посредник выйдет из строя. Кроме того, нам понравилась возможность проверки загрузки серверов-посредников и ее автоматическая балансировка.

***

Кроме обычного кэширования всех страниц подряд, серверы-посредники могут выборочно кэшировать наиболее часто передаваемые данные. И хотя на первый взгляд это кажется бесполезным, на самом же деле для поддержания «свежего» кэша и для того, чтобы определить, откуда приходит повторный трафик, администраторам нередко приходится просматривать длинные, замысловатые файлы регистрации и расписание обновления данных. Фирма Microsoft включила в свой сервер-посредник функцию интеллектуального кэширования с целью определения, какой кэш нужно сохранять, используя показатель частоты посещений.

Реальное облегчение работы

Многие небольшие организации для объединения нескольких ЛВС используют ISDN или аналоговые модемы. С помощью функции dial-on-demand сервер-посредник устанавливает новое соединение только тогда, когда запрашиваемая информация в кэше отсутствует. Мы оценили эту возможность Microsoft Proxy Server во время тестирования функции AutoDial, которая «работает» совместно с RAS (Remote Access Service) Windows NT.

Установка сервера-посредника в малом офисе быстро окупит себя. Небольшие организации, использующие средства «медленной» связи, подобные модему со скоростью 33,6 Кбит/с или ISDN со скоростью 128 Кбит/с, больше не будут мучиться из-за продолжительности передачи, особенно при параллельном многопользовательском доступе. Мы осуществили передачу файла по «медленной» линии с целью сравнения ее производительности в случае сохранения файла в кэше. Первый FTP-сеанс занял 234 с, в то же время выполнение последующего запроса — только 3,44 с. Используя настройку времени существования кэша и его пакетное обновление в свободные часы, малые офисы смогут значительно улучшить свою «медленную» связь.

Управление кэшем

Во время настройки сервера-посредника и кэш-архитектуры могут возникнуть проблемы. С помощью Web-интерфейса управления фирмы Netscape мы создали единую центральную точку администрирования для всех серверов, работающих на одном узле. Наличие ее было весьма кстати в процессе конфигурирования схем репликации кэша при расположении сконфигурированных нами серверов на противоположных концах территориально распределенной сети.

Управление данными, хранящимися в кэше, также может представлять собой некоторую трудность для администратора. Продукт Netscape Proxy Server помог нам представить весь кэш-ресурс в удобном иерархическом виде. Позже, когда мы захотели убрать из кэша некоторые старые URL, все еще находившиеся там, нам на выбор были предоставлены два варианта их удаления. В первом варианте URL удалялся обычным способом, а во втором — список URL обновлялся по истечении определенного периода времени. Когда при очередном обновлении кэша нужно было игнорировать некоторые узлы, мы использовали второй вариант.

По мере роста пользовательской базы у нас возникло желание расширить емкость нашего сервера. В связи с тем, что сервер-посредник хранит данные отдельно от файловой системы кэша, мы с легкостью увеличили дисковое пространство для удовлетворения потребностей пользователей. С помощью сервера Netscape нам удалось создать несколько кэш-разделов на одном сервере и указать для каждого из них свой размер. Мы также смогли расширить общий объем кэша, распределив его по ряду дисковых разделов, при необходимости добавляя к ним новые разделы.

После конфигурирования разделов управление кэшем все равно осталось довольно простым, потому что все они рассматривались как один логический кэш. Фирма Nеtscape рекомендует резервировать под один раздел кэша от 2 до 4 Гбайт.

Задавая максимальный объем кэша, мы были ограничены только требованиями ОС к максимальным размерам файловой системы. Компания Microsoft предлагает рассчитывать необходимый объем кэша, добавляя к 10 Мбайт его основного объема по 5 Мбайт на каждого пользователя. В зависимости от разнообразия запросов пользователей объем кэша можно увеличивать либо уменьшать. Что же касается нас, то мы увеличили его, поскольку предложенный Microsoft объем был слишком мал для нашей пользовательской группы.

К сожалению, единственный способ мониторинга состояния сервера-посредника — это использование функции Windows NT, которая называется Quick Slice, или стандартной Unix-команды top.

Если для работы вам нужна статистика посещений Web-узлов, обратите внимание на то, что в общем случае серверы-посредники не предоставляют отчет обо всех посещениях вашего Web-узла. И все же несмотря на то, что ни один из рассмотренных нами серверов-посредников не предлагает такой функции, некоторые продукты других производителей позволяют получить дополнительные данные для внесения их в журнал регистрации посещений.





  
2 '1998
СОДЕРЖАНИЕ

колонка редактора

• Не думай о минутах свысока

локальные сети

• Проблемы множественной адресации серверов Windows NT

• ВЛВС: стандарты p и Q на подходе

• Невыдуманные истории

корпоративные сети

• Системы ERP: основные задачи и область применения

• Сетевые тестеры и анализаторы протоколов

• Беспроводные мосты на 10 Мбит/с

• Системы видеоконференц-связи стандарта H.323

системы учрежденческой связи

• Телефакс, приносящий прибыль

услуги сетей связи

• Магистральные коммутаторы ATM для распределенных корпоративных сетей

• Средства связи подключения к ISDN

• О телефонистах замолвите слово...

• Адаптеры ISDN

• "Камень" решили сдвинуть "сверху"

• Аббревиатуры, применяемые при измерениях в ИКМ-системах

интернет и интрасети

• Звуки Интернет

• "Петербургское оптическое волокно"

• Файловая система для Интернет: WebNFS или CIFS

• Кэширование Web-трафика с помощью серверов-посредников

защита данных

• Как защитить сеть от "взлома"?

• Современные технологии сетевого резервного копирования

новые продукты

• FastStor: широкие возможности применения, Новый коммутатор Catalyst, Маленькие радости от MiLAN Technology

бизнес

• От РИФа к РИФу

только на сервере

• Измерения в системном администрировании

• Архитектура клиент–сервер или Web: выбор разработчика



 Copyright © 1997-2007 ООО "Сети и Системы Связи". Тел. (495) 234-53-21. Факс (495) 974-7110. вверх