Ж у р н а л   о   к о м п ь ю т е р н ы х   с е т я х   и   т е л е к о м м у н и к а ц и о н н ы х   т е х н о л о г и я х
СЕТИ И СИСТЕМЫ СВЯЗИ on-line
  ПОИСК: ПОДПИСКА НА НОВОСТИ: НОМЕР:
    ДОМОЙ • Архив: Новостей | Конференций | НомеровПодписка
 
   
 
   
    
РЕДАКЦИЯ
 
Все о журнале
Подписка
Как проехать
Где купить
Отдел рекламы
График выхода журнала
Адреса в Интернет

РУБРИКАТОР
   
• Инфраструктура
• Информационные
   системы

• Сети связи
• Защита данных
• Кабельные системы
• Бизнес
• Колонка редактора
• Электронная
   коммерция

• Только на сервере
• Системы
   учрежденческой
   связи

• Новые продукты


Rambler's Top100

  

Google предпочитает Linux

Митч Вагнер

Поисковая система Google.com — это один из самых интенсивно работающих в мире Web-узлов, который объединяет тысячи ПК, работающих под управлением ОС Linux. По утверждению его создателей, по сравнению с другими вариантами конфигурации такая конфигурация поисковой системы оказалась наиболее экономичной.

Входящие в ее состав 4000 серверов на базе ПК являются одной из крупнейших на сегодняшний день инсталляций Linux. Недавно дополненный третьим центром обработки данных в г. Хендоне (шт. Виргиния), Web-узел Google к настоящему моменту удвоил свою серверную емкость по сравнению с показателем шестимесячной давности. Это обусловлено возросшей популярностью Web-узла Google, количество посетителей которого в апреле с. г. составило 3,2 млн пользователей.

Почему же владельцы компании Google организуют свой бизнес, опираясь на ПО, поддерживаемое главным образом независимыми программистами? В первую очередь — по финансовым соображениям. ОС Linux, полученная непосредственно с сервера компании Red Hat, сама по себе ничего не стоит, тогда как цена ОС Windows NT Server измеряется в сотнях долларов. Аппаратное обеспечение тоже обходится дешево, поскольку ОС Linux установлена на обычных ПК, а не на дорогих RISC-серверах. Многие серверы Google базируются на тех же самых процессорах Intel Celeron, на которых базируются дешевые домашние ПК. “Гипертекстовый анализ требует больших вычислительных ресурсов. Для его проведения нужно иметь высокопродуктивную систему, — говорит основатель и президент Google Сергей Брин. — Вот почему мы используем множество недорогих ПК. У них лучше соотношение производительности и цены”.

Реализация поискового алгоритма Google требует огромной вычислительной мощности. Система оценивает значимость каждой Web-страницы, анализируя ее связи с более чем 300 млн остальных страниц, индексируемых поисковой машиной. В процесс обработки информации включено ежемесячное индексирование 500 млн переменных и 2 млн терминов, что в итоге составляет примерно 1 Тбайт индексируемых данных.

При выборе ОС Linux в качестве серверной платформы Google другим решающим фактором стала ее поддержка. Как отмечает Брин, компания располагает собственными специалистами, глубоко знающими Linux, что позволяет решать все возникающие проблемы самостоятельно, не полагаясь во всем на поставщика, а просто покопавшись в исходном коде. В тех случаях, когда собственных знаний оказывается недостаточно, Google привлекает к работе нужных специалистов из Linux-сообщества.

Пример для подражания

Создатели системы Google.com вполне могут претендовать на своего рода рекорд — самое крупномасштабное внедрение ОС Linux в мире. Специализирующаяся на распределении информационного наполнения Интернет компания Akamai утверждает на своей Web-странице, что тоже имеет свыше 4000 серверов Linux. Но, когда мы обратились к ней за подробными комментариями этого утверждения, она не удостоила нас своим ответом.

Что же касается компании Google, то, по мнению аналитиков, если остальные ИТ-менеджеры будут следовать ее примеру, им нужно отбросить сомнения по поводу безопасности использования ОС Linux для приложений электронной торговли. И все-таки, несмотря на внушительность Web-узла Google, используемая в нем технология не совсем нова. “Как Web-узлы Deja.com, DoubleClick и многие другие, основанные на ОС Linux, Web-узел Google использует заказное прикладное ПО для выполнения единственной задачи без запоминания состояния транзакций. Типичному приложению электронной коммерции нужно “помнить” состояние “виртуальной корзины” и кредитный лимит от одной транзакции до другой. Эти транзакции лучше выполнять на серверах большого масштаба, а не на массивах ПК, отказоустойчивость которых достигается за счет избыточности”, — отметил Тим Гарден, аналитик Technology Business Research .

Тем не менее многих впечатляет стратегия, избранная Google. По мнению Билла Клэйбрука, аналитика Aberdeen Group, подобное использование Linux лишь подтверждает концепцию, согласно которой для решения крупномасштабной проблемы можно объединить в кластер большое число машин, и то, что Linux может работать на чем угодно.

По словам Сергея Брина, при выборе платформы для своей поисковой машины компания Google ставила во главу угла ее аппаратное обеспечение. Выбор пал на ПК, потому что RISC-системы производства фирмы Sun Microsystems или Silicon Graphics стоят в пять, а то и в десять раз дороже. Он отметил также, что с точки зрения монтажа серверы на базе ПК лучше поддерживают стоечные конфигурации высокой плотности. Серверы Google производят две компании — представители малого бизнеса. Это Rackable Systems и King Star Computer. В одном устанавливаемом в стойку модуле можно разместить два компьютера фирмы Rackable Systems. Такая экономия пространства позволяет Google сохранить около 1 млн долл. в год.

Подобные машины стоят меньше половины той суммы, которую запрашивают за свою продукцию так называемые производители с именем, к тому же они явно запаздывают с выпуском систем высокой плотности.

Сергей Брин подчеркивает, что используемые Google системы — это типовые однопроцессорные ПК с 256-Мбайт ОЗУ и 80-Гбайт объемом внешних запоминающих устройств. Компания выбрала однопроцессорные системы потому, что многопроцессорные серверы менее стабильные в работе и более трудные в управлении. Что же касается ОС Linux, то, с его точки зрения, она является наилучшим выбором из всех предназначенных для ПК операционных систем.

Расчет оказался верным. Компания Google фактически заплатила примерно за 50 копий Red Hat Linux, и сама покупка больше напоминала жест доброй воли. Компания бесплатно загружает ПО и для его поддержки пользуется собственными ресурсами и знаниями специалистов из Linux-сообщества.

Из других вариантов ОС Unix на ПК можно устанавливать Solaris фирмы Sun, но она не пользуется широкой поддержкой. Хорошо поддерживается платформа BSD с открытым исходным кодом, но Linux, по-видимому, обладает большим потенциалом для развития и лучшей поддержкой приложений. Кроме того, в мире имеется множество специалистов, которые хорошо знают эту ОС.

По утверждению Брина, ОС Windows NT и Windows 2000 стоят намного дороже Linux, но им не хватает устойчивости для работы с ПО Google, и лично он невысокого мнения о качестве технической поддержки Microsoft. “В случае покупки Windows дело даже не в потраченных деньгах, а в приобретенной головной боли”, — признается Брин.

Выбрав Red Hat Linux из-за ее широкой популярности, компания Google тем не менее не использует коробочные продукты этой фирмы. Из множества, с ее точки зрения, излишне функциональных компонентов дистрибутива Google убрала компилятор, систему X Window, Web-сервер Apache, ряд сетевых приложений, таких, как Telnet, которые, по ее мнению, могут образовать брешь в системе безопасности. Из приложений решено было оставить текстовый редактор Emacs, чтобы системные программисты могли вносить изменения в код “на лету”, не нарушая работу серверов.

Компания Google разработала свой собственный инструмент сетевой инсталляции для одновременной удаленной загрузки ОС на 40—80 серверов. По мнению представителей компании, которые признают, что написание и конфигурирование инструментального ПО было трудным делом, автоматическая инсталляция является одной из областей, где Solaris все еще имеет преимущество перед Linux.

Распределенная сеть

Web-узел Google объединяет три центра обработки данных. Первый центр вошел в строй два года назад. Он находится в г. Санта Клара (шт. Калифорния) и поддерживается компанией Exodus Communications. Позднее, в 1998 г. для обеспечения резервирования был открыт второй центр обработки данных в г. Саннивэйле (шт. Калифорния), поддерживаемый компанией Frontier (сейчас Global Crossing). Третий резервный центр открылся в г. Хендоне, и предназначен он на случай землетрясения или других катастроф, столь характерных для Западного побережья США.

Каждый из центров располагает собственной копией БД Google. Для равномерного распределения трафика Web-узла между центрами обработки данных изначально использовался циклический алгоритм DNS.

В настоящее же время для улучшения управления трафиком осуществляется переход к протоколу BGP (Border Gateway Protocol).

Внутри центров обработки данных компания Google использует ПО собственной разработки для управления трафиком и выравнивания нагрузки на серверах. Весь индекс разделяется на части, причем каждой из них назначается свой кластер из 40 серверов для создания избыточности с целью преодоления отказов в работе. Пиковая нагрузка возникает примерно раз в месяц, когда на Web-узле Google обновляется индекс и он вынужден посылать по локальной сети десятки терабайтов данных для обновления каждого сервера. Внутри стоек серверы соединены между собой — пропускная способность соединений составляет 100 Мбит/с, сами же стойки связаны одна с другой гигабитовыми каналами.

Каждый сервер имеет два жестких диска, поэтому объем дисковой памяти одного ПК в целом составляет около 80 Гбайт. В настоящее время это IDE-диски производства IBM и MaxSource емкостью 40 Гбайт.

В дальнейшем, когда станут доступными диски емкостью 75 Гбайт, Google намерена переключиться на них. Компания не использует централизованную сеть накопителей, а распределяет их по серверам, поскольку это дешевле. И, как утверждает Брин, единый RAID-массив является потенциальной точкой отказа.

Компания Google существует на доход от рекламы со своих поисковых страниц и от лицензирования ПО поисковой машины другими Web-узлами, включая Netscape, Red Hat, Virgin Group и The Washington Post.





  
9 '2000
СОДЕРЖАНИЕ

колонка редактора

• Пусть всегда будет сеть

локальные сети

• Анализаторы ЛВС второго поколения

• Проектируем сеть устройств памяти

• Характеристики кабельных систем UTP и проблемы совместимости кабельных компонентов

услуги сетей связи

• "Отпрыск" HTTP повышает масштабируемость IP-телефонии

• Выбрать поставщика Интернет-услуг? Не так это просто

• TDMoIP: эволюционный подход к передаче речи по IP-сетям

• Системы VSAT на выставке "Связь-Экспокомм-2000"

новые продукты

• Система ИКС от Samsung, Универсальная платформа FlexGain, ZENworks for Servers гарантирует администраторам душевное спокойствие, Cisco: с новыми силами за рынок продуктов среднего уровня

корпоративные сети

• Лучшие продукты 2000 года

• Удаленное администрирование Windows NT

• Почему ваша сеть стала работать медленно? Откройте ей "второе дыхание" Часть II

защита данных

• Обеспечение сетевой безопасности SOHO

• Как защитить сеть, не мешая пользователям

электронная коммерция

• Google предпочитает Linux

бизнес

• Информационные системы для муниципальных образований

• Корпоративный переполох

только на сервере

• К быстродействию сети через программное обеспечение

• Средства управления многоузловыми межсетевыми экранами еще не готовы для внедрения на предприятиях

• NetServer LH 6000: высокая производительность в корпоративных сетях


• КАЛЕЙДОСКОП



 Copyright © 1997-2007 ООО "Сети и Системы Связи". Тел. (495) 234-53-21. Факс (495) 974-7110. вверх