Ж у р н а л   о   к о м п ь ю т е р н ы х   с е т я х   и   т е л е к о м м у н и к а ц и о н н ы х   т е х н о л о г и я х
СЕТИ И СИСТЕМЫ СВЯЗИ on-line
  ПОИСК: ПОДПИСКА НА НОВОСТИ: НОМЕР:
    ДОМОЙ • Архив: Новостей | Конференций | НомеровПодписка
 
   
 
   
    
РЕДАКЦИЯ
 
Все о журнале
Подписка
Как проехать
Где купить
Отдел рекламы
График выхода журнала
Адреса в Интернет

РУБРИКАТОР
   
• Инфраструктура
• Информационные
   системы

• Сети связи
• Защита данных
• Кабельные системы
• Бизнес
• Колонка редактора
• Электронная
   коммерция

• Только на сервере
• Системы
   учрежденческой
   связи

• Новые продукты


Rambler's Top100

  

Анализаторы журналов регистраций: Site Server на верном пути

Джеффри Рабин, Рикардо Реймундес

Создание корпоративного узла в Интернет -- дело вроде бы простое: установи Web-сервер, размести на нем информацию о фирме да и сиди себе смотри, попивая кофе, как твои маркетинговые фантазии воплощаются в жизнь. На самом деле это еще далеко не все. Современные Web-узлы накапливают в СУБД мегабайты данных своих регистрационных журналов, что обеспечивает такую глубину анализа виртуальных посещений, какую невозможно себе представить даже в самых смелых мечтах.

Использование специальных маркеров Интернет (Web cookies) и новейших анализаторов регистрационных журналов позволит вам собрать, сохранить и оформить в виде отчетов огромное количество информации об отдельных посетителях вашего Web-узла. "Привяжите" ее к имеющейся у вас корпоративной СУБД -- и вы сможете изменять свои коммерческие online-предложения в зависимости от запросов конкретного посетителя вашего узла, генерировать ретроспективные отчеты, отражающие число повторно посетивших ваш узел посетителей, а значит, оставшихся довольными им.

Для того чтобы помочь вам в выборе пакета ПО анализа журналов регистраций, который наилучшим образом помог бы вам оценить реальный потенциал вашего Web-узла, мы протестировали ведущие продукты данной категории в одной из лабораторий журнала Network Computing. Приятной новостью стал тот факт, что по сравнению с версиями этих продуктов, которые мы тестировали год назад, нынешние оказались значительно усовершенствованными. Все пакеты способны генерировать подробные настраиваемые отчеты, содержащие, ценную как для сетевых администраторов, так и для менеджеров высшего звена информацию.

И все же, несмотря на такой прогресс в области анализа журналов посещений Web-узлов, средства обработки ошибок у большинства продуктов по-прежнему оставляют желать лучшего. Единственным из протестированных нами пакетов, который обладает встроенными интеллектуальными средствами анализа сообщений об ошибках с динамической генерацией отчетов, был net.Analysis фирмы net.Genesis. Кроме того, по-прежнему не удовлетворен спрос на средства, предоставляющие по-настоящему полные демографические данные о посетителях Web-узлов. Большинство фирм -- производителей ПО анализа регистрационных журналов -- утверждают, что их продукты способны обеспечивать владельцев Web-узлов самыми подробными демографическими данными о пользователях (включая страну, штат и город), но при этом они забывают упомянуть, что данные эти исходят от Интернет-службы whois, которая фиксирует лишь информацию о зарегистрированных в InterNIC доменах и IP-адресах. На нее полагаться нельзя -- ведь посетители, "выходящие" на ваш Web-узел через крупного поставщика услуг Интернет, по умолчанию используют доменное имя, определяемое местоположением штаб-квартиры последнего. Например, согласно данным whois, г. Вена (в США) значится как место нахождения всех пользователей America Online, так как именно там находится главный офис этой компании.

Займемся делом

С целью систематизировать различные запросы людей, обращающихся к данным журналов посещений, мы разделили средства генерации отчетов протестированных нами продуктов на две категории. Так, администраторов Web-узлов главным образом интересуют такие вещи, как структура связей Web-страниц, сообщения об ошибках, анализ маршрутов движения посетителей и сведения об их Web-браузерах, в то время как специалистов по маркетингу -- данные анализа эффективности рекламной кампании, а также сводная информация о демографии посетителей и запросах поисковых служб Интернет. (Последняя функция рассчитана на то, что ПО способно выявлять ключевые слова в пользовательских запросах.)

Коммерческие средств анализа журналов посещений Web-узлов масштаба предприятия -- производства фирм Marketwave, Microsoft, net.Genesis и WebTrends - мы оценивали на основании показателей исходя из их производительности (т. е. времени, потребовавшегося на импорт данных и генерацию отчетов), простоты использования, качества отчетов, глубины информации, предоставляемой сетевым администраторам и работникам маркетинговых служб, а также цены.

Продукту Site Server 3.0 производства компании Microsoft мы присудили почетный титул Editor's Choice, за то, что он обеспечивает наивысшие уровни производительности и функциональности (за самую низкую цену) и маркетингового анализа. Последний не оставляет продуктам конкурентов практически никаких шансов на победу. Кроме того, Site Server "умеет" считывать журнальные файлы практически любого формата и весьма эффективно "перекачивает" информацию из них в СУБД.

Второе место мы отдали продукту WebTrends Enterprise Suite 2.1 фирмы WebTrends. Хотя он и не может соперничать с Site Server по функциональности, но компенсирует это простотой использования. WebTrends Enterprise Suite способен создавать отчеты с исчерпывающим анализом посещений Web-узла, выполняя при этом огромную работу по выявлению ключевых слов в запросах пользователей. Enterprise Suite станет прекрасным приобретением для компаний, не нуждающихся в таком глубоком анализе журналов посещений Web-узлов, какой обеспечивает пакет Site Server.

Site Server 3.0 фирмы Microsoft

При минимальной цене 1239 долл. продукт Site Server фирмы Microsoft предоставляет администратору Web-узла самый полный набор функций. В ходе тестирования особое внимание мы обратили на входящий в пакет Site Server модуль Usage Analyzer. Данный продукт выполняет практически все функции анализа журнальных данных, какие только имеются в других продуктах. Microsoft также включила в базовый комплект Site Server средства обработки и публикации знаний, а в комплект Commerce Edition входят еще и средства анализа транзакций (их мы не тестировали).

Поначалу нас несколько шокировали возможности конфигурирования и управления ПО Site Server. Для его инсталляции и конфигурирования применяются программы-мастера (wizards). Труднее всего было привыкнуть к тому, что для установки БД используется отдельная программа-мастер -- database wizard, для импорта данных -- import wizard, а для генерации отчетов -- report writer. Вообще-то идея такого разделения функций представляется вполне разумной, однако из всех фирм-поставщиков только Microsoft претворила ее в жизнь. Site Server, как и два других продукта из всех протестированных нами, работает исключительно под управлением ОС Windows NT, в отличии от net.Analysis Pro, который помимо нее, поддерживает и ОС Unix.

Одной из основных причин, почему первое место мы присудили продукту Site Server, была точность предоставляемых им данных об организациях. Когда мы запрашивали отчет о посетителях нашего Web-узла, большинство пакетов использовали для его формирования данные своих внутренних БД, содержащих информацию о зарегистрированных в InterNIC IP-адресах и доменных именах. Такой подход, разумеется, эффективен, но ведь может статься, что интересующий вас IP-адрес был зарегистрирован в InterNIC уже после приобретения данного ПО и какая-либо информация о соответствующем доменном имени в локальной БД отсутствует.

Чтобы избежать подобной ситуации, Site Server каждый раз запрашивает службу whois напрямую. И это несколько замедляет его работу в самом начале эксплуатационного периода, но кэширование полученной от InterNIC информации позволяет ускорить получение результатов при последующих запросах доменных имен. (Кэш регулярно обновляется, причем администратор может задавать график его обновления.) Особенно ценен тот факт, что непосредственное обращение к InterNIC гарантирует регулярное обновление данных об организациях, что делает отчеты более точными. Все прочие продукты не могут предложить взамен кэширования никакого другого механизма обновления своих внутренних баз данных об организациях, за исключением... регулярных обновлений всего ПО за отдельную цену.

Site Server содержит облегченную (run-time) версию СУБД Access, но для хранения данных, необходимых для ретроспективных отчетов, мы предпочли использовать SQL Server. После инсталляции последней версии драйверов ODBC (Open Database Connectivity) программа-мастер "провела" нас через всю процедуру установки БД и даже правильно определила требуемый размер хранилища данных, исходя из величины нашего файла регистрации. Эта процедура может показаться элементарной, но пренебрегать ею не следует: нам пришлось четырежды переустанавливать продукт Hit List фирмы Marketwave, прежде чем объем созданного хранилища оказался достаточным для обеспечения импорта данных. После инсталляции Site Server выполнение операций генерирования отчетов, установки фильтров для улучшения производительности и выделения любого интересующего нас фрагмента в журнальных файлах оказалось делом совсем нетрудным.

Все протестированные нами продукты масштаба предприятия могут быть объединены с ODBC-совместимой базой данных. Импорт журнала посещений Web-узла в такую БД дает администратору некоторый выигрыш в производительности и позволяет связать информацию о посещениях с данными о клиентах, хранящимися в корпоративной БД.

Отчеты Site Server отличаются глубиной анализа исходных данных. Это выгодно отличает его от любого из конкурирующих с ним продуктов. Большинство средств анализа журналов посещений предоставляют информацию по запросам от шести самых крупных доменов США и обобщенную информацию по запросам, поступившим из-за рубежа. В отчетах Site Server, кроме указанной информации, приводятся данные о поставщиках услуг Интернет и выделяются преобладающие запросы по каждому домену верхнего уровня, включая Канаду, канадских поставщиков услуг Интернет и прочих иностранных пользователей.

Нас несколько разочаровало то, что в Site Server отсутствуют интеллектуальные средства анализа ошибок. Администраторам Web-узлов необходимо знать, какие сообщения об ошибках получили пользователи во время нахождения на данном Web-узле, выяснить, обращение к каким страницам вызвало возникновение этих ошибок, а также, по возможности, установить, какими Web-браузерами посетители при этом пользовались.

По скорости импорта данных продукт Site Server опередил все остальные. По завершении импорта Site Server указывает точное время, ушедшее на эту операцию, что полезноё в тех случаях, когда сетевому администратору требуется составить расписание работы данного ПО. Кроме того, Site Server может прямо у вас на глазах сгенерировать отчет в формате MS Word.

WebTrends Enterprise Suite 2.1 фирмы WebTrends

Главным достоинством продукта WebTrends Enterprise Suite 2.1 является простота его использования. Анализ журналов посещений с помощью данного ПО, начиная с инсталляции продукта и кончая генерацией отчетов, совсем несложное дело. Пользовательский интерфейс пакета не столь впечатляющ, как у Site Server, и в целом он вполне пригодится там, где не требуются все те "примочки", которые имеются в продукте фирмы Microsoft.

Продукт WebTrends в процессе тестирования показал хорошие результаты, но отсутствие некоторых функций отодвигают его на пару-тройку шагов назад от Site Server. Прежде всего ему недостает поддержки нескольких физических серверов. В наши дни в одной и той же компании во многих случаях устанавливается энное число Web-серверов (например, marketing.company.com и sales.company.com), анализ посещаемости которых играет очень большую роль в ее деятельности. Пакеты Site Server, net.Analysis и Hit List вполне справляются с этой задачей в отличии от WebTrends Enterprise Suite, который всего лишь позволяет "сшивать" вместе журнальные файлы для последующего анализа.

В то же время данный продукт поддерживает множество виртуальных Web-узлов с единым журналом посещений. Если, к примеру, поставщик услуг Интернет разместил несколько Web-узлов своих пользователей на одном физическом сервере, то WebTrends Enterprise Suite сможет их различить и создать отдельные отчеты для каждого из таких узлов. Средства календарного планирования данного ПО позволяют автоматизировать генерацию отчетов и их пересылку владельцам виртуальных Web-узлов.

В состав ПО WebTrends Enterprise Suite входят средства взаимодействия с ODBC-совместимыми БД и фирменная БД FastTrends. Единственной причиной, по которой FastTrends может вам понадобиться, является ее способность отслеживать динамику посещений. В отличие от всех прочих протестированных нами продуктов WebTrends Enterprise Suite не выполняет кэширования доменных имен и результатов просмотра заголовков страниц. Но хуже всего то, что на работу с БД уходит львиная доля рабочего времени системы. Для импорта журнального файла размером 100 Мбайт в БД данному пакету потребовалось 2 ч 36 мин -- и это без выполнения DNS-запросов и просмотра заголовков. В случае же, когда БД не была задействована, тот же самый журнальный файл был проанализирован всего за 8 мин.

WebTrends Enterprise Suite показал впечатляющие результаты при анализе запросов всех основных поисковых машин Интернет и выдал отчеты по каждой из них. Эти отчеты отличались простотой стиля и всесторонностью, при том, что не использовались никакие дополнительные фильтры.

Простота и быстродействие (без загрузки данных в БД) при цене 1499 долл делают WebTrends Enterprise Suite стоящим приобретением. Если вам требуется пакет ПО для быстрого создания высококачественных отчетов о посещаемости Web-сервера, то это именно то, что вам нужно.

net.Analysis Pro 3.5 фирмы net.Genesis

Пакет net.Analysis Pro 3.5 производства фирмы net.Genesis имеют очень мощные средства фильтрации данных, в том числе специально предназначенные для корпоративного рынка, но и цена его просто заоблачная! Версия для ОС Windows NT стоит 4495 долл., а для Unix (Solaris 2.5, 2.6 или AIX 4.1х) -- 7495 долл. (включая БД Informix). Впрочем, net.Analysis оказался единственным из протестированных нами пакетов, у которого Unix-версия имеется.

Web-интерфейс ПО net.Analysis вызвал у нас некоторое раздражение. Для того чтобы, например, изменить конфигурацию установленного пакета пришлось сначала указать соответствующую опцию, а затем нажать на кнопку "OK". После того как в окне браузера появился вопрос, желаем ли мы сохранить изменения, и вновь нужно было нажимать на "OK". Поначалу это может показаться удобным, но после указания 10 опций конфигурирования такая нудная канитель начинает действовать на нервы. Подобные задержки возникают и при импорте данных, так как программа задает целую кучу вопросов, пытаясь выяснить местоположение и тип ваших журнальных файлов. Порой нам приходилось дважды отвечать на один и тот же вопрос, а это, сами понимаете, не может не раздражать.

Из всех протестированных нами пакетов технические отчеты, созданные именно net.Analysis Pro, оказались самыми лучшими, причем только данный продукт содержит встроенные интеллектуальные средства анализа ошибок. К примеру, Hit List и Enterprise Suite сообщают лишь статус-коды ошибок, а Site Server выдает их краткие описания только при наличии расширенных средств фильтрации. Продукт же фирмы net.Genesis включает в свой отчет статус-коды, описания ошибок и страницы, обращение к которым вызвало их появление.

Пакет net.Analysis, как и Site Server, имеет программу-мастер для SQL Server. Эта программа достаточно интеллектуальна для того, чтобы самостоятельно определять размеры журнальных файлов. К сожалению, с созданием хранилища данных net.Analysis "провозился" дольше, чем если бы ПО SQL Server конфигурировалось вручную.

Журнальный файл размером 100 Мбайт net.Analysis Pro "осилил" за 49 мин (с импортом данных в БД, но без DNS-запросов и просмотра заголовков) - из остальных пакетов только Site Server справился с этой задачей быстрее. Однако, когда мы все же попытались добавить к процедуре обработки журнала DNS-запросы и функцию просмотра заголовков программа у нас дважды "зависала". Оба раза она проработала 4 ч, а потом процессор загрузился до предельных 100% и "застыл" на этом значении на несколько часов. Решительно net.Analysis провалился по данному тесту, и мы не смогли получить точные данные для нашей итоговой таблицы.

Вероятно, из-за стремления компенсировать неуклюжесть интерфейса net.Analysis и сложность процесса инсталляции, фирма-производитель организовала у себя специальную службу FastStart, предназначенную для поддержки корпоративных пользователей. Примерно за 2000 долл. в день, не включая в эту сумму транспортные расходы, net.Genesis готова послать к вам на два дня специалиста службы технической поддержки, который доставит, установит и сконфигурирует продукт, а затем несколько раз осуществит импорт данных и обучит пользователей необходимым приемам работы. Учитывая сложность ПО net.Analysis Pro, можно все-таки согласиться с тем, что такое обслуживание скорее необходимость, чем роскошь.

Hit List Enterprise 4.0 фирмы Marketwave

Фирме Marketwave придется еще много потрудиться, прежде чем ее продукт Hit List сможет на равных конкурировать с другими протестированными нами анализаторами журнальных файлов, поддерживающими ODBC. Hit List работает с SQL Server, но процедура его установки заставила нас потрудиться. Тестируя пакеты Site Server, net.Analysis Pro и WebTrends Enterprise Suite, мы выяснили, что им требуются хранилища данных, раза в три превышающие размер импортируемого журнального файла. И, когда обнаружилось, что у Hit List отсутствует программа-мастер установки БД, нам пришлось действовать наугад, и мы создали хранилище размером 300 Мбайт. В ответ программа сообщила, что этот размер слишком мал. Тогда мы создали хранилище на 400 Мбайт, но и тут нам не повезло. Наконец, где-то на отметке 600 Мбайт процедура импорта данных заработала. Пообщавшись с фирмой Marketwave, мы выяснили, что Hit List не оптимизирован для ODBC-совместимых БД и что их поддержка должна стать одним из главных усовершенствований в следующей версии продукта.

Hit List генерирует вполне корректные отчеты, но в них нет ничего такого, что позволило бы указанному продукту превзойти своих конкурентов. Например, Hit List способен создавать отчеты по рекламе, но число переходов по графическим рекламным ссылкам (баннерам) подсчитывается только в том случае, если вы используете специальный сценарий. Продукты же Site Server, WebTrends Enterprise Suite и net.Analysis полномасштабный анализ эффективности рекламной кампании осуществляют без труда.

Определение необходимого размера базы данных не единственная проблема ПО Hit List. Импорт 100 Мбайт журнального файла в БД SQL Server и на выполнение DNS-запросов и просмотра заголовков у него ушло более 11 ч -- это примерно на 8 ч больше, чем соответствующий показатель продукта Enterprise Suite (как мы уже отмечали, net.Analysis Pro вообще вышел из строя после 4 ч работы). Ну, а цена почти в 7000 долл. полностью исключает Hit List из списка конкурентоспособных продуктов.

Корпоративные решения против решений уровня рабочей группы

Выполнение DNS-запросов и просмотр заголовков страниц требует немалых затрат времени. Зато, после того как вы внесете информацию в БД, при последующих запусках вашего ПО -- уже во второй или в третий раз, вы заметите значительное увеличение производительности.

Однако посмотрим фактам в глаза. Многие ли Web-узлы удостаиваются миллионов посещений в день? Вам, скорее всего, нужен относительно простой способ анализа журнальных файлов: без больших вычислительных мощностей или дополнительного ПО. В этом случае, возможно, стоит обратить внимание на ПО уровня рабочей группы, например на Bazaar Analyzer Pro фирмы Aquas, SurfReport фирмы Netrics, NetTracker фирмы Sane Solutions или NetIntellect фирмы WebManage Technologies. Хотя, надо заметить, что эти решения обладают одним существенным недостатком по сравнению с протестированными нами корпоративными анализаторами журналов: они хоть и успешно справляются с анализом трафика Web-узла и генерируют корректные отчеты, но не позволяют импортировать данные из журнала в ODBC-совместимые БД.

Использование таких БД позволяет генерировать хронологические отчеты, помогающие выявлять динамику посещений и получать более ясную картину использования Web-узла (в том числе, вести постоянную запись наиболее часто используемых ключевых слов или всех хостов, которые когда-либо связывались с вашим Web-узлом). И наконец, загрузка информации из журнала в БД позволяет сопоставлять журнальные данные о посетителях с прочей информацией, хранящейся в других БД.

Анализаторы журналов регистраций: методика тестирования

Все продукты мы тестировали на машине производства компании Dell Computer с процессором Pentium II (300 МГц) и ОЗУ размером 256 Мбайт, которая работала под управлением ОС Windows NT Server 4.0. Все журнальные файлы импортировались в БД SQL Server 6.5 фирмы Microsoft. Их размеры варьировались от 12 Мбайт до 1,2 Гбайт (впрочем, с 1,2 Гбайт файлом ни один продукт так и не справился). Два из них были нами получены с действующих корпоративных Web-узлов: один -- от компании, входящей в список Fortune 100, а другой -- от Международной организации стандартизации. Для контрольного тестирования использовался журнальный файл размером 100 Мбайт, состоящий из 111 млн записей (более 1 млн запросов), т. е. имеющий примерно такой же объем данных, с которым придется работать Web-администратору большой компании, если ее журнальные файлы будут обрабатываться ежедневно.

Для каждого продукта мы провели по два контрольных тестирования. При испытании на производительность требовалось переместить 100 Мбайт журнального файла в БД SQL-типа. При первом тестировании мы выполняли импорт данных без DNS-запросов и просмотра заголовков страниц (базовый импорт). После "очистки" БД мы вновь переместили туда данные из журнального файла, но уже с просмотром заголовков и запрашиванием доменных имен (полный импорт).

Чтобы иметь возможность просматривать заголовки страниц, тестируемой программе требовалось установить связь с Web-сервером и получить от него заголовки реальных HTML-страниц. Выполнение DNS-запросов означало попытку получить для каждого IP-адреса соответствующего доменного имени. И хотя просмотр заголовков и DNS-запросы могут дать ценную информацию, время переноса данных в этом случае может увеличиться раза в два, если не больше, что и показывают результаты наших тестов на производительность.





  
12 '1998
СОДЕРЖАНИЕ

колонка редактора

• Обслуживание приложений - новое доходное место в Интернет

локальные сети

• Novell спешит на помощь Windows NT

• Пособие по копированию Windows NT, или SID не помеха

• Парад коммутаторов Gigabit Ethernet

• Кабельные системы: идентификация и управление

бизнес

• Платы SUN CompactPCI для систем связи

• Cabletron Systems: важно долгосрочное планирование

• Новая стратегия Ericsson

интернет и интрасети

• IPv6: в чем секрет привлекательности нового протокола

• Анализаторы журналов регистраций: Site Server на верном пути

только на сервере

• Скорости и нагрузки. Передача данных по оптоволоконным линиям

• Из лаборатории фирмы Neal Nelson & Associates

• Фирма 3Com получает наивысшее место

• Серверы удаленного доступа с восемью портами предоставляют пользователям надежную связь

корпоративные сети

• Основы разработки телекоммуникационной инфраструктуры кампуса

• Есть ли польза от сертификатов?

• Cтандарт SNMPv3

• Интеграторы - за интеграцию услуг

услуги сетей связи

• Операторы связи на выставке Internetcom'98, и не только...

• Видео в сетях Frame Relay

• Государственное регулирование телекоммуникций в Российской Федерации: тенденции и проблемы

• Вручение премии Госкомсвязи России в области качества

защита данных

• ИБП для серверов

системы учрежденческой связи

• АТС на базе IP работает, и неплохо

• Новые телефонные системы - новые возможности

новые продукты

• Коммутаторы BayStack 450; AGATE 850: быстро и дешево; Компактный тестер DSL-линий компании



 Copyright © 1997-2007 ООО "Сети и Системы Связи". Тел. (495) 234-53-21. Факс (495) 974-7110. вверх