Ж у р н а л   о   к о м п ь ю т е р н ы х   с е т я х   и   т е л е к о м м у н и к а ц и о н н ы х   т е х н о л о г и я х
СЕТИ И СИСТЕМЫ СВЯЗИ on-line
  ПОИСК: ПОДПИСКА НА НОВОСТИ: НОМЕР:
    ДОМОЙ • Архив: Новостей | Конференций | НомеровПодписка
 
   
 
   
    
РЕДАКЦИЯ
 
Все о журнале
Подписка
Как проехать
Где купить
Отдел рекламы
График выхода журнала
Адреса в Интернет

РУБРИКАТОР
   
• Инфраструктура
• Информационные
   системы

• Сети связи
• Защита данных
• Кабельные системы
• Бизнес
• Колонка редактора
• Электронная
   коммерция

• Только на сервере
• Системы
   учрежденческой
   связи

• Новые продукты


Rambler's Top100

  

Как не попасться на уловки фирм-производителей

Лори Маквитти, Джеффри Стентон

Не позволяйте фирмам-производителям сбивать себя с толку сенсационной производительностью, завышенными амбициями и пустыми обещаниями. Читайте наши разоблачения их любимых уловок.

При выборе того или иного технического решения ИТ-менеджеры склонны придавать самое серьезное значение отчетам о производительности продуктов, особенно если у компании недостаточно ресурсов для собственного тестирования. Проспекты, спецификации и прочие маркетинговые материалы предо-ставляют разнообразную информацию, весьма полезную при выборе продукта, но не забывайте, что цель их создателей — представить свой продукт в самом выигрышном свете. При этом немалая толика данных (что весьма кстати для производителей!) вообще “выпадает” из этих материалов.

Чтобы проиллюстрировать, мягко говоря, не совсем корректные маркетинговые приемы, мы придумали фиктивный продукт IT Pro 853045 All-In-One Everything Ethernet Thingy и “нарисовали” для него спецификацию, наподобие тех, что распространяются фирмами для продвижения своих продуктов. Спецификация IT Pro 853045 — это компиляция из информации, собранной нами из реальных маркетинговых материалов. Впрочем, это всего лишь пример такого рода материалов, не указывающий ни на какой конкретный продукт или конкретного поставщика.

Полную версию данной статьи смотрите в 1-ом номере журнала за 2004 год.

Сразу бросается в глаза, что выдуманный нами производитель не удосужился сообщить, кто именно проводил тестирование его продукта IT Pro или кто заплатил за это тестирование. Даже независимые тестовые лаборатории могут быть пристрастными в представлении результатов, если им заплатили за это. В тестах, оплаченных производителями, их продукты крайне редко не занимают первых мест. Помимо пристрастных тестовых отчетов, со стороны фирм-производителей следует остерегаться следующих наиболее распространенных уловок.

1. Обманчивая внешность “В два с лишним раза больше транзакций в секунду”

Цветные диаграммы сравнительной производительности вроде бы наглядно показывают характеристики таких сетевых устройств, как межсетевые экраны, Web-серверы и серверы приложений, распределители нагрузки и криптографические ускорители. Но на деле они редко отражают реальное соотношение производительности.

В нашем примере на диаграмме видно, что производительность продукта IT Pro фирмы “B”, выраженная числом транзакций в секунду, более чем в два раза выше, чем у продуктов других компаний. Здорово, вот только не сказано, как при этом определялась транзакция. Это важное упущение, поскольку данное определение способно существенно влиять на результаты тестов. Так, HTTP-транзакция может быть определена как посылка одного запроса “get” или как получение целой Web-страницы (для чего потребуется множество таких запросов). Размеры передаваемых блоков данных тоже важное слагаемое в этом “уравнении”. Многие продукты настроены для выдачи максимальных показателей производительности на относительно небольших блоках данных (например, 1 Кбайт), при увеличении же размеров блоков их производительность резко падает.

Кроме того, из диаграммы неясно, при какой нагрузке измерялась производительность. Чем больше операций по обработке данных вынуждено выполнять устройство, тем вероятнее, что его производительность снизится. Нам встречались продукты, которые при обслуживании десяти пользователей показывали прямо-таки чемпионские результаты, но не могли удержать уровень производительности, когда им приходилось обслуживать 50 пользователей. Из диаграмм в приведенной нами спецификации этого никак нельзя выяснить.

Еще одна уловка — подбор специального масштаба отображения данных. Взгляните на диаграмму “Сравнительная пропускная способность” продуктов “A”, “B” и “C”. На первый взгляд пропускная способность у продукта “A” значительно выше, чем у его конкурентов, но при более внимательном рассмотрении становится ясно, что на самом деле эта разница очень мала. Чтобы создать такого рода “оптическую иллюзию”, берется масштаб, при котором разница в значении той или иной характеристики излишне преувеличивается. При использовании шкалы от 0 до 1000 Мбит/с было бы очевидно, что разница в пропускной способности продуктов минимальна (между лучшим и худшим участниками она составляет менее 3%). Если же взять диапазон от 850 до 900 Мбит/с, то тогда пропускная способность продукта “A” будет казаться значительно “выше”.

2. Ложная точность “IT Pro можно установить и запустить в работу в среднем за 23 мин”

Данное утверждение вызывает доверие из-за приведенной в нем, казалось бы, точной цифры — 23 мин. Использование некруглых цифр должно по идее давать ощущение скрупулезной точности, от которой на самом деле эти данные могут быть очень далеки. Вывод: увидев излишне точные цифры, следует усомниться в правильности приведенных данных и не принимать их на веру.

В качестве примера предположим, что фирма-производитель провела специальный опрос, в ходе которого задала своим заказчикам вопрос: “Сколько времени у вас ушло на конфигурирование IT Pro 853045?”, и предложила следующие варианты ответов:

а) менее 15 мин;

б) от 15 до 30 мин;

в) от 1 до 2 ч;

г) более 2 ч.

Для получения итоговой цифры организаторы опроса в каждом из вариантов сами выбрали одно значение из предложенного диапазона (табл. 1). Усреднив полученные результаты (см. табл. 1), производитель и получил цифру 23. Меняя значения времени, указанные в вариантах ответа, можно так повлиять на конечный результат, что получатся именно те данные, которые поставщик хочет представить публике. Наиболее точный способ получения статистических данных — это предоставить респондентам возможность самим называть цифры, а не выбирать из предложенного списка.

3. Производительность и размер блоков данных “Аппаратное ускорение SSL обеспечивает поддержку 32 тыс. транзакций в секунду”

Производительность показывает, сколько данных продукт может обработать за определенный период времени. Чем выше эта характеристика, тем лучше. Но часто фирмы приводят суммарную производительность, не указывая размеры блоков данных, которые были задействованы при тестировании продукта. А поскольку каждый продукт имеет свои особенности, то вам следует самому проделать ряд математических выкладок, чтобы определить, отражают ли представленные цифры по числу транзакций в секунду реальный трафик или же условия были так подогнаны, чтобы получившиеся данные выгоднее смотрелись в рекламных материалах.

Так, в случае с аппаратным ускорением SSL у продукта IT Pro, приведенное число транзакций в секунду соответствует скорей всего лишь числу операций RSA (шифрование и аутентификация). Но эта характеристика напрямую не переводится в число транзакций в секунду, так как каждая транзакция включает в себя множество криптографических операций. Примечательно и отсутствие в отчете информации о размере файлов, подвергшихся шифрованию. При тестировании производительности фирмы частенько используют 1-Кбайт файлы, чтобы продемонстрировать более высокое число операций в секунду, ведь по мере роста размера шифруемых блоков данных суммарная скорость шифрования снижается.

Производительность межсетевых экранов тоже зависит от размеров блоков данных. Использование больших пакетов при малом числе сеансов обеспечивает более высокие показатели производительности, чем при маленьких пакетах и множестве сеансов, а как раз последний вариант ближе к реальному трафику. Однако вместо того чтобы показать настоящую производительность устройства, поставщики предпочитают проводить тестирование при менее напряженной нагрузке (большие пакеты и мало сеансов) — в этом случае результаты выглядят получше.

Имейте также в виду, что число правил, сконфигурированных на устройстве, тоже может сильно повлиять на его производительность. Межсетевые экраны, системы обнаружения вторжений (IDS) и прочие “инспекторы” пакетов должны проверять последние на соответствие заданному набору правил. Чем больше правил для проверки, тем больше работы выпадет на долю устройства и тем ниже его производительность. Производители обычно выполняют тесты на производительность при минимальном числе правил, чтобы опять-таки показать максимально возможные результаты.

4. Синдром забывчивости “Пропускная способность выше 10 Гбит/с”

На первый взгляд вполне обоснованное утверждение, однако назначение продукта IT Pro 853045 таково, что это утверждение должно вызвать подозрение. Во-первых, пока не существует 10-Гбит/с сетевых адаптеров. Во-вторых, 10-Гбит/с коммутаторы появились относительно недавно и используются главным образом в городских сетях или как узлы агрегирования трафика.

И каким же это образом устройство IT Pro может претендовать на столь невероятную пропускную способность? Все дело в конфигурации, которая, как оказывается, включала более 10 таких устройств.

Может, это и крайность, но фирмы частенько “живописуют” производительность и пропускную способность своих продуктов, не вдаваясь в детали конфигурации, при которой собирались эти данные. Если поставщик ПО делает столь ошеломляющие заявления, обязательно поинтересуйтесь спецификацией той машины, на которой эти тесты проводились. Продукт, протестированный на машине с двумя процессорами P4 и ОЗУ емкостью 2 Гбайт, конечно, покажет лучшие результаты, чем тот, что “пахал” на PIII с 256-Мбайт ОЗУ.

5. Статистика — это... “Среднее время отклика 1,2 с при высокой нагрузке (5 тыс. пользователей)”

Порой кажется, что все фирмы-производители проштудировали книгу Даррелла Хаффа “Как обмануть с помощью статистики” (Darrell Huff “How To Lie With Statistics”, издательство “W.W. Norton & Co.”, 1993 г.), ведь они испробовали, пожалуй, все упоминавшиеся в ней трюки на своих ничего не подозревающих потребителях. Одним из самых “грязных” приемов является использование среднего значения (в статистике это называется “среднее арифметическое”) для сведения воедино группы цифр, которые и рядом-то не должны стоять друг с другом.

Не имея представления о том, на основании каких данных было получено среднее время отклика 1,2 с, процитированное в нашей спецификации, невозможно извлечь из этой цифры какой-либо смысл. Если объемы передаваемых при тестировании данных были очень маленькими по сравнению с объемами данных в реальном мире, то приведенное среднее время отклика совершенно бесполезно.

Проиллюстрируем такого рода “жульничество” на примере. Пусть поставщик “X” заявляет, что “в независимых тестах при различных типах сеансов межсетевой экран в среднем выполнял сигнатурную проверку 31 тыс. пакетов в секунду”. Что ж, просто фантастика, ведь продукты других поставщиков достигают обычно уровня от 5 тыс. до 10 тыс. пакетов в секунду. А теперь взглянем на те данные, из которых это среднее было получено (табл. 2). Последняя строка в этой таблице дает разгадку “фокуса”. Ни в одном из действительно важных сеансов связи производительность даже и близко не приближается к заявленной цифре в 31 тыс. Значит, в этом случае среднее значение очень плохо характеризует возможности устройства при работе в реальной сети.

Лучше и честнее выбрать значение из средней строки в табл. 2, т. е. 5600 пакетов в секунду. Такое значение относительно мало поддается влиянию выбросов, значит, оно является наилучшим выбором для “неуправляемых” данных. Если бы поставщик “X” взял указанное нами значение вместо среднего, мы бы получили куда более точное представление о реальных возможностях продукта.

6. Соединения и транзакции “Поддерживает 1 млн соединений в секунду”

Поддерживаемое число соединений практически всегда подчеркивается в описании любого сетевого продукта, действующего на уровне 4 и выше (модели OSI). Эта характеристика следует из тестов, в ходе которых проверяется способность устройства справляться с входящими соединениями, но она не может служить настоящим показателем того, как проявит себя продукт в реальной ситуации. Все дело в том, что TCP-соединение означает только само соединение, а не трафик, который по нему может проходить. Наш продукт IT Pro, например, способен справиться с 1 млн соединений. Однако открыть соединение — это одно, а вот обработать проходящий по нему трафик приложений — это совсем другое.

Число соединений редко соответствует числу транзакций, даже когда транзакции состоят из малюсеньких блоков данных. Число соединений, которое может открыть продукт, никоим образом не может служить показателем того, насколько хорошо он будет справляться со своими функциями. Эта характеристика достойна внимания только в том случае, если в спецификации ясно указано, что в ходе тестов (когда она измерялась) по соединениям реально проходили данные, и при этом приведены размеры блоков данных.

7. Процентные соотношения “Производительность на 150% лучше”

Предположим, фирма заявляет, что производительность у продукта “A” на 50% выше, чем у продукта “B”. А у продукта “C” производительность равна 150% от производительности того же продукта “B”. Так какой продукт выбрать?

Вроде напрашивается — “C”, ведь цифра у него больше? В действительности и продукт “A”, и продукт “C” показали одинаковую производительность. Если принять, что “B” выполняет 100 транзакций в секунду, то получаем следующее:

• у продукта “А” производительность на 50% больше — значит, 150 транзакций в секунду,

• у продукта “С” производительность равна 150% от производительности “B” — значит, те же 150 транзакций в секунду.

Нет никакой разницы между производительностью “A” и “C”, различие только в представлении вам результатов. Не позволяйте заморочить себе голову более высокими цифрами в маркетинговых материалах, а подсчеты делайте всегда сами.

Остерегайтесь также утверждений типа “перенесли 60% своих приложений на эту замечательную новую платформу”. Без информации об общем числе приложений в организации такие цифры, как 60%, не очень информативны. Фирма, которая перенесла 6 из своих 10 приложений, очень отличается от корпорации, портировавшей на новую платформу 600 из 1000 приложений.

Более того, упоминание клиентов из списка Fortune 500 сразу же за утверждением о переносе “60% приложений” преследует цель навести читателя на мысль, что именно компании Fortune 500 перенесли свои приложения. На самом деле эти два предложения никак не связаны между собой..





  
1 '2004
СОДЕРЖАНИЕ

электронная Россия

• Инфокоммуникации земли сибирской

бизнес

• Закон "О связи" принят. Что дальше?

• Open Source на рабочем столе

инфраструктура

• Развитие БЛВС

• Тестируем инфраструктурное оборудование для БЛВС

информационные системы

• Второй фронт

• Так ли прост SNMPv3

• Как не попасться на уловки фирм-производителей

сети связи

• Азы телефонии для менеджеров ИТ

• IP-телефония: в поисках приложений

• SBC на границе

кабельные системы

• Средства управления коммутационными шнурами

• Оговаривайте тестирование шнуров

защита данных

• Тестируем системы предотвращения вторжений уровня сети

новые продукты

• 64-битовый сервер Depo Iron 6000R1S


• Калейдоскоп



 Copyright © 1997-2007 ООО "Сети и Системы Связи". Тел. (495) 234-53-21. Факс (495) 974-7110. вверх