ПроблематикаМетодологияРекомендацииПродуктыВыбор решенияСоветы специалистовВзаимодействие

Методы оценки производительности

Описанная выше методика использования открытых спецификаций достаточно проста и прозрачна, надо только разобраться с подробностями используемых в ней тестов. При этом стоит помнить, что стандартные тесты не могут идеально отразить скорость работы компьютера на каком-либо ПО, не входящем в них, да и результат каждого подтеста имеет заданный разработчиками теста коэффициент значимости, поэтому итоговые баллы стоит рассматривать прежде всего как ориентир, а при выборе теста опираться прежде всего на то, чтобы он отражал типичные бизнес-процессы в организации.

BAPCO

Наиболее подходящей для большинства задач является серия тестов, выпущенных некоммерческой ассоциацией BAPCO (Business Applications Performance Corporation), куда входят как производители комплектующих – например, Intel и AMD, так и производители ПО (Microsoft, Apple), пресса (CNet, ZDNet), поставщики ПК (Dell, Lenovo, Hewlett-Packard) и многие другие компании, имеющие отношение к производству и использованию компьютеров.

В основу тестов BAPCO положена следующая идея: тех, кто пользуется компьютерами, интересует не абстрактная производительность отдельных компонентов (процессора, памяти или чего-то еще), а способность компьютера достаточно быстро выполнить задачу пользователя.

Именно поэтому в основу тестов положены реальные бизнес-приложения. Для тестирования используются специальные сценарии, запускающие ряд типичных для ежедневной работы задач в заранее заданном порядке. Используется режим многозадачности, чтобы наиболее точно воспроизвести реальную нагрузку на офисный ПК или ноутбук. При этом итоговая цифра производительности учитывает все компоненты компьютера, имеющие отношение к выполнению конкретной задачи, автоматически учитывая их относительную важность.

В серию тестов BAPCO входят следующие продукты:

SYSmark 2004 SE (в ближайшее время планируется замена его на SYSmark 2007), тестирующий настольные ПК для разных применений,

MobileMark 2005, тестирующий мобильные ПК с учетом специфичных требований (работа от батареи, энергосбережение и т.п.),

WebMark 2004, тестирующий типичные бизнес-задачи, использующие Internet: просмотр сайтов, в том числе с богатым медиа-контентом, работу с финансовыми транзакциями через Web и т.п.

TPC

Некоммерческое объединение TPC также имеет среди членов почти все крупные компании, занятые оборудованием и ПО. Его тесты ориентированы прежде всего на работу с базами данных и обработку транзакций, поэтому именно их разумно применять при выборе серверного оборудования.

Основные четыре теста имеют следующее назначение:

TPC-App оценивает производительность серверов приложений и Web-сервисов, в том числе работающих с базами данных большого размера.

TPC-C моделирует вычислительную среду, где множество пользователей осуществляют транзакции через одну базу данных (например, учет поступления заказов в работе оптового поставщика).

TPC-E показывает производительность систем онлайновой обработки транзакций (OLTP), например, в брокерской фирме.

TPC-H тестирует системы принятия решений и отражает эффективность обработки сложных запросов на больших базах данных. Данный тест оценивает сбалансированность всего сервера,  в том числе и подсистемы ввода-вывода.

SPEC

Организация Standard Performance Evaluation Corporation (SPEC), куда входит более 60 компаний, систематизирует тестирование конкретных областей применения компьютеров и их компонентов. Три основных группы, из которых она состоит, заняты работой над тестами настольных и серверных систем, суперкомпьютеров, а также графических подсистем.

Особенностью подхода этой организации является построение тестов с открытым исходным кодом, специально написанных, чтобы симулировать типичную, по мнению авторов, нагрузку на компьютер. Наличие исходного кода позволяет гибко настраивать тесты, но, поскольку они отличаются от реальных бизнес-приложений, потенциально может внести некоторые погрешности в результаты. Еще один потенциальный источник проблем – многочисленные варианты компиляции исходного кода (оптимизация, используемый компилятор и т.п.), иногда приводящие к результатам, которые трудно интерпретировать однозначно.

Поэтому, пожалуй, наиболее подходящими для задач закупки компьютерного оборудования данные тесты не являются, хотя и весьма полезны при глубоком изучении разных аспектов производительности отдельных компонентов и систем в целом.

PCMark’05

Тест PCMark’05 исходно предназначен для оценки домашними пользователями производительности их компьютеров. С целью упростить тест и сделать его доступным рядовым пользователям авторы пошли на некоторые компромиссы. Во-первых, вместо типичных приложений бизнеса в него включены их «облегченные» замены (например, вместо используемого большинством компаний редактора документов Word в него входит Wordpad), а во-вторых, во многих случаях вместо полных приложений используются только их части, что делает тест полусинтетическим. Среди подтестов используются нераспространенные на рынке версии специализированных программ, таких как RankDisk, разработанной корпорацией Intel.

В тех случаях, когда использование вышеперечисленных тестов других организаций невозможно, PCMark’05 вполне может выполнить большинство задач тестирования, но, к сожалению, это требует больше усилий для полноценной оценки результатов.

Дело в том, что основная целевая группа пользователей данного теста – индивидуальные домашние клиенты, исследующие производительность своих компьютеров. И потому авторы теста расставили приоритеты отдельных составляющих программ в нем таким образом, чтобы отразить именно производительность в характерных для домашнего использования приложениях.

Например, работа с электронными таблицами, презентации и работа со сложными документами имеют в нем самый низкий приоритет и слабее всего учитываются в результате. Зато компьютерные игры, воспроизведение видео и просмотр изображений – наоборот, максимально важны.

При таком подходе, безусловно, тоже можно получить результат, заслуживающий внимания, но и его недостоверность и количество усилий на его интерпретацию оказываются заметно выше, чем у альтернативных профильных тестов.

И, наконец, данный тест по умолчанию некорректно сконфигурирован для многоядерных процессоров AMD, показывая хаотичные результаты для разных двухядерных моделей настольных процессоров AMD. Поэтому, если все-таки приходится им пользоваться, нужно внимательно изучить и использовать ключ /usepmtimer в файле boot.ini, чтобы повысить достоверность полученных значений.

Другие тесты

Кроме перечисленных выше, для специфичных задач могут понадобиться и другие пакеты тестового ПО:

Серверы баз данных

* SAP Standard Application Benchmarks (http://www.sap.com/solutions/benchmark/index.epx)

Серверы сообщений

* MMB3 (http://www.microsoft.com/technet/prodtechnol/exchange/2003/mmb3.mspx)

* Lotus NotesBench (http://www.notesbench.org/bench.nsf)

Web-серверы

* SPECweb99 (http://www.spec.org/web99/)

* SPECweb99_SSL (http://www.spec.org/web99ssl/)

Клиенты/серверы Java

* jAppServer2004 (http://www.spec.org/jAppServer2004/)

* JBB2000 (http://www.spec.org/jbb2000/)

Файл-серверы

* NetBench (http://www.veritest.com/benchmarks/netbench/default.asp)

Серверы и рабочие станции для научных вычислений

* SPEC CPU2000 (http://www.spec.org/cpu2000/)

* HPC 2002 (http://www.spec.org/hpc2002/)

* OMP 2001 (http://www.spec.org/omp/)

* Fluent (http://www.fluent.com/software/fluent/fl5bench/)

Графические рабочие станции

* SPECviewperf 8.0 (http://www.spec.org/gpc/opc.static/vp8info.html)

* SPECapc for 3ds max 6 (http://www.spec.org/gpc/apc.static/max6info.html)

* SPECapc for Maya 5 (http://www.spec.org/gpc/apc.static/maya5info.html)

* SPECapc for pro/ENGINEER 2001 (http://www.spec.org/gpc/apc.static/proe2001info.html)

* SPECapc for Solid Edge V14 (http://www.spec.org/gpc/apc.static/se14info.html)

* SPECapc for SolidWorks 2003 (http://www.spec.org/gpc/apc.static/sw2003.html)