Тесты производительности

Методы оценки производительности

Стоит помнить, что стандартные тесты не могут идеально отразить скорость работы компьютера на каком-либо ПО, не входящем в них, да и результат каждого подтеста имеет заданный разработчиками теста коэффициент значимости, поэтому итоговые баллы стоит рассматривать прежде всего как ориентир, а при выборе теста опираться прежде всего на то, чтобы он отражал типичные бизнес-процессы в организации.

BAPCO

Серия тестов, выпущенных некоммерческой ассоциацией BAPCO (Business Applications Performance Corporation), куда входят как производители комплектующих – например, Intel и AMD, так и производители ПО (Microsoft, Apple), пресса (CNet, ZDNet), поставщики ПК (Dell, Lenovo, Hewlett-Packard) и многие другие компании, имеющие отношение к производству и использованию компьютеров.

В серию тестов BAPCO входят следующие продукты:

SYSmark, тестирующий настольные ПК для разных применений,

MobileMark, тестирующий мобильные ПК с учетом специфичных требований (работа от батареи, энергосбережение и т.п.),

WebMark, тестирующий типичные бизнес-задачи, использующие Internet: просмотр сайтов, в том числе с богатым медиа-контентом, работу с финансовыми транзакциями через Web и т.п.

Увы, в данном тесте для систем нижнего и среднего уровня результаты не соответствуют реальной производительности компьютера, и данный тест рекомендуется использовать только для оценки оборудования для продвинутых пользователей.

PCMark

Тест PCMark исходно предназначен для оценки домашними пользователями производительности их компьютеров. С целью упростить тест и сделать его доступным рядовым пользователям авторы пошли на некоторые компромиссы - во многих случаях вместо полных приложений используются только их части, что делает тест полусинтетическим. Однако, пока в наборе тестов BAPCO не будут исправлены обнаруженные ошибки, PCMark – вполне разумная альтернатива.

TPC

Некоммерческое объединение TPC также имеет среди членов почти все крупные компании, занятые разработкой оборудования и ПО. Его тесты ориентированы прежде всего на работу с базами данных и обработку транзакций, поэтому именно их разумно применять при выборе серверного оборудования.

Основные четыре теста имеют следующее назначение:

TPC-App оценивает производительность серверов приложений и Web-сервисов, в том числе работающих с базами данных большого размера.

TPC-C моделирует вычислительную среду, где множество пользователей осуществляют транзакции через одну базу данных (например, учет поступления заказов в работе оптового поставщика).

TPC-E показывает производительность систем онлайновой обработки транзакций (OLTP), например, в брокерской фирме.

TPC-H тестирует системы принятия решений и отражает эффективность обработки сложных запросов на больших базах данных. Данный тест оценивает сбалансированность всего сервера, в том числе и подсистемы ввода-вывода.

SPEC

Организация Standard Performance Evaluation Corporation (SPEC), куда входит более 60 компаний, систематизирует тестирование конкретных областей применения компьютеров и их компонентов. Три основных группы, из которых она состоит, заняты работой над тестами настольных и серверных систем, суперкомпьютеров, а также графических подсистем.

Особенностью подхода этой организации является построение тестов с открытым исходным кодом, специально написанных, чтобы симулировать типичную, по мнению авторов, нагрузку на компьютер. Наличие исходного кода позволяет гибко настраивать тесты, но, поскольку они отличаются от реальных бизнес-приложений, потенциально может внести некоторые погрешности в результаты. Еще один потенциальный источник проблем – многочисленные варианты компиляции исходного кода (оптимизация, используемый компилятор и т.п.), иногда приводящие к результатам, которые трудно интерпретировать однозначно.

Поэтому, пожалуй, наиболее подходящими для задач закупки компьютерного оборудования данные тесты не являются, хотя и весьма полезны при глубоком изучении разных аспектов производительности отдельных компонентов и систем в целом.