Методика тестирования: 

Содержание:

Методика тестирования КПК/коммуникаторов на базе Windows Mobile

15.09.2005 10:00 
0

За последние лет пять-шесть карманные компьютеры выросли из "продвинутых органайзеров" и "записных книжек" до устройств, возможности которых запросто можно сравнить с настольными системамима. Разумеется, сравнивать эти машинки только лишь по показателям времени автономной работы и цены уже бессмысленно. Нынче сравнение идет по всем параметрам: от комплекта поставки и внешнего вида до производительности в различных задачах и времени автономной работы. Рассказывать о том, как происходит выбор лучших – дело долгое и (в рамках данной статьи) совершенно не нужное.

Методика тестирования КПК/коммуникаторов на базе Windows Mobile

Сейчас мы расскажем, как происходит тестирование и сравнение карманных компьютеров и коммуникаторов у обозревателей нашего сайта.

Spb Benchmark

Этот тестовый пакет о петербургской компании Spb Software House, безо всякого преувеличения, можно назвать самым популярным бенчмарком для устройств на базе Windows Mobile. Главным достоинством этого теста, как мы многократно отмечали в обзорах, является то, что результаты каждого теста отображаются в реальных результатах. Т.е., например, скорость записи файла выражена в КБ/сек, а не в "попугаях" и не "рублях".

Для удобства восприятия результаты тестов мы сводим в таблицу и представляем в тексте обзора в полном виде, дабы читатель мог наблюдать полную картину.

Spb Benchmark

HP iPAQ hx4700 (624 МГц)

ASUS Mypal A730 (520 МГц)

Fujitsu Siemens Pocket LOOX 720 (520 МГц)

Spb Benchmark Index

1624

1008

1163

CPU Index

2377

1975

2161

File System Index

1469

1159

1253

Graphics Index

893

354

347

Platform Index

1298

1074

1214

Write 1 MB file (KB/sec)

1859

1507

1577

Read 1 MB file  (MB/sec)

33

26.2

29.4

Copy 1 MB file (KB/sec)

1826

1474

1575

Write 10 KB x 100 files (KB/sec) 

1200

903

1019

Read 10 KB x 100 files (MB/sec)

11.7

8.8

10.2

Copy 10 KB x 100 files (KB/sec) 

987

700

85.7

Directory list of 2000 files (thousands of files/sec)

26.2

21.5

21.5

Internal database read (records/sec)

1979

1621

1737

Graphics test: DDB BitBlt (frames/sec)

9091

105

6.46

Graphics test: DIB BitBlt (frames/sec)

6.45

5.38

5.41

Graphics test: GAPI BitBlt (frames/sec)

123

38.9

120

Pocket Word document open (KB/sec)

39.2

69.9

103

Pocket IE HTML load (KB/sec)

8.51

7.47

7.69

Pocket IE JPEG load (KB/sec)

0.059

205

242

File Explorer large folder list (files/sec)

652

563

584

Compress 1 MB file using ZIP (KB/sec)

317

253

289

Decompress 1024x768 JPEG file (KB/sec)

916

755

775

Arkaball frames per second (frames/sec)

97.7

35.3

89.5

CPU test: Whetstones MFLOPS (Mop/sec)

0.116

0.099

0.099

CPU test: Whetstones MOPS (Mop/sec)

86.6

71.8

72.1

CPU test: Whetstones MWIPS (Mop/sec)

7.81

6.47

6.51

Memory test: copy 1 MB using memcpy (Mop/sec)

111

95.1

109

Хотя, справедливости ради стоит заметить, что Spb Benchmark некорректно рассчитывает индекс графической подсистемы на устройствах с VGA-дисплеем и некорректно проводит тесты памяти под ОС Windows Mobile 5.0. Однако, это лишь вопрос времени – последующих версиях наверняка все промахи будут учтены.

BetaPlayer 0.096

Однако, к сожалению, Spb Benchmark не дает никакого представления о производительности КПК при воспроизведении видео. Для этого мы используем один из самых популярных проигрывателей видео – BetaPlayer версии 0.096. В этой версии есть поддержка графических ускорителей. Таких как, например, Intel 2700G (установленный в наладонниках Dell X50v и X51v) и ATI Imageon 3220. А это значит, что никаких условностей быть не может. Чем результат больше, тем КПК производительней при проигрывании видео.

Для тестирования применяются видеоролики, скачанные с официального сайта BetaPlayer:

  • RL_XQ – 640 x 480;
  • RL_HQ – 640 x 352;
  • RL_MQB – 320 x 240;
  • RL_LQB – 320 x 176;
  • RL_SQB – 216 x 116. 

Считается, что нормальная скорость воспроизведения – 100%. Но мы берем небольшой запас, считая за норму показатель 120%. Таким образом, если все ролики воспроизводятся со средней скоростью более чем 120%, то КПК можно рекомендовать для просмотра видео. Ну а при сравнении показателей разных моделей карманных компьютеров делаются выводы о производительности.

Методика тестирования КПК/коммуникаторов на базе Windows Mobile

Результаты всегда попадают в обзор в виде диаграммы. Так, на наш взгляд, читателю проще воспринимать разницу в производительности разных моделей в различных роликах.

Время автономной работы 

Здесь возможны варианты. Интереса ради, мы проводили сравнение результатов полученных при тестировании Spb Benchmark и результатами, которые получались при обычной загрузке КПК аналогичными задачами. Разница составляла от 10 до 30 секунд. Но это несущественно и столь малые разбежки можно списать на погрешность тестирования. Значит, что тестам времени автономной работы в Spb Benchmark можно доверять. 

Здесь есть три основных пункта, а вернее режима работы. Сначала наладонник воспроизводит МР3-композицию с битрейтом 128 kbps через наушники и с выключенным экраном. Затем режим чтения текста на средней яркости подсветки. И, наконец, режим максимальной нагрузки: когда включены все имеющиеся беспроводные модули, яркость подсветки максимальна и воспроизводится видеоролик RL_XQ со звуком на максимуме через встроенный динамик.

Методика тестирования КПК/коммуникаторов на базе Windows Mobile

Результаты, как и в случае с тестированием проигрывателем BetaPlayer, сводятся в таблицу для простоты восприятия. 

В случае с коммуникаторами проводится еще и тест в режиме разговора и ожидания – здесь все определяется на глаз, т.к. ювелирной точности не требуется. А также засекается время работы при обычном использовании (разговоры, сообщения, Bluetooth-синхронизация, чтение и т.д). Таким образом нам удается получить детальную картину о том, сколько времени устройство может проработать без подзарядки в различных режимах.

Вместо заключения 

В дальнейшем, разумеется, КПК продолжат эволюционировать. Уже сейчас мы видим, как все больше и больше производителей добавляют в свои разработки интегрированные GPS-модули, какие работы ведутся в области ускорителей трехмерной графики, и насколько быстро происходит нарастание возможностей карманных компьютеров. А это значит, что мы при всем желании не сможем топтаться на одном месте, и должны будем постоянно думать над новыми аспектами тестирования, которые позволят наиболее объективно оценивать КПК/коммуникаторы по всем параметрам и давать рядовому читателю ответ на вопрос "Что же все-таки выбрать?"

Меню раздела

Рекомендуем

Карта сайта1 . Карта сайта2 . Карта сайта3 . Карта сайта4 . Карта сайта5 . Карта сайта6 . Карта сайта7 . Карта сайта8 . Карта сайта9 . Карта сайта10 . Карта сайта11 . Карта сайта12 . Карта сайта13 . Карта сайта14 . Карта сайта15 . Карта сайта16 . Карта сайта17 . Карта сайта18 . Карта сайта19 . Карта сайта20 . Карта сайта21 . Карта сайта22 . Карта сайта23 . Карта сайта24 . Карта сайта25 . Карта сайта26 . Карта сайта27 . Карта сайта28 . Карта сайта29 . Карта сайта30 . Карта сайта31 . Карта сайта32 . Карта сайта33 . Карта сайта34 . Карта сайта35 . Карта сайта36 . Карта сайта37 . Карта сайта38 . Карта сайта39 . Карта сайта40 . Карта сайта41 . Карта сайта42 . Карта сайта43 . Карта сайта44 . Карта сайта45 . Карта сайта46 . Карта сайта47 . Карта сайта48 . Карта сайта49 . Карта сайта50 . Карта сайта51 . Карта сайта52 . Карта сайта53 . Карта сайта54 . Карта сайта55 . Карта сайта56 . Карта сайта57 . Карта сайта58 . Карта сайта59 . Карта сайта60 . Карта сайта61 . Карта сайта62 . Карта сайта63 . Карта сайта64 . Карта сайта65 . Карта сайта66 . Карта сайта67 . Карта сайта68 . Карта сайта69 . Карта сайта70 . Карта сайта71 . Карта сайта72 . Карта сайта73 . Карта сайта74 . Карта сайта75 . Карта сайта76 . Карта сайта77 . Карта сайта78 . Карта сайта79 . Карта сайта80 . Карта сайта81 .