Как проводить эвристическую оценку

| Категория реферата: Рефераты по информатике, программированию
| Теги реферата: где диплом, биология 6 класс сонин
| Добавил(а) на сайт: Томсин.

где ProblemsFound(i) обозначает количество различных проблем, найденных при объединении результатов работы i независимых экспертов. N обозначает общее количество проблем в интерфейсе, а l обозначает среднее количество проблем, которые находит один эксперт. В шести проектах значение l колебалось от 19 до 51 процента, а усредненное значение составляло 34 процента. Значения переменной N варьировались от 16 до 50 процентов, а усредненное значение равнялось 33. Используя эти значения в формуле, вы получите кривую, которая очень сильно приближена к той, что представлена на Рис.2, хотя точная форма кривой будет зависеть от ваших конкретных средних значений N и l, которые в вашем конкретном проекте могут отличаться от наших значений.

Для того, чтобы определить оптимальное число экспертов, необходимо соотнести стоимость эвристической оценки с её отдачей. Первый элемент при вычислении - это стоимость проведения теста, включающая фиксированные и переменные расходы. Фиксированные расходы это те, которые придется заплатить вне зависимости от того, сколько экспертов будет привлечено к тестированию: стоимость составления плана тестирования, стоимость подготовки материалов, написания отчета. Переменные расходы - это те дополнительные расходы, которые набегают всякий раз, когда к тесту привлекается очередной дополнительный эксперт. Сюда входит оплата работы эксперта, стоимость оценки его отчета, стоимость оборудования или других ресурсов. Основываясь на опыте нескольких проектов мы считаем, что постоянные расходы на эвристическую оценку составляют где-то 3.700 - 4.800 долларов, а переменные расходы - 410 - 900 долларов на каждого эксперта.

Разумеется, конкретные суммы расходов зависят от проекта, от вашей компании и от сложности оцениваемого интерфейса. В качестве отправной точки считайте, что фиксированная стоимость эвристической оценки равна 4.000 долларам, а переменная стоимость - 600 долларам на каждого эксперта. В таком случае общая стоимость тестирования при помощи i экспертов рассчитывается по формуле $(4,000 + 600i).

Выгодами от эвристической оценки являются найденные проблемы с юзабилити, хотя в некоторых случаях выгодой можно назвать побочный обучающий эффект, когда эксперты повышают уровень своих знаний, сравнивая свои отчеты с отчетами других экспертов на общем собрании. В нашем проекте стоимость каждой необнаруженной ошибки составляла 15.000 долларов. Разумеется, в вашем конкретном проекте стоимость будет другая. Например для программ, которые используются внутри вашей компании, оценивать стоимость каждой ошибки, найденной во время тестирования, можно по ожидаемому росту производительности труда пользователей; для продуктов, которые будут продаваться на рынке, оценку можно основывать на предполагаемом росте продаж благодаря более высокому уровню удовлетворения покупателей или более высоким оценкам сторонних экспертов. Обратите внимание, что в плюс вы записываете себе только те проблемы, которые были обнаружены до отправки продукта на прилавок. Так как все обнаруженные проблемы исправить невозможно, стоимость обнаруженной, но неисправленной проблемы, ниже стоимости обнаруженной и исправленной.

Рис. 3

Кривая показывает во сколько раз отдача от эвристической оценки выше расходов на ее проведение. Данные взяты из проекта, о котором идет речь в тексте. Оптимальное количество участников теста - 4 человека. При этом отдача от них в 62 раза выше расходов.

На рис.3 представлены различные соотношения отдачи от теста к его стоимости при различном количестве участников теста. Кривая показывает, что Оптимальное количество участников теста - 4 человека. Это подтверждает общие наблюдения, что эвристическая оценка лучше всего работает, когда в ней принимает участие от трех до пяти экспертов. В нашем примере, если эвристическая оценка обошлась бы в 6.400 долларов, а общая стоимость найденных проблем с юзабилити составила бы 395.000 долларов.