Журнал небольших экспериментов для учебного проекта
Запишите вопрос, условия и результат так, чтобы повторить пробу после перерыва и сравнить выводы.
Вы проверяете, легче ли новичкам найти задание в заметке с коротким оглавлением. После первой пробы осталось сообщение «новая версия лучше». Через неделю хочется повторить проверку, но уже непонятно, какие файлы показывали, в каком порядке и что считали успехом. Короткий журнал экспериментов сохраняет достаточно деталей для повторения. Он полезен даже тогда, когда проверка не претендует на полноценное исследование.
Сузьте вопрос до наблюдаемого
Напишите, что хотите выяснить. «Улучшить заметки» нельзя проверить одним опытом. «Сможет ли читатель найти первое задание, не спрашивая автора?» даёт понятный результат. До начала определите, где начинается и где заканчивается наблюдение. Например, читатель получает ссылку на стартовую страницу, открывает её и ищет нужный раздел. Успех — он открыл правильное задание и смог показать, откуда пришёл.
Выберите одну изменяемую часть. В примере это оглавление. Если вы одновременно перепишете название задания, смените порядок страниц и добавите оглавление, улучшение трудно будет связать с определённым действием. Для практического решения иногда достаточно сравнить две версии целиком. В журнале тогда честно укажите, что сравниваются наборы изменений. Не делайте из результата вывода о пользе каждого элемента отдельно.
Запишите условия до первого запуска
Сохраните две копии документа с отличимыми именами. Укажите, какая версия была показана участнику. Запишите, на каком устройстве открывали страницу и были ли уже знакомы с её структурой. Если сравниваете одинаковых людей на двух версиях, первое знакомство может облегчить вторую попытку. Для небольшой пробы можно показать разным участникам разные версии и описать это прямо. Важно понимать ограничение, а не выбирать схему по её сложности.
Вопрос: находит ли новый читатель первое задание самостоятельно?
Версии: guide-a без оглавления, guide-b с коротким оглавлением
Начало: открыта стартовая страница на телефоне
Результат: открыт нужный файл без подсказки автора
Наблюдения: переходы, вопросы, остановки
Граница: небольшая группа, сравнение для решения о структуреОписывайте участников по роли, если имя не нужно. Для такой задачи достаточно указать, новый это читатель или знакомый с материалом. Не записывайте личные сведения ради полноты. Если сохраняете изображения или экранные записи, используйте согласованный порядок и храните только то, что нужно для решения. Для небольшой пробы часто хватает списка действий и коротких замечаний.
Отделите результат от объяснения
Во время пробы запишите наблюдение. Например, «открыл второй раздел, вернулся на главную, спросил где файл». Объяснение «не понял название раздела» может оказаться верным, но это вывод. Отметьте его отдельно. Можно спросить участника, что он искал и почему выбрал переход. Сохраните ответ как комментарий участника, а собственную трактовку как рабочую гипотезу.
После завершения перечислите случаи, где цель достигнута, и случаи, где нужна подсказка. Для небольшого числа участников достаточно описания каждого случая. Не приписывайте наблюдению точность, которой у него нет. Если одному человеку помогло оглавление, а другому знакомство с темой, зафиксируйте это. Тогда следующая проба сможет проверить нужное объяснение.
Сделайте решение и дальнейшую проверку видимыми
Если вариант с оглавлением помог найти первый шаг и не затруднил чтение, можно оставить его для следующей встречи. Запишите, что именно изменится в рабочем документе. Если результаты расходятся, сформулируйте один вопрос для повторения. Например, сравнить две подписи одного пункта оглавления, не меняя остальные разделы. Не запускайте большой новый опыт только потому, что первый дал неоднозначный ответ.
Оставьте ссылки на проверенные копии рядом с результатом. Когда файлы обновятся, журнал должен по-прежнему указывать на нужную редакцию. Для временной пробы сохраните снимок без закрытых данных или отметьте, что прежняя версия не сохранилась. В последнем случае не обещайте точного повторения. Зато можно повторить описанный порядок на новом комплекте и явно назвать различие.
Проверьте запись через неделю
Откройте журнал, не опираясь на воспоминания, и попробуйте подготовить повтор. У вас должны быть исходный вопрос, версии, условия, признак успеха и пример наблюдения. Если неясно, откуда взялся вывод, найдите место, где наблюдение смешано с трактовкой, и разведите их. Такой пересмотр быстрее показывает пробелы, чем формальная проверка заполненных полей.
В следующей записи укажите, что изменилось по сравнению с первой. Тогда повтор можно использовать для решения, а не просто добавить второй отчёт. Журнал готов, когда другой человек понимает, что реально проверено и какой шаг даст дополнительную информацию.
Заранее решите, что делать с остановкой
Одна из проб может прерваться из-за входящего звонка или недоступности страницы. Отметьте это отдельно от результата поиска. Сбой не следует записывать как успешное выполнение. Его также нельзя автоматически считать недостатком оглавления. Если устройство снова доступно, начните отдельную попытку и отметьте, что участник уже видел предыдущую версию. Когда остановки повторяются, полезно разделить проверку доступности страницы и проверку её структуры. Сначала убедитесь, что обе версии открываются в одинаковых условиях. Затем сравните поиск задания. Такое разделение не усложняет форму журнала. Оно позволяет объяснить, почему одна попытка даёт сведения об интерфейсе, а другая только о доступе к нему. Для решения сохраните обе записи и укажите, какую именно часть результата использовали.