Запуск тестов

Запуск тестового сценария

Управление запуском одного тестового сценария осуществляется из вкладки «Главная» (см. Настройка тестового сценария).

Элементы управления запуском расположены на специальной панели, которая находится над областью для ввода скрипта и содержит кнопки , позволяющие осуществлять обычный запуск и запуск скрипта в режиме отладки.

Окно «Настройки запуска сценария»

После инициализации запуска с помощью элементов управления, появляется модальное окно «Настройки запуска сценария», содержащее настройки запуска, которые можно разделить условно на две группы:

• настройки запуска по умолчанию, которые были определены в настройках проекта ( см. Редактирование проекта);
• новые обязательные и не обязательные настройки.

Поле «Версии фреймворка» не относится ни к одной из групп, так как оно информационное и не доступно для редактирования. Для изменения версии фреймворка требуется перейти к настройкам проекта ( см. Редактирование проекта).

Все изменения, внесенные в окне «Настройки запуска сценария», действуют только в рамках текущего запуска и не распространяются на последующие запуски сценариев.

Новые настройки запуска

Способ запуска

«Способ запуска» - обязательная настройка, позволяющая выбрать один из пунктов:

• Локальный
• Удаленные машины

Локальный запуск выполняется в окружении, заданном в «Пользовательских настройках проекта».

При способе запуска «Удаленные машины» окружение задается в разделе настроек проекта Удаленные машины для выполнения.

Запуск в режиме отладки возможен только при локальном способе запуска.

Конфигурация

Выбор конфигурации проекта, переменные которой будут использованы при выполнении сценария. Определение переменных осуществляется в разделах Управление конфигурациями и вкладка сценария «Параметры и переменные».

Интеграция с TestOps

Чек-бокс для активации функции передачи результатов запуска в Allure TestOps.

При выборе чек-бокса появляется поле «TestOps launch ID», в котором указывается ID запуска в TestOps. ПОсле завершения запуска на платформе, результаты будут добавлены к запуску в TestOps. Для создания нового «launch» в TestOps, поле следует оставить пустым.

ID проекта TestOps должен быть указан в настройках проекта платформы в разделе «Интеграция с Allure TestOps».

Настройки запуска по умолчанию

Настройки запуска по умолчанию представлены в виде разворачивающихся блоков, которые соответствуют аналогичным блокам раздела «Настройки запуска фреймворков» в настройках проекта.

Изменения, внесенные в данные блоки в окне «Настройки запуска сценария», распространяются только на текущий запуск и никак не повлияют на оригинальные настройки проекта.

Запуск сценария

После внесения изменений в настройки запуска сценария, если требовалось, необходимо нажать кнопку «Запустить сценарий». В случае отказа от запуска требуется нажать кнопку «Закрыть».

В случае успешного запуска одного сценария, под окном редактора появляется окно журнала событий с информацией о запуске.

Запуск в режиме отладки

Пошаговый режим выполнения программы предоставляет пользователям возможность контролировать процесс выполнения команд сценария.

В пошаговом режиме выполнение команд запуск не завершается после исполнения последней команды сценария. Это позволяет добавлять новые команды и сразу же их выполнять. Таким образом прохождение сценария осуществляется сразу при его создании.

Время ожидания команд после приостановки выполнения сценария ограничено таймаутом 300 секунд. После чего запуск сценария полностью завершается.

Запуск в режиме отладки возможет только для способа запуска «Локальный».

Точки остановки

Точка остановки - это специальная метка в виде красного круга - , справа от номера строки редактора. Сценарий запущенный в режиме отладки приостанавливает свое выполнение на командах, отмеченных точкой остановки.

Пользователь может установить точки остановки на любых строках сценария, кликнув на пустую область справа от номера строки. При этом в данной области появится символ.

Для удаления точки остановки нужно нажимать в область появившейся метки до тех пор, пока она не станет пустой.

Операторы перехода

Оператор перехода - это специальная метка в виде синей стрелки - , справа от номера строки редактора. Сценарий, запущенный в режиме отладки, выполняется начиная с команды, отмеченной оператором перехода. Точки остановки, отмеченные в строках до оператора перехода, игнорируются.

Пользователь может установить только один оператор перехода в сценарии. При установке оператора перехода в другой строке, предыдущая метка оператора удаляется.

Для удаления оператора перехода, нужно нажать в область метки.

Метка ошибки

При запуске в режиме отладки выполнение сценария при возникновении ошибки не завершается, а приостанавливается. Справа от номера строки появляется метка ошибки в виде желтой молнии - . Пользователь может изменить команду, содержащую ошибку, и попытаться выполнить её еще раз.

Элементы управления

После приостановки выполнения сценария, управление осуществляется с помощью кнопок:

- остановить тест;

- выполнить текущий шаг и остановиться на следующем, не зависимо от того отмечен он точкой остановки или нет;

- продолжить выполнение сценария до следующей точки остановки, либо до конца.

Запуск группы тестовых сценариев

Запуск группы тестовых сценариев запускается из дерева сценариев ( см. Просмотр тестовых сценариев).

В дереве сценариев напротив каждой папки и сценария находится чек-бокс, выбор которого приводит к «пометке» отдельного, либо всех сценариев в отмеченной папке.

Пользователь устанавливает и снимает чекбоксы, чтобы отметить тестовые сценарии для совместного запуска. Таким образом, он достигает нужного состояния для их выполнения.

Нажатие кнопки «Групповые операции», которая находится над деревом сценариев, показывает в выпадающем меню список доступных групповых операций. Из этого списка требуется выбрать пункт «Запустить». После этого пользователь производит настройку параметров для запуска (см. Настройки запуска сценария), по завершению которой тесты могут быть запущены нажатием кнопки «Запустить сценарии».

При запуске группы тестовых сценариев окно с журналом событий не появляется. Данная информация доступна при просмотре запуска каждого тестового сценария по отдельности (см. Просмотр запуска тестового сценария).

Просмотр списка запусков тестовых сценариев

Переход к странице для просмотра запусков осуществляется по нажатию иконки , которая находится в левом меню на странице с тестовыми сценариями проекта (см. Просмотр тестовых сценариев).

На странице представлена общая информация о запусках в виде таблицы, каждая строчка которой относится к одному запуску.

Поля таблицы с их описанием приведено в следующей таблице.

Поле	Описание
ID	Уникальный номер запуска
Время запуска	Время, когда запуск начал выполняться
Количество тестов	Если больше 1, то речь идет про групповой запуск
Статус	Запуск может иметь один из трех статусов: В очереди Выполняется Выполнен Значение статусов в случае запуска одного теста очевидно. Для случая группового запуска тестов состояние «В очереди» означает, что ни один из тестовых сценариев еще не начал выполняться. «Выполняется» означает, что хотя бы один из тестовых сценариев еще выполняется. «Выполнен» означает, что все тестовые сценарии выполнены.
Результаты	Поле содержит графическое представление результатов выполнения тестов: В общем случае (при групповом запуске) графическое представление может содержать три секции с числами внутри. Размеры областей определяются отношением числа в каждой области к сумме чисел во всех областях. Число в желтой области (11) показывает какое количество тестов находится в очереди или выполняется в данный момент. Число в зеленой области (13) показывает какое количество тестов было успешно завершено. Число в красной области (83) показывает какое количество тестов было завершено с ошибкой.
Действия	В поле отображаются кнопки действий: «Остановить» - кнопка активна для запуска в статусе «В очереди» или «Выполняется». Нажатие на кнопку приведет к остановке соответствующего запуска. Если при попытке остановки произойдет ошибка, то соответствующее сообщение будет показано.

Просмотр истории запусков тестового сценария

Просмотр истории запусков для одного тестового сценария доступен со страницы просмотра этого сценария, на вкладке «История запусков».

Просмотр запуска тестового сценария

Выбор конкретного запуска для детального просмотра осуществляется на странице с информацией о запусках тестовых сценариев ( см. Просмотр списка запусков тестовых сценариев), либо на вкладке «История запусков» ( см. Просмотр истории запусков тестового сценария).

В левой части страницы отображается дерева сценариев практически идентичное дереву на странице с тестовыми сценариями проекта, с той лишь разницей, что на текущей странице в дереве будут присутствовать только те сценарии, которые были в данном запуске. Рядом с каждым сценарием будет показан его статус.

Также для запуска указывается:

• Тип (локальный или удаленный (remote))
• Статус (см. Описание состояний результатов)
• Количество задач в запуске

Выполнение одного сценария называется задачей. Один запуск может содержать одну или несколько задач.

Выбор в дереве запущенных сценариев конкретного, приводит к показу в правой части окна информации о нем.

Информация о запуске конкретного сценария содержит следующие данные:

• Название сценария
• Ссылку на тестовый сценарий. Переход осуществляется при «клике» на иконку-якорь
• Статус задачи (см. Описание состояний результатов)
• Результат (см. Описание состояний результатов)
• Время запуска
• Фреймворк
• Кто инициировал запуск
• Ссылка на Allure TestOps сервис (опционально)
• Ссылка на Neuromoon (опционально)
• Журнал событий

Журнал событий

Журнал событий, представляющий собой текст с пронумерованными строками, в котором отображается информация о выполнении сценария.

Строки журнала могут быть отфильтрованы путем выбора нужных типов в поле «Тип логов».

Журнал событий может быть развернут на весь экран с помощью соответствующей кнопки в правом верхнем углу окна с пронумерованными строками.

Описание состояний результатов

Статус

Применяется к запускам и задачам запуска, и указывает на статус выполнения. Возможные статусы:

• В очереди
• Выполняется
• Выполнен

Результат

Применяется к задачам сценария и указывает на сколько успешно были пройдены шаги теста. Возможные результаты:

• passed – тест пройден;
• failed – тест не пройден из-за ошибок при прохождении сценария;
• broken – тест не пройден. При выполнении теста произошли ошибки не предусмотренные тестом: ошибки фреймворка, платформы, Task Executor или сценарий завершился по таймауту;
• undefined – результат неопределен. Выставляется до получения результатов прохождения теста;
• skipped – выполнение теста было отменено.