Работа с тестовыми сценариями

В данном разделе перечислены возможности системы, связанные с управлением и запуском тестовых сценариев, а также просмотром результатов работы тестовых сценариев.

Просмотр тестовых сценариев

Переход к сценариям проекта осуществляется со страницы со списком проектов ( см. Просмотр списка проектов). Находясь на странице со списком проектов, следует выбрать требуемый проект и «кликнуть» на соответствующей этому проекту строке.

По данному действию система откроет страницу, на которой будут представлена информация о тестовых сценариях проекта.

Данная страница делится на несколько частей:

• навигационное меню
• информация о проекта
• список сценариев
• область скрипта
• панель настроек
• область фильтров

Навигационное меню

В левой части находится меню, из которого можно осуществить быстрый доступ к:

• списку сценариев (см. Сценарий «Навигация по дереву сценариев»)
• списку запусков (см. Сценарий «Просмотр списка запусков»)
• настройкам проекта (см. Сценарий «Редактирование проекта»)

Информация о проекте

В верхней части левой половины экрана идет область, в которой находится:

• номер и название проекта
• выбранная версия фреймворка

Список сценариев

В нижней части левой половины экрана располагается список сценариев, принцип работы которого описан в разделе Навигация по списку сценариев.

Навигация по списку сценариев

Список сценариев поддерживает два вида отображения:

• древовидная структура
• плоский вид

Между отображениями можно переключаться с помощью кнопки справа от надписи "Тест-кейсы".

Навигация по древовидной структуре

Дерево сценариев представляет собой иерархическую структуру, состоящую из папок и самих тестовых сценариев.

При первичном показе дерева сценариев пользователь видит содержание корневой папки.

Содержание корневой папки делится на две части: верхняя предназначена для работы с дочерними (вложенными) папками, а нижняя для показа сценариев, содержащихся в корневой папке.

Верхняя часть содержит два элемента:

• поле "Добавить папку" для ввода названия новой папки и добавления ее в дерево в качестве дочерней (см. Добавление папки в дерево сценариев);
• список уже существующих дочерних папок, переход в которые осуществляется по «клику» на соответствующую папку.

Нижняя часть также содержит два элемента:

• поле "Добавить сценарий" для ввода названия нового сценария и добавление его в текущую папку (см. Добавление тестового сценария);
• список уже существующих сценариев, открытие которых осуществляется по «клику» на соответствующий сценарий (см. Настройка тестового сценария).

При переходе в дочерние папки, дерево «раскрывается» и показывает для «раскрытой» дочерней папки ее дочерние элементы (папки и сценарии) таким же самым образом, как это делается для корневой папки.

В случае если требуется «свернуть» дерево сценариев до корневой папки или наоборот «развернуть» дерево на всю глубину используются кнопки «свернуть все» и «развернуть все», которые находятся в верхней части дерева сценариев.

Плоский вид

В плоском виде все сценарии отображаются общим списком без группировки по папкам.

Добавление папки в дерево сценариев

Для добавления новой папки в дерево сценариев на определенном уровне (в определенной родительской папке) нужно открыть в дереве сценариев данную родительскую папку (см. Сценарий «Навигация по дереву сценариев») и ввести название новой папки в поле

.

«Клик» мышки на иконке «галочка» создаст новую папку в требуемом месте. «Клик» мышки на иконке «крестик» отменит создание и очистит поле ввода.

После создания папки она появляется в дереве и с ней можно работать, как со всякой другой папкой.

Внимание! При выходе со страницы с деревом навигации, папки, в которые не добавлен ни один сценарий автоматически удаляются.

Добавление тестового сценария

Для добавления нового сценарий в дереве сценариев выбирается требуемая папка (см. Навигация по древовидной структуре) и в поле вводится название нового сценария.

«Клик» мышки на иконке «галочка» создаст новый сценарий. «Клик» мышки на иконке «крестик» отменит создание и очистит поле ввода.

После создания сценария он появляется в дереве и с ним можно работать как со всяким другим сценарием, т.е.

• настроить его (см. Настройка тестового сценария),
• создать запускаемый скрипт (см. Создание тестового скрипта)
• запустить сценарий (см. Запуск тестового сценария или Запуск группы тестовых сценариев)
• посмотреть результат запуска сценария ( см. Просмотр списка запусков тестовых сценариев или Просмотр запуска тестового сценария)

Перемещение тестового сценария

Сценарии можно перемещать между папками, включая корневую директорию. Для перемещения требуется захватить строку с требуемым сценарием за элемент в виде шести точек, который появляется при наведении, перенести сценарий в нужное место и отпустить.

Фильтрация тестовых сценариев

Инструкция находится в разработке

Сортировка тестовых сцен

Для плоского вида сценарии автоматически сортируются по ID.

При древовидной структуре порядок сценариев задается пользователем вручную. Новые сценарии всегда появляются вверху списка.

Настройка тестового сценария

Выбор сценария для редактирования настроек осуществляется путем навигации по списку сценариев и «клику» мышкой на соответствующей строке (см. Навигация по списку сценариев).

После этого в правой части страницы появляется информация о сценарии:

• время создания сценария
• время последнего изменения сценария
• пользователь, создавший текущий сценарий

Настройки сценария распределены между несколькими вкладками:

• Главная
• Конфигурация
• Параметры и переменные
• История запусков

Вкладка «Главная»

Поле	Описание
Статус	Текущий статус тестового сценария. Выбор статуса осуществляется из выпадающего меню, состоящего из значений, введенных при редактировании проекта (см. Настройки платформы)
Теги	Теги, связанные со сценарием. Пользователь может добавить свои собственные теги, путем добавления их в данное поле. Теги, добавленные в конкретном сценарии, становятся «видимыми» для всех сценариев того же самого проекта после обновления страницы.
Ответственные	В данном поле из выпадающего списка выбираются пользователи, которые являются ответственными за данный сценарий.

Вкладка «Конфигурация»

Вкладка «Конфигурация» состоит из нескольких секций, количество и содержимое которых определено выбранными группами шагов. Для включения или отключения секций настроек сценария, требуется в текущем проекте перейти в Настройки → Общее, и отметить соответствующие чекбоксы напротив доступных групп в разделе Выбор групп шагов (см. Фильтрация групп шагов).

Внимание! При исправлении данных на вкладке «Конфигурация», для того чтобы изменения были сохранены, необходимо нажать кнопку «СОХРАНИТЬ».

Секция «Конфигурационные шаги»

В данной секции доступен выбор драйвера и способ его инициализации. При активации чекбокса и последующем запуске сценария, соответствующие шаги будут выполнены до основных шагов сценария. Логирование конфигурационных шагов отображается в журнале событий с тем отличием, что для них не указывается номер шага.

Пункты выбора конфигурационного шага реализованы как радио-кнопки, т.е. доступен выбор только одного варианта.

Секция «Параметры Allure TestOps»

Поле	Описание
ID теста в TestOps	Числовой идентификатор теста в Allure TestOps. Идентификатор проекта указывается в настройках проекта (см. Секция «Интеграция с Allure TestOps»).
Теги

Секция «Кастомные поля»

Кастомные поля представляют собой динамически расширяемый список пар: ключ – значение, которые используются во время тестирования.

Вне секции

Чекбокс для активации функции добавления скриншота в отчет при падении теста.

Вкладка «Параметры и переменные»

На вкладке «Параметры и переменные» имеется возможность добавить или переопределить переменные конфигураций, а так же добавить наборы параметров для множественного запуска.

Настройки, внесенные на данной вкладке, распространяются только на текущий сценарий.

Секция «Переменные платформы»

Добавление или переопределение переменных осуществляется в рамках конфигураций, которые были заданы в настройках проекта (см. Управление конфигурациями). Внесенные изменения будут видны только в текущем сценарии.

Перед началом работы с переменными требуется выбрать конфигурацию, для которой будут добавляться переменные.

Функционал добавления, удаления, маскирования переменных и ограничение ввод на вкладке сценария аналогичен соответствующему функционалу в настройках проекта ( см. Управление конфигурациями).

Переменные, определенные на вкладке сценария для конкретной конфигурации, будут добавлены к переменным, определенным в настройках проекта. При написании сценария доступен общий список переменных, определенных в двух указанных местах системы.

Если название переменной в настройках проекта соответствует названию переменной на вкладке сценария, то произойдет переопределение переменной и в сценарии будет использоваться значение, определенное на вкладке сценария.

Секция «Наборы параметров»

Функционал используется в случаях, когда нужно выполнить один и тот же сценарий с разными наборами тестовых данных. Чтобы не создавать дубликаты, используется один сценарий и наборы данных в виде таблицы. В заголовке таблицы содержатся названия параметров, а в строках - значения. Каждой строке присваивается индекс, который расположен слева от значения первого параметра.

Имена параметров ограничены верхним регистром символов.

Для использования параметра в аргументах шагов сценария следует использовать конструкцию $${ИМЯ_ПАРАМЕТРА}.

После запуска сценария, он будет выполнен столько раз, сколько задано наборов данных (строк таблицы). В результатах запуска при этом будет отображаться несколько задач. Для удобства к названию задачи добавляется индекс набора параметров.

Для запуска в режиме отладки, в окне «Настройки запуска сценария» требуется выбрать набор параметров, с которым будет выполняться тест-кейс. Отображаемые для заданного набора пары параметр-значение, носят информационный характер и недоступны для редактирования в текущем окне.

Логирование для множественного запуска с несколькими наборами данных недоступно на странице сценария, как и в случае с групповым запуском. Журнал событий можно посмотреть в истории запусков для каждой задачи отдельно.

Вкладка «История запусков»

На вкладке «История запусков» отображаются все запуски для текущего сценария.

Информация предоставлена в виде таблицы со следующими столбцами:

• ID Задачи
• Результат (см. Описание состояний результатов)
• Статус (см. Описание состояний результатов)
• Запуск - ID запуска, время запуска и пользователь, который выполнил запуск

ID Задачи и ID запуска содержат ссылки для перехода к странице просмотра запуска с детальной информацией ( см. Просмотр запуска тестового сценария).

Создание тестового скрипта

Ввод команд

Ввод команд тестового скрипта осуществляется на вкладке «Главная» в специальной области редактора.

Каждая команда располагается на своей строке и вводится с помощью специальной формы, поддерживающей автодополнение. При вводе текста (сразу после первого введенного символа), появляется модальное окно, которое содержит информацию о подходящих командах, а также набор фильтров для быстрого поиска.

Каждая строка в списке относится к одной команде. Команды в свою очередь разбиты на группы и слева от команды в цветном обрамлении указано название группы.

При нажатии на поле «Группы» в модальном окне, появляется выпадающий список. Набор команд в окне будет соответствовать выбранной группе. Для удаления фильтрации по выбранной группе, нужно еще раз открыть выпадающий список, нажав на пустую область поля «Группы», а затем снять выделение с выбранной группы, либо нажать клавишу «Backspace».

Список команд и групп, к которым эти команды относятся, зависит от выбранного фреймворка. Полный набор доступных команд можно посмотреть в документации к фреймворку (см. Документация фреймворка).

Команды могут содержать параметры, типы которых заключены в фигурные скобки, например «{int}». Возможные типы параметров для фреймворка по умолчанию перечислены в следующей таблице:

Название	Описание
int	Целое число
double	Действительное число
string	Строка символов
multiline	Несколько строк символов, разделенных символом «перевода строки»
xpath	Путь к элементу в xml-документе
var	Переменная фреймворка (переменная, определенная в шагах сценария)
icon	Название иконки

Команды имеют четко структурированный формат. Использование автоподсказки позволяет выбрать нужную команду и вставить ее в скрипт, соблюдая при этом все правила ее синтаксического написания. При выборе нужной команды в окне автоподсказки с помощью клика мыши или клавиши «Enter», команда переносится в окно редактора, где она отображается в соответствующей строке. Перед командой указывается группа, к которой принадлежит команда.

Если команда содержит параметры, то внутри строки появляются поля для ввода значений параметров. Типы параметров указаны во всплывающей подсказке.

При вводе в поле ввода параметра невалидных значений, поле подсвечивается красным, и появляется уведомление об ошибке.

Неправильно введенные вручную или измененные команды рассматриваются системой, как синтаксически неверные, и не могут быть выполнены. Об этом сигнализирует иконка слева от номера строки.

При возвращении синтаксиса команды к верному, иконка ошибка исчезает. Команда распознается системой и может быть выполнена.

Ниже приведен пример команд с правильным (9) и не правильным (10) синтаксисом.

Параметры команд

Инструкция находится в разработке

Копирование и вставка команд

Инструкция находится в разработке

Ввод комментариев

Инструкция находится в разработке

Управляющие элементы

Для удобства работы с редактором в его верхней части находится тулбар с иконками-кнопками для запуска дополнительных команд.

/ - отобразить/скрыть группы команд.

- развернуть окно редактора на весь экран.

- запуск теста.

- запуск теста в режиме отладки.

- возврат к последнему сохраненному состоянию скрипта. Перед выполнением операции, от пользователя потребуется подтвердить данное действие.

ВНИМАНИЕ! Данное действия удалит ваши несохраненные изменения.

- копировать все введенные в окно команды в виде сценария или в виде текста. Выбор типа копирования осуществляется через выпадающее меню с соответствующими опциями. Скопированные таким образом команды могут быть вставлены в тот же самый или другой скрипт путем использования комбинации клавиш Ctrl + V.

«Горячие» клавиши

Windows

Редактор поддерживает стандартные комбинации клавиш для редактирования текста:

• Backspace - удалить символ влево.
• Ctrl + A - выделить весь текст.
• Ctrl + Backspace - удалить слово влево.
• Ctrl + C - скопировать выделенный текст.
• Ctrl + Del - удалить слово вправо.
• Ctrl + End - перейти к концу документа.
• Ctrl + F - найти текст.
• Ctrl + Home - перейти к началу документа.
• Ctrl + Влево - перейти к предыдущему слову.
• Ctrl + Вправо - перейти к следующему слову.
• Ctrl + V - вставить текст.
• Ctrl + X - вырезать выделенный текст.
• Ctrl + Z - отменить последнее изменение.
• Delete - удалить символ вправо.
• End - перейти к концу текущей строки.
• Home - перейти к началу текущей строки.
• Page Down - перейти на один кадр вниз.
• Page Up - перейти на один кадр вверх.
• Shift + Ctrl + End - выделение текста между курсором и концом документа.
• Shift + Ctrl + Home - выделение текста между курсором и началом документа.
• Shift + Ctrl + Влево - выделение слов слева.
• Shift + Ctrl + Вправо - выделение слов справа.
• Shift + Ctrl + Вверх - выделение абзацев слева.
• Shift + Вниз - выбор строк вниз.
• Shift + End - выделение текста между курсором и концом текущей строки.
• Shift + Home - выделение текста между курсором и началом текущей строки.
• Shift + Влево - выбор символов слева.
• Shift + Page Down - выделение одного кадра текста под курсором.
• Shift + Page Up - выделение одного кадра текста над курсором.
• Shift + Вправо - выбор символов справа.
• Shift + Tab - отступ наружу.
• Shift + Вверх - выбор строк вверх.
• Shift + Delete - удалить текущую строку.
• Tab - Отступ.
• Вверх - подняться на одну строку.
• Влево - перейти влево или перейти в конец предыдущей строки.
• Вниз - перейти на одну строку вниз.
• Вправо - перейти вправо или перейти в начало следующей строки.

Дополнительные комбинации:

• Ctrl + Вниз - перемещение к первому аргументу шага, либо на одну строку вниз, если аргументов нет.
• Ctrl + X (выделенный текст отсутствует) - вырезать текущую строку.
• Tab (курсор в аргументе шага) - перейти к следующему аргументу (в том числе и в другой строке).
• Shift + Tab (курсор в аргументе шага) - перейти к предыдущему аргументу (в том числе и в другой строке).

История изменений сценария

Отслеживание изменений

Системы отслеживает изменения, которые пользователь вносит в систему, для следующих полей сценария:

• Вкладка «Главная»
  • Название сценария
  • Описание сценария
  • Редактор
  • Статус
  • Теги
• Вкладка «Конфигурация»

Сценарии, которые имеют не сохраненные изменения, помечаются в списке сценариев с помощью точки, расположенной слева от статуса. Кнопка «СОХРАНИТЬ» при этом становится активна.

Сохранение изменений

Для сохранения изменений, внесенных на вкладке «Главная», необходимо нажать кнопку .

При сохранении изменения на вкладках «Конфигурация» или «Параметры и переменные», также происходить автоматическое сохранение изменений вкладки «Главная», если эти изменения вносились.

Версионирование

При сохранении изменений происходит создание новой версии сценария, только если изменения были внесены в следующие поля:

• Область редактор
• Статус
• Теги

После перехода к выбранной версии, будут отображаться состояния данных полей, какими они были в момент сохранения. Другие поля сценария не сохраняются вместе с версией, поэтому останутся неизменными при выборе версии.

Для изменения версии сценария требуется нажать кнопку выбора версии - (справа от кнопки «СОХРАНИТЬ»). При этом справа от редактора появится панель выбора версии. В данной панели пользователь может выбрать нужную версию ориентируясь на:

• номер версии;
• дату и время создания версии;
• пользователя, который сохранил изменения.

При открытии сценария, по умолчанию открывается его последняя версия.

Предупреждение о потере несохраненных данных

В случае существования несохраненных изменений сценария, если пользователь собирается:

• перейти на другую страницу средствами браузера (с помощью закладок браузера или ввода URL в адресную строку)
• перезагрузить или закрыть вкладку браузера
• закрыть браузер
• перейти на другую страницу платформы (например, кликнув на иконке в левом вертикальном меню)
• выбрать версию сценария

система покажет предупреждающее сообщение о потере несохраненных данных. Пользователь должен подтвердить действие, либо отменить его и выполнить сохранение изменений.

Аналогичное сообщение для несохраненных изменений появляется при попытке покинуть вкладки «Конфигурация» и «Переменные платформы».