Skip to content

NeuroMoon

NeuroMoon - система для визуализации работы нейронной сети

Создание шаблонов NeuroMoon

Введение в шаблоны

Нейронные сети способны определять различные компоненты пользовательского интерфейса, такие как кнопки, подписи, поля ввода и много другое. В большинстве случаев идентификация этих объектов производится за счет текста на этом компоненте или на связанных с ним компонентов.

Однако для различных значков и иконок интерфейса этот подход не работает, сети не могут определить назначение этого компонента, например, иконки сохранения. Сам компонент будет найден, но его идентификация останется неопределенной.

Для этого в NeuroControl используется механизм соотнесения шаблонов: вы сохраняете участок изображения, даете ему имя, и, когда обращаетесь к нему по имени, система находит наиболее похожий участок изображения и явно иденцифицирует его.

Для удобства пользователя NeuroMoon позволяет создавать и сохранять шаблоны.

Создание шаблонов в NeuroMoon

Для создания шаблона в NeuroMoon необходимо загрузить исходное изображение, после чего выделить желаемый участок и сохранить его. Таким образом, создание нового шаблона возможно через:

  • Загрузка нового изображения с компьютера пользователя
  • Выделение шаблона на изображении из запуска NeuroControl
  • Выделение шаблонов на уже загруженных изображения

Загрузка изображения вручную и создание шаблона

  1. Откройте NeuroMoon и перейдите на вкладку IconService Безымянный-2024-07-18-1003.png
  2. Перейдите в требуемый проект.
    В данном руководстве будем использовать проект Education.
    Как правило, каждый проект соответствует отдельному приложению. Вы можете создать новый проект, для этого:
    • Нажмите на знак + справа от Проекты
    • Напишите имя создаваемого проекта
    • Нажмите на Безымянный-2024-07-18-1003 (2).png Безымянный-2024-07-18-1003 (1).png
  3. Нажмите на кнопку Добавить изображение и выберите изображение
    Безымянный-2024-07-18-1003 (4).png Untitled
    После загрузки изображения оно должно появиться на экране Untitled
  4. Перейдите в режим редактирования, выделите область и создайте шаблон.

    4.1 Перейдите в режим создания/редактирования

    Безымянный-2024-07-18-1003 (5).png

    4.2 Выделите интересующую область на изображении

    Безымянный-2024-07-18-1003 (6).png

    4.3 Нажмите ПКМ на выделенной области и выберите пункт Создать Безымянный-2024-07-18-1003 (7).png

    4.4 Создайте шаблон, придумав ему имя, опциональное описание и тэги. Сохранение шаблона происходит через кнопку Отправить

    Untitled

    После сохранение шаблона, страница перезагрузится, появится список подложек и созданных шаблонов.

    Untitled

Теперь при работе с системой, сохраненной элемент можно найти как шаблон с именем Избранное.

Создание шаблона на изображении из запуска

После того, как была выполнена операция по поиску элемента, система сохраняет результаты и исходное изображение в NeuroMoon. Для создания шаблона в этом случае можно воспользоваться результатом этого запуска.

  1. Перейдите в запуск NeuroMoon, в котором распознавалось требуемое изображение Безымянный-2024-07-18-1003 (8).png
  2. Выберите требуемое изображение и перейдите в меню редактирования Безымянный-2024-07-18-1003 (9).png
  3. Выделите интересующую вас область, нажмите на ней ПКМ и выберите Создать
    Untitled
  4. Заполните атрибуты шаблона:
    • Выберите проект
    • Придумайте имя шаблона
    • Опциональное описание шаблона
    • Опциональный тэги
      Untitled Нажмите Отправить
  5. После отправки, шаблон будет создан в указанном проекте. Для того, чтобы убедиться в этом, перейдем на вкладку IconService и выберем проект в котором создавали шаблон. Безымянный-2024-07-18-1003 (10).png Безымянный-2024-07-18-1003 (1).png Untitled
  6. Шаблон создан. Имя подложки генерируется автоматически, его можно переименовать:
    • Нажмите на значок карандаша на элементе
    • Переименуйте подложку
    • Нажмите на Безымянный-2024-07-18-1003 (11).png Untitled

Выделение шаблона на существующем изображении

На загруженной подложке можно добавлять новые шаблоны. для этого просто выберите необходимую подложку и повторите шаг 4 из Загрузка изображения вручную и создание шаблона