Welcome to NeuroControl

NeuroControl - система для автоматизации десктоп и мобильных приложений с помощью методов и технологий искусственного интеллекта.

Инфраструктура системы

Инфраструктуру системы можно разделить на составные части:

Алгоритмическая

К алгоритмической части можно отнести:

• Фреймворк - фреймворк тестирования, написанный на языке Java
• Драйвер - драйвер для подключения к приложению
• Приложение - само тестируемое приложение. На самом деле не является частью инфраструктуры, а лишь объектов над которым проводятся все действия.

По указанию тестировщика, фреймворк через драйвер снимает и отправляет скриншот приложения для получения разметки в нейросетевую часть.

Нейросетевая

В нейросетевой части происходит распознавание компонентов, текста на скриншоте, сопоставление иконок и шаблонов и т.д. В эту часть входят следующие микросервисы:

• сервис для распознавания компонентов, их локализации и определения атрибутов компонентов
• сервис для распознавания текста на изображении
• сервис для сопоставление иконок или шаблонов на изображении
• сервис парсинг таблиц, получение ее структуры
• шлюз для обращения ко всем сервисам

Отчетная

Отчетная система NeuroMoon позволяет визуализировать результаты запросов к нейро-сетевой части с помощью веб-интерфейса.

Хранилище

Используемые хранилища:

• база данных, для хранения результатов запросов
• S3 хранилище изображений и датасетов
• сервис кэширования

Вспомогательные инструменты

• система трассировки
• бот в соц.сети Telegram с нейронными сетями