Кейс: профподготовка в XR

15.08.2021

Возможности смешанной реальности – в профессиональной подготовке кадров.

Специалисты компании МАЦБКТ-СЭЗ разработали решение для интерактивного обучения в смешанной среде (XR). В данном случае это переподготовка специалистов управлению краном-манипулятором с магнитом. Что было сделано:

• Создана высокодетализированная 3D-сцена в виде цеха, на которой располагается 3D-модель пульта управления, крана и прочих виртуальных объектов рабочей среды. Описана логика взаимодействия с пультом посредством физического пульта управления на базе микрокомпьютера Arduino.

• Создан физический натурный пульт управления на базе микроконтроллера Arduino с постоянной передачей данных о состоянии органов управления пульта посредством беспроводной передачи данных Wi-Fi. При помощи аппаратных средств (HTC Vive Tracer) обеспечивается отслеживание положения 3D-модели пульта управления в виртуальном пространстве. Средством вывода информации является VR-шлем HTC Vive Pro.

• Программное обеспечение позволяет очень точно отслеживать положение натурного пульта и состояния его элементов управления (джойстики, кнопки, переключатели) в режиме реального времени, и синхронизировать визуализацию положения пульта и состояния элементов управления в виртуальной среде. Реализовано интерактивное взаимодействие с виртуальными объектами (кран, ящики для крана) путем воздействия на элементы управления реального пульта.

Таким образом была выполнена поставленная задача: реализовано интерактивное взаимодействие с виртуальными объектами.