Тренажер «Сварка» на базе дополненной реальности

Тренажер «Сварка» на базе дополненной реальности

Общее техническое описание системы

Технически решение во многом аналогично уже существующему решению (решение компании SOLDAMATIC). Система использует принципы дополненной реальности для отслеживания положения и ориентации заготовки металла и рукоятки сварочного аппарата. Поверхность заготовки-модели и ручки сварочного аппарата покрыта AR-маркерами в полной аналогии с существующим решением.

Видео камера (возможно стерео-решение с использованием 2 камер – оно будет описано ниже), закрепленная на сварочном шлеме, отслеживает AR-маркеры, и получает необходимые координаты для визуализации дополненной реальности поверх заготовки (иллюзия металлической поверхности) и ручки сварочного аппарата (визуализации инфографики, и прочих данных на рукоятке – опять же так же как в аналоге)

В самой рукоятке сварочного аппарата встроены 3 типа основных датчиков отслеживания движения: гироскоп, акселерометр, магнитометр. Также есть датчик касания (давления), связанный с электродом, который активируется при непосредственном соприкосновении с заготовкой (момент замыкания и соответственно начало сварки). Опять же полученные координаты AR маркеров для ручки и заготовки позволяют определить их взаимное расположения относительно друг друга, которое в последствие уточняется при помощи встроенных в сварочную рукоятку датчиков.

Для каждой заготовки определяется эталонный сварочный шов, посредством анализа примыкающих AR-маркеров на стенках заготовки и получение его координат. Эталонный сварочный шов обозначается пунктиром. В процессе учебного процесса сварки система собирает различные данные, такие как форма сварочного шва, положение и ориентация, скорости сварочной рукоятки в каждый момент времени процесса учебной сварки. Полученные данные позволяют оценить общий уровень качества сварки, а также отразить ошибки в различные моменты процесса, указав например, на повышенную/заниженную скорость движения сварочной рукоятки, неправильную форму шва, неправильный угол рукоятки по отношению к заготовке. Полученные сведения позволяют реализовать запись всего процесса сварки с возможностью сохранения в файл, и последующего воспроизведения в полной аналогии с видеороликом.

Подсистема визуализации тренажера предполагает реалистичную визуализацию в реальном времени металла заготовки, эффекта сварки (искры, дым, нагревания/остывания металла), эффект появления сварочного шва – его форма будет зависеть от скорости движения рукоятки, её угла наклона, типа материала заготовки и электрода. Подсистема визуализации также предполагает вывод различной дополненной информации на сварочную рукоятку, и в целом интерфейс программы с возможностью выбора типа заготовки, изменения параметров сварки (как минимум напряжение и сила тока), вывод статистических данных о качестве сварки, интерфейс воспроизведения проделанной сварки.

Основные электронные и программные модули тренажера

Диаграмма взаимодействия основных подсистем тренажера:

Ниже будут описаны основные компоненты системы – описаны их задачи и технические особенности работы. Тренажер будет разработан на языке C++ с использованием OpenCV, OpenGL и GLSL. Аппаратное сопряжение реализовывается за счет использования микроконтроллеров с ядром ARM Cortex M3.

Программный модуль дополненной реальности. Подсистема распознавания

В задачу данного программного модуля входит анализ видео с камеры встроенную в сварочный шлем и получение координат всех AR-маркеров увиденных в кадре. Полученные маркеры должны классифицироваться модулем на 3 типа:

  • AR-маркер сварочной рукоятки. AR-маркер необходим для определения положения сварочной рукоятки в кадре, определения её типа.
  • AR-маркер заготовки. AR-маркер необходим для определения положения заготовки в кадре и визуализации поверх заготовки текстуры металла.
  • AR-маркер шва заготовки. Позволяет однозначно определить эталонный сварочный шов на заготовке.

Таким образом, данный программный модуль распознает AR-маркеры, и возвращает координаты и ориентацию заготовки, определяет её форму, расположение сварочного шва, вычисляет текстурные координаты для корректного наложения текстуры металла поверх заготовки. Точно также возвращаются координаты и ориентация сварочной рукоятки, определение её формы для вывода на ней графики дополненной реальности. Таким образом, данный модуль является основой системы и определяет взаимное расположение заготовки и сварочной рукоятки и также определяется форма заготовки.

Также возможна реализация стерео изображения с использованием двух камер, таким образом, для каждого глаза будут определяться свои координаты заготовки и рукоятки. Потребуется дополнительная калибровка расположения камер на сварочном шлеме, а также увеличение нагрузки на центральный процессор компьютера.

Программный модуль визуализации дополненной реальности

По полученным координатам с модуля распознавания рисует металлическую заготовку, сварочную рукоятку. Создает визуальный эффект сварки и эффект сварочного шва при получении команд и данных с модуля сбора и анализа данных. Сгенерированная картинка накладывается поверх видео, полученного с камеры на сварочной шлеме.

Программный модуль визуализации интерфейсов тренажера

Реализует визуализацию всех интерфейсов тренажера – кнопки, меню, настройки, выбор режимов работы, выбор заготовки, визуализация заготовок.

Программный модуль сбора и анализа данных

Реализует все логику и поведение тренажера – прежде всего анализ данных с модуля распознавания и данных с датчиков в рукоятке, вычисляет численные параметры, для визуализации сварки, исходя из выбранной заготовки и параметров с датчиков рукоятки. Определяет режим работы и состояние пользовательского интерфейса.

Драйвер сварочной рукоятки

Реализует взаимодействие с блоком сопряжения и возвращает данные с датчиков рукоятки и регуляторов передней панели сварочного моноблока.

Сварочная маска

За основу будет взят корпус настоящей сварочной маски, в которую будут встроены видео очки и камера. Также на корпусе маски закрепляется светодиодная подсветка для улучшения качества распознавания маркеров.

Сварочная рукоятка

За основу будет взята настоящая сварочная рукоятка, которая будет доработана, будут встроены датчики определения положения и ориентации, а также механический датчик контакта с заготовкой, суть действия которого заключается в том, что при соприкосновении электрода с заготовкой будет замыкаться электрический контакт. Также можно рассмотреть датчик давления, который можно использовать вместо механического контакта.

Возможно реализовать тактильный эффект при процессе сварки. Дает тактильную обратную связь пользователю, притягиваясь к детали при приближении рукоятки (как это бывает в процессе реальной сварки). Для этого деталь делается металлической и в рукоятку встраивается управляемый электромагнит, степень притягивания которого зависит от расстояния до детали и выставленной силы тока. Это будет ноу-хау разработки и существенным конкурентным преимуществом, т. к. в аналоге фирмы SOLDAMATIC наоборот нужно достаточно сильно давить, прижимая рукоятку к детали, что противоречит физике реального процесса сварки, когда нужно не допустить прилипания к детали.

Блок кнопок и регуляторов

Блок кнопок и регуляторов имитирующих основные настройки сварочного аппарата. Все регуляторы и переключатели будут настоящие, взятые из реального сварочного аппарата. Регуляторы и переключатели будут размещены на передней панели сварочного моноблока.

Электронный блок

Плата на микроконтроллерах с ядром ARM Cortex M3, выполняющая сопряжение всех аппаратных компонент с ПК. Интерфейс взаимодействия с ПК – USB порт.


572