Общее техническое описание системы
Технически решение во многом аналогично уже существующему решению (решение компании SOLDAMATIC). Система использует принципы дополненной реальности для отслеживания положения и ориентации заготовки металла и рукоятки сварочного аппарата. Поверхность заготовки-модели и ручки сварочного аппарата покрыта AR-маркерами в полной аналогии с существующим решением.
Видео камера (возможно стерео-решение с использованием 2 камер – оно будет описано ниже), закрепленная на сварочном шлеме, отслеживает AR-маркеры, и получает необходимые координаты для визуализации дополненной реальности поверх заготовки (иллюзия металлической поверхности) и ручки сварочного аппарата (визуализации инфографики, и прочих данных на рукоятке – опять же так же как в аналоге)
В самой рукоятке сварочного аппарата встроены 3 типа основных датчиков отслеживания движения: гироскоп, акселерометр, магнитометр. Также есть датчик касания (давления), связанный с электродом, который активируется при непосредственном соприкосновении с заготовкой (момент замыкания и соответственно начало сварки). Опять же полученные координаты AR маркеров для ручки и заготовки позволяют определить их взаимное расположения относительно друг друга, которое в последствие уточняется при помощи встроенных в сварочную рукоятку датчиков.
Для каждой заготовки определяется эталонный сварочный шов, посредством анализа примыкающих AR-маркеров на стенках заготовки и получение его координат. Эталонный сварочный шов обозначается пунктиром. В процессе учебного процесса сварки система собирает различные данные, такие как форма сварочного шва, положение и ориентация, скорости сварочной рукоятки в каждый момент времени процесса учебной сварки. Полученные данные позволяют оценить общий уровень качества сварки, а также отразить ошибки в различные моменты процесса, указав например, на повышенную/заниженную скорость движения сварочной рукоятки, неправильную форму шва, неправильный угол рукоятки по отношению к заготовке. Полученные сведения позволяют реализовать запись всего процесса сварки с возможностью сохранения в файл, и последующего воспроизведения в полной аналогии с видеороликом.
Подсистема визуализации тренажера предполагает реалистичную визуализацию в реальном времени металла заготовки, эффекта сварки (искры, дым, нагревания/остывания металла), эффект появления сварочного шва – его форма будет зависеть от скорости движения рукоятки, её угла наклона, типа материала заготовки и электрода. Подсистема визуализации также предполагает вывод различной дополненной информации на сварочную рукоятку, и в целом интерфейс программы с возможностью выбора типа заготовки, изменения параметров сварки (как минимум напряжение и сила тока), вывод статистических данных о качестве сварки, интерфейс воспроизведения проделанной сварки.
Основные электронные и программные модули тренажера
Диаграмма взаимодействия основных подсистем тренажера:
Ниже будут описаны основные компоненты системы – описаны их задачи и технические особенности работы. Тренажер будет разработан на языке C++ с использованием OpenCV, OpenGL и GLSL. Аппаратное сопряжение реализовывается за счет использования микроконтроллеров с ядром ARM Cortex M3.
Программный модуль дополненной реальности. Подсистема распознавания
В задачу данного программного модуля входит анализ видео с камеры встроенную в сварочный шлем и получение координат всех AR-маркеров увиденных в кадре. Полученные маркеры должны классифицироваться модулем на 3 типа:
- AR-маркер сварочной рукоятки. AR-маркер необходим для определения положения сварочной рукоятки в кадре, определения её типа.
- AR-маркер заготовки. AR-маркер необходим для определения положения заготовки в кадре и визуализации поверх заготовки текстуры металла.
- AR-маркер шва заготовки. Позволяет однозначно определить эталонный сварочный шов на заготовке.
Таким образом, данный программный модуль распознает AR-маркеры, и возвращает координаты и ориентацию заготовки, определяет её форму, расположение сварочного шва, вычисляет текстурные координаты для корректного наложения текстуры металла поверх заготовки. Точно также возвращаются координаты и ориентация сварочной рукоятки, определение её формы для вывода на ней графики дополненной реальности. Таким образом, данный модуль является основой системы и определяет взаимное расположение заготовки и сварочной рукоятки и также определяется форма заготовки.
Также возможна реализация стерео изображения с использованием двух камер, таким образом, для каждого глаза будут определяться свои координаты заготовки и рукоятки. Потребуется дополнительная калибровка расположения камер на сварочном шлеме, а также увеличение нагрузки на центральный процессор компьютера.
Программный модуль визуализации дополненной реальности
По полученным координатам с модуля распознавания рисует металлическую заготовку, сварочную рукоятку. Создает визуальный эффект сварки и эффект сварочного шва при получении команд и данных с модуля сбора и анализа данных. Сгенерированная картинка накладывается поверх видео, полученного с камеры на сварочной шлеме.
Программный модуль визуализации интерфейсов тренажера
Реализует визуализацию всех интерфейсов тренажера – кнопки, меню, настройки, выбор режимов работы, выбор заготовки, визуализация заготовок.
Программный модуль сбора и анализа данных
Реализует все логику и поведение тренажера – прежде всего анализ данных с модуля распознавания и данных с датчиков в рукоятке, вычисляет численные параметры, для визуализации сварки, исходя из выбранной заготовки и параметров с датчиков рукоятки. Определяет режим работы и состояние пользовательского интерфейса.
Драйвер сварочной рукоятки
Реализует взаимодействие с блоком сопряжения и возвращает данные с датчиков рукоятки и регуляторов передней панели сварочного моноблока.
Сварочная маска
За основу будет взят корпус настоящей сварочной маски, в которую будут встроены видео очки и камера. Также на корпусе маски закрепляется светодиодная подсветка для улучшения качества распознавания маркеров.
Сварочная рукоятка
За основу будет взята настоящая сварочная рукоятка, которая будет доработана, будут встроены датчики определения положения и ориентации, а также механический датчик контакта с заготовкой, суть действия которого заключается в том, что при соприкосновении электрода с заготовкой будет замыкаться электрический контакт. Также можно рассмотреть датчик давления, который можно использовать вместо механического контакта.
Возможно реализовать тактильный эффект при процессе сварки. Дает тактильную обратную связь пользователю, притягиваясь к детали при приближении рукоятки (как это бывает в процессе реальной сварки). Для этого деталь делается металлической и в рукоятку встраивается управляемый электромагнит, степень притягивания которого зависит от расстояния до детали и выставленной силы тока. Это будет ноу-хау разработки и существенным конкурентным преимуществом, т. к. в аналоге фирмы SOLDAMATIC наоборот нужно достаточно сильно давить, прижимая рукоятку к детали, что противоречит физике реального процесса сварки, когда нужно не допустить прилипания к детали.
Блок кнопок и регуляторов
Блок кнопок и регуляторов имитирующих основные настройки сварочного аппарата. Все регуляторы и переключатели будут настоящие, взятые из реального сварочного аппарата. Регуляторы и переключатели будут размещены на передней панели сварочного моноблока.
Электронный блок
Плата на микроконтроллерах с ядром ARM Cortex M3, выполняющая сопряжение всех аппаратных компонент с ПК. Интерфейс взаимодействия с ПК – USB порт.