Автономная многоракурсная нейросетевая система компьютерного зрения для автоматизации контроля ручных операций

И. М. Клемышев^a, С. М. Колчин^b, С. С. Лебедев^b, С. О. Старков<sup>c

a</sup> Общество с ограниченной ответственностью «Дженерал Компьютер Системс», г. Обнинск, Российская Федерация
^b Общество с ограниченной ответственностью «КомпВи», г. Обнинск, Российская Федерация
^c Обнинский институт атомной энергетики — филиал федерального государственного автономного образовательного учреждения высшего образования «Национальный исследовательский ядерный университет «МИФИ», г. Обнинск, Российская Федерация

Аннотация: В данной статье представлен прототип системы для автоматического контроля производственных процессов, выполняемых руками. Обученная система осуществляет мониторинг рабочего места с нескольких ракурсов наблюдения и производит анализ зафиксированных событий на основе искусственного интеллекта в реальном времени. При выявлении аномальных действий сотрудника или некорректности выполнения технологического процесса система оповещает оператора службы безопасности о событии, помогая ему принять решение или осуществить быстрый поиск по архивным записям видеонаблюдения для расследования инцидентов. Предложен механизм автокалибровки многоракурсной системы видеокамер, основанный на одновременном наблюдении ключевых точек на руках, определении их расположения в пространстве и математическом решении задачи совмещения с нескольких ракурсов. Аппаратная часть прототипа программно-аппаратного комплекса (ПАК) состоит из двух стереокамер INTEL RealSense435 и вычислительного модуля с графическим процессором Jetson AGX Xavier. Программная часть состоит из подсистем: видеонаблюдения, хранения данных, нейросетевого анализа «цифрового образа».

Ключевые слова: компьютерное зрение, распознавание образов, искусственные нейронные сети, программно-аппаратный комплекс, интеллектуальная видеокамера, нейросетевой детектор.

DOI: 10.51790/2712-9942-2024-5-3-03