Высокоточное распознавание жестов рук для ИИ от NTU. Сингапур

автор Night Ср Авг 19 2020, 18:12

Ученые NTU в Сингапуре разработали систему искусственного интеллекта для высокоточного распознавания жестов рук

Высокоточное распознавание жестов рук для ИИ от NTU. Сингапур AI%20sensor_web%20banner

Ученые из Технологического университета Наньян в Сингапуре (NTU Singapore) разработали систему искусственного интеллекта (AI), которая распознает жесты рук, сочетая электронику, напоминающую кожу, с компьютерным зрением.

Распознавание жестов человеческих рук системами искусственного интеллекта было ценным достижением за последнее десятилетие и было принято в высокоточных хирургических роботах, оборудовании для мониторинга состояния здоровья и в игровых системах.

Системы распознавания жестов ИИ, которые изначально были только визуальными, были улучшены за счет интеграции входных данных от носимых датчиков, подхода, известного как «слияние данных». Носимые датчики воссоздают сенсорную способность кожи, одна из которых известна как «соматосенсорная».

Однако точности распознавания жестов по-прежнему препятствует низкое качество данных, поступающих от носимых датчиков, как правило, из-за их громоздкости и плохого контакта с пользователем, а также эффектов визуально заблокированных объектов и плохого освещения. Дополнительные проблемы возникают из-за интеграции визуальных и сенсорных данных, поскольку они представляют собой не совпадающие наборы данных, которые необходимо обрабатывать отдельно, а затем объединять в конце, что неэффективно и приводит к более медленному времени отклика.

Чтобы решить эти проблемы, команда NTU создала систему слияния данных, основанную на биоинспекции, в которой используются растягиваемые датчики деформации, похожие на кожу, сделанные из однослойных углеродных нанотрубок, и подход ИИ, который напоминает способ, которым органы чувств кожи и зрение обрабатываются вместе в мозгу.

Ученые NTU разработали свою систему искусственного интеллекта, вдохновленную биологией, объединив три нейросетевых подхода в одну систему: они использовали «сверточную нейронную сеть», которая представляет собой метод машинного обучения для ранней обработки изображений, многослойную нейронную сеть для ранней обработки соматосенсорной информации, и «разреженную нейронную сеть» для «слияния» визуальной и соматосенсорной информации.

Результатом этого является система, которая может распознавать человеческие жесты более точно и эффективно, чем существующие методы.

Наша архитектура слияния данных имеет свои собственные уникальные биоиндуцированные особенности, которые включают искусственную систему, напоминающую иерархию соматосенсорно-визуального слияния в мозг. Мы считаем, что такие особенности делают нашу архитектуру уникальной по сравнению с существующих подходов", - сказал ведущий автор исследования, профессор Чэнь Сяодун из Школы материаловедения и инженерии NTU.

Команда ученых из NTU Singapore и Сиднейского технологического университета (UTS) Высокоточное распознавание жестов рук для ИИ от NTU. Сингапур 1471345407

Высокоточное распознавание жестов рук для ИИ от NTU. Сингапур 1471345407

опубликовала свои выводы в научном журнале Nature Electronics в июне.
Высокая точность распознавания даже в неблагоприятных условиях окружающей среды
Чтобы получить надежные сенсорные данные от жестов рук, исследовательская группа изготовила прозрачный растягиваемый датчик деформации, который прилипает к коже, но не виден на изображениях с камеры.

По сравнению с жесткими носимыми датчиками, которые не образуют достаточно тесного контакта с пользователем для точного сбора данных, в нашей инновации используются растягиваемые датчики деформации, которые удобно прикрепляются к коже человека. Это позволяет получать высококачественный сигнал, что очень важно для задач распознавания и их точности », - добавил профессор Чен, который также является директором Инновационного центра гибких устройств (iFLEX) в NTU.

В качестве доказательства концепции команда протестировала свою систему искусственного интеллекта с помощью робота, управляемого жестами рук, и вела его через лабиринт.
Результаты показали, что распознавание жестов рук, основанное на системе искусственного интеллекта, созданной на основе биологических источников, способно провести робота через лабиринт с нулевыми ошибками по сравнению с шестью ошибками распознавания, сделанными системой распознавания на основе визуальных данных.
Высокая точность также была сохранена при тестировании новой системы искусственного интеллекта в плохих условиях, включая шум и неблагоприятное освещение. Система искусственного интеллекта эффективно работала в темноте, достигая точности распознавания более 96,7%.

Секрет высокой точности нашей архитектуры заключается в том, что визуальная и соматосенсорная информация могут взаимодействовать и дополнять друг друга на раннем этапе перед выполнением сложной интерпретации. В результате система может рационально собирать связную информацию с меньшим количеством избыточных данных и меньшей неоднозначностью восприятия, что приводит к большей точности ", - сказал Первый автор исследования, доктор Ван Мин из Школы материаловедения и инженерии NTU Singapore.

Высказывая независимую точку зрения, профессор Маркус Антониетти, директор Института коллоидов и интерфейсов Макса Планка в Германии , сказал:

Выводы, сделанные в этой статье, делают еще один шаг вперед к более разумному и более машинному миру. Это очень похоже на изобретение смартфона, которое произвело революцию в обществе, эта работа вселяет в нас надежду, что однажды мы сможем физически управлять всем окружающим миром с большой надежностью и точностью с помощью жестов".

На рынке существует просто бесконечное количество приложений для таких технологий, которые могут поддержать это будущее. Например, от дистанционного управления роботами с умными рабочими местами до экзоскелетов для пожилых людей.
Исследовательская группа NTU в настоящее время стремится создать систему виртуальной и дополненной реальности на основе разработанной системы искусственного интеллекта для использования в областях, где требуется высокоточное распознавание и управление, таких как развлекательные технологии и реабилитация в домашних условиях.

На фотографии ниже тот самый прозрачный растягивающийся датчик деформации, который прилипает к коже, но не виден на изображениях с камеры.

Высокоточное распознавание жестов рук для ИИ от NTU. Сингапур Skin%20sensor

Контакты для СМИ:
Г-жа Джунн Ло
Менеджер,
Отдел по связям со СМИ, Отдел корпоративных коммуникаций
Технологический университет Наньян, Сингапур
Электронная почта: junn (at) ntu.edu.sg
Источник

автор null Сб Авг 22 2020, 23:51

Так и не поймешь кто команды отдает. Ни проводов, ни излучений, ни звука. Жест одной руки и армия пошла в атаку. Жутко даже.

Высокоточное распознавание жестов рук​ для ИИ от NTU. Сингапур