Российские инженеры из УлГТУ совместно с российской биотех-лабораторией Neiry провели эксперимент по управлению беспилотным грузовиком «ГАЗель Next» с помощью нейроинтерфейса. Они представили уникальное решение, позволяющее управлять автомобилем без рук — с помощью волновой активности головного мозга и датчиков акселерометра.
Скачать видео можно здесь
Перед вами первая в мире «ГАЗель Next», управляемая силой мысли. Во время презентации беспилотный автомобиль проехал по закрытой территории с «водителем», который управлял машиной с использованием только нейроинтерфейса.
Перед вами первая в мире «ГАЗель Next», управляемая силой мысли. Во время презентации беспилотный автомобиль проехал по закрытой территории с «водителем», который управлял машиной с использованием только нейроинтерфейса.
В эксперименте использовали нейроинтерфейс Neiry — это устройство, которое снимает показатели электроэнцефалограммы (ЭЭГ) головного мозга человека, отслеживает движение головы и ФПГ (данные на основе пульсометрии). Neiry позволяет понять, в каком состоянии находится мозг: его когнитивную нагрузку, усталость, стресс и концентрацию внимания.
С помощью API разработчики подключили нейроинтерфейс Neiry к компьютеру, а компьютер — к автомобилю «ГАЗель Next». Используя данные о степени концентрации и усталости «водителя», дополненные данными гироскопа и акселерометра, разработчики создали сложную логику алгоритма управления автомобилем, которая обеспечивала поворот колес, управление скоростью и сценарием экстренной остановки.
В итоговом алгоритме использовали показатели концентрации на основе ритмической активности мозга с учетом позы водителя. Если водитель сконцентрирован на дороге и при этом не отвлекается, скорость автомобиля увеличивается. Как только система детектирует нарастание усталости или отвлечение — скорость снижается. В экстренной ситуации или если водитель надолго отвлекся от приборной панели и лобового стекла, например когда уснул и кивает, срабатывает система аварийной остановки.
Разработанный алгоритм использует сразу несколько каналов связи с телом человека, что повышает его надежность и делает возможным дальнейшее практическое применение. Это первый подобный эксперимент в России.
Рабочий прототип был собран робототехниками УлГТУ и успешно протестирован совместно с Neiry. Это экспериментальный проект, на данный момент в ГАЗ не планируют использовать эту функцию в массовом производстве.
С помощью API разработчики подключили нейроинтерфейс Neiry к компьютеру, а компьютер — к автомобилю «ГАЗель Next». Используя данные о степени концентрации и усталости «водителя», дополненные данными гироскопа и акселерометра, разработчики создали сложную логику алгоритма управления автомобилем, которая обеспечивала поворот колес, управление скоростью и сценарием экстренной остановки.
В итоговом алгоритме использовали показатели концентрации на основе ритмической активности мозга с учетом позы водителя. Если водитель сконцентрирован на дороге и при этом не отвлекается, скорость автомобиля увеличивается. Как только система детектирует нарастание усталости или отвлечение — скорость снижается. В экстренной ситуации или если водитель надолго отвлекся от приборной панели и лобового стекла, например когда уснул и кивает, срабатывает система аварийной остановки.
Разработанный алгоритм использует сразу несколько каналов связи с телом человека, что повышает его надежность и делает возможным дальнейшее практическое применение. Это первый подобный эксперимент в России.
Рабочий прототип был собран робототехниками УлГТУ и успешно протестирован совместно с Neiry. Это экспериментальный проект, на данный момент в ГАЗ не планируют использовать эту функцию в массовом производстве.
«Нейроинтерфейсы — достаточно молодая сфера. Способ человеко-машинного взаимодействия может быть эффективен для предотвращения несчастных случаев на дорогах и в целом для повышения безопасности. Разработкой в будущем могут пользоваться люди с ограниченными возможностями здоровья при условии внедрения технологического решения на особых территориях», — рассказал декан факультета информационных систем и технологий Кирилл Святов.
Робототехники УлГТУ имеют большой опыт в работе с беспилотными транспортными средствами и продолжают совершенствовать автомобили. В университете создана лаборатория интеллектуальных транспортных систем, ставшая ключевой частью стратегического проекта развития университета в рамках программы «Приоритет-2030».
В состав команды разработчиков УлГТУ вошли заведующий лабораториями кафедры «Инновационные технологии машиностроения», аспирант кафедры «Вычислительная техника» Иван Рубцов, руководитель лаборатории «Интеллектуальные транспортные системы», инженер УО ЦНИТ Роман Житков, инженер УО ЦНИТ Владислав Михайлов, а также студенты факультета информационных систем и технологий Максим Бойко и Артем Молчанов.
В состав команды разработчиков УлГТУ вошли заведующий лабораториями кафедры «Инновационные технологии машиностроения», аспирант кафедры «Вычислительная техника» Иван Рубцов, руководитель лаборатории «Интеллектуальные транспортные системы», инженер УО ЦНИТ Роман Житков, инженер УО ЦНИТ Владислав Михайлов, а также студенты факультета информационных систем и технологий Максим Бойко и Артем Молчанов.