21 февраля 2024 года. Российская биотех-лаборатория Neiry и команда художников проекта InsideOut.Imprint провели эксперимент по синтезу академической музыки и нейротехнологий. Перформанс прошел в рамках выставки «Модуляции: свет, звук, движение», организованной центром Art & Science Университета ИТМО и Государственным Русским музеем.
Команда художников и программистов поставила перед собой задачу исследовать, что чувствует исполнитель в момент игры. Для этого они использовали нейроинтерфейс Neiry, который считывал волновую активность головного мозга музыканта в момент исполнения им произведения.
Данные о волновой активности головного мозга передавались с помощью API в компьютер, где за счет специального программного обеспечения сигналы преобразовывались в уникальные цифровые фигуры, а далее с помощью 3D-принтера — в керамические скульптуры. Форма и текстуры скульптур передают динамику и геометрию звука: в каждой скульптуре с помощью волн переданы время, мозговая активность, изменения громкости звука и длина произведения.
Команда художников и программистов поставила перед собой задачу исследовать, что чувствует исполнитель в момент игры. Для этого они использовали нейроинтерфейс Neiry, который считывал волновую активность головного мозга музыканта в момент исполнения им произведения.
Данные о волновой активности головного мозга передавались с помощью API в компьютер, где за счет специального программного обеспечения сигналы преобразовывались в уникальные цифровые фигуры, а далее с помощью 3D-принтера — в керамические скульптуры. Форма и текстуры скульптур передают динамику и геометрию звука: в каждой скульптуре с помощью волн переданы время, мозговая активность, изменения громкости звука и длина произведения.
«Во время перформанса мы можем наблюдать, как в реальном времени геометрия скульптур трансформируется под влиянием информации, получаемой от самого исполнителя. Данные о биоэлектрической активности мозга преобразуются в визуальные паттерны, формируя уникальный образ в каждый момент времени. Это очень живой и интересный процесс визуализации эмоционального переживания музыканта», — Марина Музыка, художница.
«Нейроинтерфейсы помогают нам считывать волновую активность мозга в режиме реального времени. Самый простой пример: во время игры у музыканта наблюдается повышение бета-ритма и одновременно снижение альфа-ритма головного мозга. С учетом автоматического отделения миографических артефактов мы можем судить о повышенной концентрации артиста в момент выступления», — рассказал Алексей Халезов, Neiry.
В ходе перформанса современный композитор Настасья Хрущева исполнила фрагменты из своих произведений «Русские тупики» и «Книга печали и радости» в переложении для фортепиано. Это примеры новой академической музыки, где представлена широкая эмоциональная амплитуда.
Отпечатки каждого музыкального произведения стали частью выставочной композиции, которую все желающие могут увидеть до 10 марта на петербургской выставке «Модуляции: свет, движение, звук», организованной Центром Art & Science университета ИТМО в Государственном Русском музее в Санкт-Петербурге.
Команда InsideOut.Imprint
InsideOut.Imprint — это синтез академической музыки и современного искусства, работы художников и музыкантов. Мария Купцова (Глубокие медиа), Дарья Смахтина (ἐphemera ONE, Иммерсивная архитектура), Марина Музыка (Интерактивный дизайн), Егор Звездин (Идеолог проекта), Настасья Хрущева (Композитор и исполнитель), Данил Карамушкин (3D-Печать, Karamushkin_lab); Илья Ревин (Технический эксперт); Продюсеры — Егор Звездин и Марго Бор (ArtMix); Кураторы выставки «Модуляции: свет, движение, звук» — Христина Отс и Сергей Костырко.
Отпечатки каждого музыкального произведения стали частью выставочной композиции, которую все желающие могут увидеть до 10 марта на петербургской выставке «Модуляции: свет, движение, звук», организованной Центром Art & Science университета ИТМО в Государственном Русском музее в Санкт-Петербурге.
Команда InsideOut.Imprint
InsideOut.Imprint — это синтез академической музыки и современного искусства, работы художников и музыкантов. Мария Купцова (Глубокие медиа), Дарья Смахтина (ἐphemera ONE, Иммерсивная архитектура), Марина Музыка (Интерактивный дизайн), Егор Звездин (Идеолог проекта), Настасья Хрущева (Композитор и исполнитель), Данил Карамушкин (3D-Печать, Karamushkin_lab); Илья Ревин (Технический эксперт); Продюсеры — Егор Звездин и Марго Бор (ArtMix); Кураторы выставки «Модуляции: свет, движение, звук» — Христина Отс и Сергей Костырко.