ШІ відтворив композицію Pink Floyd за мозковою активністю слухачів

Дослідники Каліфорнійського університету (UC) у Берклі вперше отримали музичну композицію, відтворену за сигналами з мозку людини. Пацієнти прослуховували трек “Another Brick in the Wall (Part 1)” групи Pink Floyd, а імплантовані в мозок сенсори знімали свідчення. Розрізнення ритму і мелодії в сигналах мозку допоможе розробити імплантати для людей, які страждають від порушень у сфері сприйняття мови та емоцій і не тільки.

Для пошуку зон мозку, відповідальних за сприйняття музики в широкому розумінні цього слова, в мозок 29 пацієнтів було імплантовано по 2268 електродів. Усім їм ставили композицію Pink Floyd “Ще одна цегла в стіні”, що стала класикою року. Паралельно прослуховуванню з сенсорів знімали показники мозкової активності, які потім розшифровували за допомогою лінійного і нелінійного ШІ-алгоритму.

Що в підсумку вийшло, можна прослухати в ролику нижче. Шанувальники Pink Floyd можуть прийти в жах від почутого. З іншого боку, мозок може слугувати своєрідним фільтром, що надає композиції новизну і певну оригінальність. Не можна виключати, що це, зокрема, призведе до появи нових музичних знахідок і навіть напрямків.

Під час пошуку орієнтованих на музику ділянок у головному мозку вчені вирішували інше завдання. Є великий клас пацієнтів, які страждають від порушень у сприйнятті та відтворенні мови. У загальному випадку це називається просодією. Просодія передбачає неможливість виділити в мові емоції, наголоси, акценти та інші нюанси, що сильно обмежує тих, хто страждає нею, в соціалізації. Зчитування мелодії прямо з мозку допомогло визначити центри, що відповідають за мелодику і ритм. Фактично це шлях до подолання недуги за допомогою імплантатів і ШІ-алгоритмів.

Виявилося, що за музичну активність мозку відповідають інші відділи, ніж ті, що підтримують мовлення. Насамперед – це верхня скронева звивина, а також ділянки в сенсорно-моторній корі та нижній лобовій звивині. У цих областях було розташовано 347 електродів із 2268, встановлених для експерименту. Це та роздільна здатність, з якою було зчитано з мозку легендарну композицію Pink Floyd, що напевно можна поліпшити в наступних експериментах. Цікаво, як до цього поставляться правовласники?

Читайте також:

• Вчені винайшли скло, яке міцніше за звичайне в 10 разів
• Фізики МТІ маніпулювали квантово заплутаними атомами так, що ті «подорожували в часі»