Музыка, створаная штучным інтэлектам (AI), ужо стала рэальнасцю. Інструменты штучнага інтэлекту цяпер могуць ствараць музыку толькі з дапамогай тэкставай падказкі, і вынікі пераўзыходзяць усе чаканні.
Аднак гэта не азначае, што інструменты штучнага інтэлекту могуць непасрэдна ствараць музыку. Замест гэтага музыка праходзіць праз генератары малюнкаў AI, якія ствараюць спектраграмы музыкі. Затым вы можаце пераўтварыць гэтыя спектраграмы ў аўдыякліпы. Ці азначае гэта, што створаная штучным інтэлектам музыка ў будучыні заменіць музыку, створаную чалавекам?
AI на аснове малюнкаў вучыць камп'ютэрныя алгарытмы распазнаваць выявы месцаў і аб'ектаў. Пасля гэтага алгарытмы выкарыстоўваюцца для прайгравання падобных, але унікальных малюнкаў. DALL-E і Stable Diffusion - добрыя прыклады. На дадзены момант вы можаце прымусіць гэтыя праграмы адлюстроўваць усё, што заўгодна. Усё праз тэкст!
Такім чынам, інструмент AI, які можа ствараць спектраграмы, называецца Riffusion. Гэта апошні AI-праект, і па сваёй сутнасці, гэта генератар малюнкаў з тэксту на аснове стабільнай дыфузіі (Stable Diffusion). Але як ён стаў здольным ствараць музыку?
За Riffusion стаяць робататэхнік Хейк Марцірас і распрацоўшчык праграмнага забеспячэння Сэт Форсгрэн. Яны хацелі праверыць, ці могуць сучасныя праграмы штучнага інтэлекту працаваць у аўдыясферы. Так пачаўся музычны шлях Riffusion. Форсгрэн распавядае пра тэхналогію так: «Мы з Хэйкам граем у невялікай групе, і мы пачалі праект проста таму, што любім музыку. Убачыўшы ашаламляльныя вынікі Stable Diffusion для стварэння выявы, мы спыталі сябе, як бы выглядала выкарыстанне дыфузійнага падыходу для стварэння музыкі?
Каб высветліць гэта, каманда з двух чалавек навучыла праграму Stable Diffusion з адкрытым зыходным кодам на выявах спектраграм. Яны спалучаліся з тэкстам. Пасля гэтага праграма змагла стварыць спектрограммы музыкі на аснове пэўных падказак.
Спачатку яны не ведалі, ці можа архітэктура мадэлі Stable Diffusion стварыць відарыс спектраграмы з дастатковай дакладнасцю для пераўтварэння ў гук, але аказалася, што яна можа зрабіць гэта і многае іншае. Марцірас і Форсгрэн апублікавалі свае вынікі на афіцыйным сайце Riffusion. Спачатку гэта быў праект-хобі. Але цяпер наведвальнікі могуць дадаваць уласныя тэкставыя парады. Гэта прымусіць Riffusion стварыць спектраграму. Пазней наведвальнікі могуць выкарыстоўваць яго як аўдыяролік і прайграць на сайце.
Вынікі на гэтым этапе могуць быць не вельмі высокай якасці. Але гэта дакладна не так дрэнна, як вы думаеце.
Riffusion таксама можа спрабаваць прайграць песні, якія ўключаюць рэп у стылі эмінема і K-Pop. Але функцыя генерацыі тэкстаў не вельмі добрая. Замест тэксту вы пачуеце меладычную чалавечую тарабаршчыну. Але самае цікавае, што гэтая тарабаршчына ўсё ж адпавядае танальнасці песні.
Гэтая тэхналогія яшчэ не гатовая замяніць музыку, створаную чалавекам. Але праект паказаў нам, што алгарытмы апрацоўкі малюнкаў AI па-ранейшаму маюць вялікі патэнцыял. Неўзабаве ён можа стаць памочнікам для аўтараў музыкі. Магчыма, каб атрымаць натхненне, каб напісаць песню.
Вы можаце дапамагчы Украіне змагацца з расейскімі захопнікамі. Лепшы спосаб зрабіць гэта - ахвяраваць сродкі Узброеным сілам Украіны праз Выратаваць жыццё або праз афіцыйную старонку НБУ.
Таксама цікава: