Sexta-feira, 29º de março de 2024

área de trabalho v4.2.1

Root NationНовиниnotícias de TIUm gerador de imagem AI foi ensinado a criar música

Um gerador de imagem AI foi ensinado a criar música

-

A música gerada por inteligência artificial (IA) já se tornou uma realidade. As ferramentas de IA agora podem criar música com nada além de um prompt de texto e os resultados superam todas as expectativas.

No entanto, isso não significa que as ferramentas de IA possam criar música diretamente. Em vez disso, a música passa por geradores de imagem AI que criam espectrogramas da música. Você pode então converter esses espectrogramas em clipes de áudio. Isso significa que a música gerada por IA substituirá a música feita pelo homem no futuro?

Riffusão

A IA baseada em imagens ensina algoritmos de computador a reconhecer imagens de lugares e objetos. Depois disso, algoritmos são usados ​​para reproduzir imagens semelhantes, mas únicas. DALL-E e difusão estável são bons exemplos. Por enquanto, você pode fazer com que esses programas renderizem o que quiser. Tudo através de texto!

Assim, a ferramenta de IA que pode criar espectrogramas se chama Riffusion. Este é o mais recente projeto de IA e, em sua essência, é um gerador de imagens a partir de texto baseado em difusão estável (Stable Diffusion). Mas como ele se tornou capaz de gerar música?

Riffusão

Por trás do Riffusion estão o roboticista Heik Martiros e o desenvolvedor de software Seth Forsgren. Eles queriam testar se os programas modernos de IA poderiam funcionar no campo de áudio. Assim começou a jornada musical do Riffusion. Forsgren fala sobre a tecnologia assim: “Hake e eu tocamos juntos em uma pequena banda e começamos o projeto apenas porque amamos música. Depois de ver os resultados impressionantes do Stable Diffusion para geração de imagens, nos perguntamos como seria usar uma abordagem de difusão para criar música?

Para descobrir, uma equipe de dois treinou o Stable Diffusion de código aberto em imagens de espectrograma. Eles foram combinados com o texto. Depois disso, o programa conseguiu criar espectrogramas de música com base em certas pistas.

A princípio, eles não sabiam se a arquitetura do modelo Stable Diffusion poderia criar uma imagem de espectrograma com precisão suficiente para converter em áudio, mas descobriu-se que ela poderia fazer isso e muito mais. Martiros e Forsgren publicaram seus resultados no site oficial do Riffusion. No começo era um projeto de hobby. Mas agora os visitantes podem adicionar suas próprias dicas de texto. Isso forçará o Riffusion a gerar um espectrograma. Mais tarde, os visitantes podem usá-lo como um clipe de áudio e reproduzi-lo no site.

Os resultados nesta fase podem não ser de qualidade muito elevada. Mas definitivamente não é tão ruim quanto você pode pensar.

O Riffusion também pode tentar reproduzir músicas que incluem rap no estilo de Eminem e Kpop. Mas a função de gerar letras não é tão boa. Em vez de texto, você ouvirá um jargão humano melodioso. Mas o mais interessante é que esse jargão ainda combina com o tom da música.

Essa tecnologia ainda não está pronta para substituir a música feita pelo homem. Mas o projeto nos mostrou que os algoritmos de processamento de imagem AI ainda têm um grande potencial. Em breve poderá se tornar um assistente para autores musicais. Talvez para obter alguma inspiração para escrever uma música.

Você pode ajudar a Ucrânia a lutar contra os invasores russos. A melhor maneira de fazer isso é doar fundos para as Forças Armadas da Ucrânia através Salva vida ou através da página oficial NBU.

Dzherelogizchina
Inscrever-se
Notificar sobre
convidado

0 Comentários
Avaliações incorporadas
Ver todos os comentários
Outros artigos
Inscreva-se para atualizações

Comentários recentes

Popular agora
0
Nós amamos seus pensamentos, por favor, comente.x