Musik yang dihasilkan oleh kecerdasan buatan (AI) sudah menjadi kenyataan. Alat AI sekarang dapat membuat musik hanya dengan prompt teks dan hasilnya melebihi semua harapan.
Namun, ini tidak berarti alat AI dapat langsung membuat musik. Sebaliknya, musik melewati generator gambar AI yang membuat spektogram musik. Anda kemudian dapat mengonversi spektrogram ini menjadi klip audio. Apakah ini berarti musik buatan AI akan menggantikan musik buatan manusia di masa depan?
AI berbasis gambar mengajarkan algoritme komputer untuk mengenali gambar tempat dan objek. Setelah itu, algoritme digunakan untuk mereproduksi gambar yang mirip tetapi unik. DALL-E dan Difusi Stabil adalah contoh yang bagus. Untuk saat ini, Anda dapat membuat program ini merender apapun yang Anda inginkan. Semua melalui teks!
Nah, alat AI yang bisa membuat spektogram itu namanya Riffusion. Ini adalah proyek AI terbaru, dan pada intinya, ini adalah penghasil gambar dari teks berdasarkan difusi stabil (Stable Diffusion). Tapi bagaimana dia bisa menghasilkan musik?
Di belakang Riffusion adalah ahli robot Heik Martiros dan pengembang perangkat lunak Seth Forsgren. Mereka ingin menguji apakah program AI modern dapat bekerja di bidang audio. Maka dimulailah perjalanan pembuatan musik Riffusion. Forsgren berbicara tentang teknologi seperti ini: “Hake dan saya bermain di sebuah band kecil bersama, dan kami memulai proyek hanya karena kami menyukai musik. Setelah melihat hasil menakjubkan dari Difusi Stabil untuk pembuatan gambar, kami bertanya pada diri sendiri seperti apa menggunakan pendekatan difusi untuk menciptakan musik?
Untuk mengetahuinya, tim yang terdiri dari dua orang melatih Stable Diffusion open-source pada gambar spektogram. Mereka digabungkan dengan teks. Setelah itu, program tersebut mampu membuat spektogram musik berdasarkan petunjuk tertentu.
Pada awalnya, mereka tidak tahu apakah arsitektur model Stable Diffusion dapat membuat gambar spektogram dengan akurasi yang cukup untuk diubah menjadi audio, tetapi ternyata hal itu dapat dilakukan dan banyak lagi. Martiros dan Forsgren mempublikasikan hasilnya di situs resmi Riffusion. Awalnya itu adalah proyek hobi. Tapi sekarang pengunjung bisa menambahkan tips teks mereka sendiri. Ini akan memaksa Riffusion untuk menghasilkan spektogram. Nantinya, pengunjung bisa menggunakannya sebagai klip audio dan memutarnya di situs.
Hasil pada tahap ini mungkin tidak berkualitas tinggi. Tapi itu pasti tidak seburuk yang Anda kira.
Riffusion juga dapat mencoba memainkan lagu yang termasuk rap dengan gaya Eminem dan K-Pop. Tapi fungsi menghasilkan lirik tidak begitu bagus. Alih-alih teks, Anda akan mendengar omong kosong manusia yang merdu. Tapi yang paling menarik adalah omong kosong ini masih cocok dengan nada lagunya.
Teknologi ini belum siap menggantikan musik buatan manusia. Tetapi proyek tersebut menunjukkan kepada kita bahwa algoritme pemrosesan gambar AI masih memiliki potensi besar. Segera bisa menjadi asisten penulis musik. Mungkin untuk mendapatkan inspirasi untuk menulis lagu.
Anda dapat membantu Ukraina melawan penjajah Rusia. Cara terbaik untuk melakukannya adalah dengan menyumbangkan dana ke Angkatan Bersenjata Ukraina melalui selamatkan hidup atau melalui halaman resmi NBU.
Juga menarik: