מוזיקה שנוצרה על ידי בינה מלאכותית (AI) כבר הפכה למציאות. כלי בינה מלאכותית יכולים כעת ליצור מוזיקה בלי שום דבר מלבד הנחיית טקסט והתוצאות עולות על כל הציפיות.
עם זאת, זה לא אומר שכלי AI יכולים ליצור מוזיקה ישירות. במקום זאת, המוזיקה עוברת דרך מחוללי תמונות AI שיוצרים ספקטרוגרמות של המוזיקה. לאחר מכן תוכל להמיר את הספקטרוגרמות הללו לקטעי אודיו. האם זה אומר שמוזיקה שנוצרה על ידי בינה מלאכותית תחליף בעתיד מוזיקה מעשה ידי אדם?
בינה מלאכותית מבוססת תמונה מלמדת אלגוריתמי מחשב לזהות תמונות של מקומות ואובייקטים. לאחר מכן, אלגוריתמים משמשים לשחזור תמונות דומות אך ייחודיות. DALL-E ו-Stable Diffusion הם דוגמאות טובות. לעת עתה, אתה יכול לגרום לתוכניות אלה לעבד כל מה שתרצה. הכל באמצעות טקסט!
אז, כלי הבינה המלאכותית שיכול ליצור ספקטרוגרמות נקרא Riffusion. זהו פרויקט הבינה המלאכותית האחרון, ובמהותו, זהו מחולל תמונות מטקסט המבוסס על דיפוזיה יציבה (Stable Diffusion). אבל איך הוא הפך להיות מסוגל ליצור מוזיקה?
מאחורי Riffusion עומדים הרובוטיקאי היק מרטירוס ומפתח התוכנה סת' פורסגרן. הם רצו לבדוק אם תוכניות AI מודרניות יכולות לעבוד בתחום האודיו. כך החל מסע יצירת המוזיקה של ריפיוז'ן. פורסגרן מדבר על הטכנולוגיה כך: "הייק ואני מנגנים יחד בלהקה קטנה, והתחלנו את הפרויקט רק בגלל שאנחנו אוהבים מוזיקה. לאחר שראינו את התוצאות המדהימות של Stable Diffusion ליצירת תמונות, שאלנו את עצמנו איך זה ייראה להשתמש בגישת דיפוזיה ליצירת מוזיקה?
כדי לגלות זאת, צוות של שניים אימן את ה-Stable Diffusion בקוד פתוח על תמונות ספקטרוגרמה. הם שולבו עם הטקסט. לאחר מכן, התוכנית הצליחה ליצור ספקטרוגרמות של מוזיקה על סמך רמזים מסוימים.
בהתחלה, הם לא ידעו אם ארכיטקטורת המודל Stable Diffusion יכולה ליצור תמונת ספקטרוגרמה עם דיוק מספיק כדי להמיר לאודיו, אבל התברר שהיא יכולה לעשות את זה ועוד. מרטירוס ופורסגרן פרסמו את תוצאותיהם באתר האינטרנט הרשמי של Riffusion. בהתחלה זה היה פרויקט תחביב. אבל עכשיו מבקרים יכולים להוסיף עצות טקסט משלהם. זה יאלץ את Riffusion ליצור ספקטרוגרם. מאוחר יותר, המבקרים יכולים להשתמש בו כקטע שמע ולהשמיע אותו באתר.
ייתכן שהתוצאות בשלב זה אינן באיכות גבוהה במיוחד. אבל זה בהחלט לא כל כך גרוע כמו שאתה יכול לחשוב.
Riffusion עשוי גם לנסות להשמיע שירים הכוללים ראפ בסגנון אמינם ו-K-Pop. אבל הפונקציה של יצירת מילים לא כל כך טובה. במקום טקסט, תשמעו ג'יבריש אנושי מתנגן. אבל הדבר המעניין ביותר הוא שהג'יבריש הזה עדיין תואם את הטון של השיר.
הטכנולוגיה הזו עדיין לא מוכנה להחליף מוזיקה מעשה ידי אדם. אבל הפרויקט הראה לנו שלאלגוריתמים לעיבוד תמונה בינה מלאכותית יש עדיין פוטנציאל גדול. בקרוב זה יכול להפוך לעוזר של מחברי מוזיקה. אולי כדי לקבל קצת השראה לכתוב שיר.
אתה יכול לעזור לאוקראינה להילחם נגד הפולשים הרוסים. הדרך הטובה ביותר לעשות זאת היא לתרום כספים לכוחות המזוינים של אוקראינה באמצעות הצלת חיים או דרך העמוד הרשמי NBU.
מעניין גם: