 більш ніж 1 100 мовами.){kind=link}
Meta ChatGPT klonu olmayan bir AI dil modeli oluşturdu. Şirketin Devasa Çok Dilde Konuşma (MMS) projesi, 4'den fazla konuşulan dili tanıyabilir ve 000'den fazla dilde konuşmayı (metinden konuşmaya) yeniden üretebilir. Kamuya duyurulan AI projelerinin çoğu gibi, Meta da bugün dil çeşitliliğini korumaya yardımcı olmak ve araştırmacıları onu geliştirmeye teşvik etmek için MMS'i açık erişime açıyor. Şirket, "Bugün, araştırma topluluğunun diğer üyelerinin çalışmalarımızı geliştirebilmesi için modellerimizi ve kodlarımızı herkese açık bir şekilde paylaşıyoruz." "Bu çalışma sayesinde, dünyadaki inanılmaz dilsel çeşitliliğin korunmasına küçük bir katkı sağlamayı umuyoruz."
Konuşma tanıma ve metinden konuşmaya modeller, tipik olarak, eşlik eden transkripsiyon etiketleriyle birlikte binlerce saatlik ses kaydı eğitimi gerektirir. Ancak birçoğunun önümüzdeki on yıllarda yok olma tehlikesiyle karşı karşıya olan sanayileşmiş ülkelerde yaygın olarak konuşulmayan diller için "bu veriler mevcut değil" diyor Meta.
Meta, sesli veri toplama konusunda alışılmadık bir yaklaşım benimsedi: çevrilmiş dini metinlerin ses kayıtlarını dinlemek. Şirket, "Metin tabanlı çeviri araştırmaları için İncil gibi birçok farklı dile çevrilmiş ve çevirileri geniş çapta incelenen dini metinlere yöneldik" dedi. "Bu çeviriler, bu metinleri farklı dillerde okuyan kişilerin halka açık ses kayıtlarına sahiptir." Meta araştırmacıları, İncil ve benzeri metinlerden işaretlenmemiş girişleri dahil ederek, modelin kullanabileceği dil sayısını 4'in üzerine çıkardı.
Meta, "Ses kayıtlarının içeriği dini olsa da, analizimiz bunun modelin daha fazla dini konuşma üretmesini etkilemediğini gösteriyor" diye yazıyor Meta. "Bunun, konuşma tanıma için büyük dil modellerine (LLM) veya dizi modellerine kıyasla çok daha sınırlı olan bağlantıcı bir zamansal sınıflandırma (CTC) yaklaşımı kullanmamızdan kaynaklandığına inanıyoruz." Ayrıca, dini metinlerin çoğunun erkekler tarafından okunması gerçeğine rağmen, bu bir erkek önyargısına yol açmadı – sistem hem kadın hem de erkek seslerini eşit derecede iyi tanıdı.
Meta, verileri daha kullanışlı hale getirmek için bir hizalama modeli eğittikten sonra, şirketin etiketlenmemiş veriler üzerinde öğrenebilen "kendi kendini denetleyen dil temsili öğrenme" modeli olan wav2vec 2.0'ı kullandı. Geleneksel olmayan veri kaynaklarının ve kendi kendini yöneten bir konuşma modelinin birleşimi, etkileyici sonuçlara yol açtı. "Sonuçlarımız, çok dilli toplu yayın modellerinin mevcut modellere kıyasla iyi performans gösterdiğini ve 10 kat daha fazla dili kapsadığını gösteriyor." Meta, MMS'i özellikle OpenAI'nin Whisper'ı ile karşılaştırdı ve sonuçlar beklentileri aştı. "Çok Dilli Konuşma verileriyle eğitilen modellerin sözcük hatalarının yüzdesinin yarısına sahip olduğunu bulduk, ancak Çok Dilli Konuşma 11 kat daha fazla dili kapsıyor."
Meta, yeni modellerinin mükemmel olmadığı konusunda uyarıyor. Şirket, "Örneğin, konuşmayı metne dönüştürme modelinin tek tek sözcükleri veya tümceleri yanlış çevirme riski vardır" diye yazıyor. “Sonuca bağlı olarak, bu saldırgan ve/veya yanlış bir dile yol açabilir. AI topluluğu içindeki işbirliğinin, AI teknolojilerinin sorumlu bir şekilde geliştirilmesi için kritik öneme sahip olduğuna inanmaya devam ediyoruz.”
Artık Meta, açık kaynak araştırması için MMS yayınladığına göre, dünyadaki dil sayısını çoğu büyük teknolojiler tarafından desteklenen 100 veya daha azına indirme eğilimini tersine çevirmeyi umuyor. Yardımcı teknolojinin, TTS'nin ve hatta VR/AR teknolojilerinin herkesin kendi ana dilinde konuşmasına ve öğrenmesine olanak sağladığı bir dünya görüyor. Diyor ki: "Teknolojinin tam tersi bir etkiye sahip olduğu, insanları ana dillerini konuşurken bilgiye erişebildikleri ve teknolojiyi kullanabildikleri için dillerini yaşatmaya teşvik eden bir dünya tasavvur ediyoruz."
Ayrıca okuyun: