Meta Platforms all'evento annuale Meta Connect in California presentato diverse nuove funzionalità AI per le sue app popolari Facebook, Instagram e WhatsApp, ma l’innovazione più impressionante del gigante della tecnologia potrebbe essere passata inosservata a molti. Stiamo parlando del modello Llama 2 Long AI.
Un team di ricercatori dell'azienda Meta ha pubblicato in qualche modo in sordina un articolo in cui presentavano un nuovo modello di intelligenza artificiale, Llama 2 Long, in grado di generare risposte coerenti e pertinenti alle lunghe domande degli utenti. Al massimo, dicono, supera alcuni dei migliori concorrenti del settore.
Llama 2 Long è un'estensione lama 2, un modello di intelligenza artificiale open source Meta rilasciato durante l'estate che può apprendere da una varietà di fonti di dati ed eseguire una varietà di attività come codifica, matematica, comprensione del linguaggio e altro ancora. Tuttavia, Llama 2 Long è stato addestrato su più dati contenenti testi più lunghi e questo algoritmo è stato modificato per gestire sequenze di informazioni più lunghe. Ciò gli consente di superare le prestazioni di GPT-3.5 Turbo e Claude 2 di OpenAI, che hanno limiti sulla quantità di contesto che possono utilizzare per generare risposte.
Ricercatori Meta ha utilizzato diverse versioni di Llama 2: da 7 a 70 miliardi di parametri, ovvero valori che il modello AI può modificare apprendendo dai dati. Hanno aggiunto altri 400 miliardi di token (unità di testo) di dati che contenevano testi più lunghi rispetto al set di dati del modello originale. Hanno anche leggermente modificato l’architettura del modello AI utilizzando la tecnica Rotary Positional Embedding (RoPE) in modo che il modello possa generare risposte accurate e utili utilizzando meno informazioni e memoria rispetto ad altri metodi.
Il team ha utilizzato l'apprendimento per rinforzo dal feedback umano (RLHF), un metodo in cui il modello AI viene premiato per le risposte corrette e corrette da valutatori umani, e i dati sintetici vengono generati dalla stessa chat di Llama 2 per migliorare le sue prestazioni in vari compiti. .
Il documento afferma che il modello può generare risposte di alta qualità ai messaggi dell'utente lunghi fino a 200 caratteri, equivalenti a circa 40 pagine di testo. I ricercatori affermano che Llama 2 Long rappresenta un passo avanti verso la creazione di modelli di intelligenza artificiale più generali e versatili in grado di soddisfare le esigenze complesse e diversificate degli utenti. Riconoscono inoltre le potenziali implicazioni etiche e sociali di tali modelli e chiedono ulteriori ricerche e dialoghi su come utilizzarli in modo responsabile e vantaggioso.
Leggi anche: