Meta Platforms no evento anual Meta Connect na Califórnia apresentado vários novos recursos de IA para seus aplicativos populares Facebook, Instagram e WhatsApp, mas a inovação mais impressionante da gigante tecnológica pode ter passado despercebida por muitos. Estamos falando do modelo Llama 2 Long AI.
Uma equipe de pesquisadores da empresa Meta publicou discretamente um artigo no qual apresentava um novo modelo de inteligência artificial, Llama 2 Long, capaz de gerar respostas coerentes e relevantes a longas consultas de usuários. No máximo, dizem eles, supera alguns dos melhores concorrentes do setor.
Llama 2 Long é uma extensão lhama 2, um modelo de IA de código aberto Meta lançado durante o verão que pode aprender com uma variedade de fontes de dados e executar uma variedade de tarefas como codificação, matemática, compreensão de linguagem e muito mais. No entanto, o Llama 2 Long foi treinado em mais dados contendo textos mais longos, e este algoritmo foi modificado para lidar com sequências mais longas de informações. Isso permite superar o GPT-3.5 Turbo e Claude 2 da OpenAI, que têm limites na quantidade de contexto que podem usar para gerar respostas.
Pesquisadores Meta usou diferentes versões do Llama 2 - de 7 bilhões a 70 bilhões de parâmetros, ou seja, valores que o modelo de IA pode alterar aprendendo com os dados. Eles adicionaram outros 400 bilhões de tokens (unidades de texto) de dados que continham textos mais longos do que o conjunto de dados do modelo original. Eles também ajustaram ligeiramente a arquitetura do modelo de IA usando a técnica Rotary Positional Embedding (RoPE) para que o modelo pudesse gerar respostas precisas e úteis usando menos informações e memória do que outros métodos.
A equipe utilizou aprendizagem por reforço a partir de feedback humano (RLHF), um método onde o modelo de IA é recompensado por respostas corretas e corrigido por avaliadores humanos, e dados sintéticos são gerados pelo próprio chat do Llama 2 para melhorar seu desempenho em diversas tarefas. .
O artigo afirma que o modelo pode gerar respostas de alta qualidade a solicitações do usuário com até 200 caracteres, equivalente a cerca de 40 páginas de texto. Os pesquisadores dizem que o Llama 2 Long é um passo em direção à criação de modelos de IA mais gerais e versáteis que podem atender às necessidades complexas e diversas dos usuários. Reconhecem também as potenciais implicações éticas e sociais de tais modelos e apelam a mais investigação e diálogo sobre como utilizá-los de forma responsável e benéfica.
Leia também: