Meta Platforms na letnem dogodku Meta Connect v Kaliforniji predstavljeno več novih funkcij AI za njegove priljubljene aplikacije Facebook, Instagram in WhatsApp, vendar je najbolj impresivna inovacija tehnološkega velikana mnogim morda ostala neopažena. Govorimo o modelu Llama 2 Long AI.
Ekipa raziskovalcev iz podjetja Meta je nekako potiho objavila članek, v katerem je predstavila nov model umetne inteligence Llama 2 Long, ki je sposoben generirati skladne in relevantne odgovore na dolga uporabniška vprašanja. Pravijo, da kvečjemu prekaša nekatere najboljše konkurente v industriji.
Llama 2 Long je podaljšek Lama 2, odprtokodni model umetne inteligence Meta, izdan čez poletje, ki se lahko uči iz različnih podatkovnih virov in izvaja različne naloge, kot so kodiranje, matematika, razumevanje jezika in drugo. Vendar je bil Llama 2 Long usposobljen za več podatkov, ki so vsebovali daljša besedila, in ta algoritem je bil spremenjen za obdelavo daljših zaporedij informacij. To mu omogoča, da prekaša OpenAI GPT-3.5 Turbo in Claude 2, ki imata omejitve glede količine konteksta, ki ju lahko uporabita za ustvarjanje odgovorov.
Raziskovalci Meta uporabljal različne različice Llame 2 - od 7 milijard do 70 milijard parametrov, torej vrednosti, ki jih lahko AI model spreminja z učenjem iz podatkov. Dodali so še 400 milijard žetonov (enot besedila) podatkov, ki so vsebovali daljša besedila od prvotnega nabora podatkov modela. Prav tako so nekoliko spremenili arhitekturo modela AI s tehniko Rotary Positional Embedding (RoPE), tako da lahko model ustvari natančne in uporabne odgovore z uporabo manj informacij in pomnilnika kot druge metode.
Ekipa je uporabila okrepitveno učenje iz človeških povratnih informacij (RLHF), metodo, pri kateri je model AI nagrajen za pravilne odgovore in popravljen s strani človeških ocenjevalcev, sintetične podatke pa ustvari sam klepet Llama 2. za izboljšanje njegove učinkovitosti pri različnih nalogah .
Članek trdi, da lahko model ustvari visokokakovostne odgovore na uporabniške pozive, dolge do 200 znakov, kar ustreza približno 40 stranem besedila. Raziskovalci pravijo, da je Llama 2 Long korak k ustvarjanju bolj splošnih in vsestranskih modelov umetne inteligence, ki lahko zadovoljijo kompleksne in raznolike potrebe uporabnikov. Prav tako priznavajo morebitne etične in družbene posledice takšnih modelov ter pozivajo k nadaljnjim raziskavam in dialogu o tem, kako jih uporabljati odgovorno in koristno.
Preberite tudi: