NVIDIA har nettopp gitt ut en gratis chatbot-demo som kjører lokalt på din PC. Dette er veldig praktisk fordi det gir chatboten tilgang til filene og dokumentene dine. Du kan gi Chat med RTX visse personopplysninger og be ham lage et CV basert på denne informasjonen. Du kan også stille den spørsmål som du ville gjort med hvilken som helst chatbot, og den vil dykke ned i dataene dine for å få svar.
Selskapet sier at det lar brukere "raskt og enkelt koble lokale PC-filer som et datasett til en stor åpen kildekode-språkmodell som Mistral eller Llama 2." NVIDIA gir et eksempel på en bruker som spør en chatbot om en restaurant anbefalt av en partner mens han er i Las Vegas. Programvaren skanner lokale filer for å finne svaret. Den støtter en rekke filformater, inkludert .txt, .pdf, .doc, .docx og .xml. Selskapet sier at det laster opp relevante filer til datasettet "på sekunder."
Chat med RTX integrerer også videoer og spillelister YouTube. Du kan legge til nettadressen til videoen i datasettet, og den vil integrere kunnskapen i videoen for kontekstuelle søk. NVIDIA sier at det vil være nyttig når du ber om reiseanbefalinger "basert på innhold fra favorittvideoer fra influencere" eller når du søker etter opplæringsprogrammer og sammendrag hentet fra pedagogiske ressurser.
Dette høres ut som et stort skritt mot noe som en ekte digital assistent som fungerer i sammenheng med dine personlige data. De fleste chatbots sender data til skyen, men Chat med RTX «lar brukere behandle sensitive data på en lokal datamaskin uten å måtte dele dem med en tredjepart eller ha en Internett-tilkobling». Så det er tryggere og mer kontekstorientert kommunikasjon.
Det er noen begrensninger. Dette er et demoprodukt, så forvent mange feil NVIDIA bør begynne å fikse dem så snart brukere begynner å skrive feilrapporter og slikt. Det er også noen strenge maskinvarebegrensninger her. Chat med RTX fungerer bare på Windows 11-datamaskiner med GPUer NVIDIA GeForce RTX 30-serien eller høyere og minst 8 GB VRAM.
Nylig NVIDIA viser virkelig frem sin AI-dyktighet ettersom selskapet nettopp har lansert sin neste generasjon AI-superdatamaskinbrikker. Den svømmer rett og slett i overskudd, først og fremst på grunn av AI- og datasentersegmentene.
Les også: