Når vi hører kunstig intelligens og maskinlæring, forestiller vi os en computer, der kan tænke og lære selv. Altså praktisk talt som menneske.
Vi opfatter verden gennem en kombination af flere sanser, såsom syn, hørelse og talegenkendelse. Men maskiner fortolker verden ved hjælp af data behandlet af algoritmer. Det vil sige, at når maskinen ser et foto, oversætter den det til et sæt metadata, som den bruger til at udføre opgaven. Og hvis du komplicerer opgaven, det vil sige hvor der vil være lyd ud over billedet, så begynder AI at gå tabt.
"Hovedproblemet her er, hvordan kan en maskine forene disse forskellige modaliteter? Det er nemt for os mennesker. Vi ser en bil, og så hører vi lyden af en bil, der kører forbi, og vi ved, at det er det samme. Men for maskinlæring er alt ikke så enkelt", — sagde Oleksandr Liu, en kandidatstuderende ved Computer Science and Artificial Intelligence Laboratory (CSAIL) og den første forfatter til et papir om dette problem.
Liu og hans kolleger udviklede en kunstig intelligensmetode, der lærer at repræsentere data på en måde, der fanger begreber, der er fælles for visuelle og lydmodaliteter. For eksempel kan deres metode lære, at handlingen af et barn, der græder i en video, er relateret til ordet "græder" i et lydklip. Ved at bruge denne viden kan deres maskinlæringsmodel bestemme, hvor en bestemt handling finder sted i en video og få øje på den.
Denne metode kan en dag blive brugt til at hjælpe robotter med at lære om begreber i verden gennem perception, mere som hvordan mennesker gør. Modellen har stadig nogle begrænsninger, som forskerne håber at løse i det fremtidige arbejde. Indtil videre har deres forskning fokuseret på data fra to modaliteter på samme tid, men i den virkelige verden står mennesker samtidig med mange datastrømme, som de behandler uden at tænke. Maskinerne har endnu ikke lært dette.
Du kan hjælpe Ukraine med at kæmpe mod de russiske angribere. Den bedste måde at gøre dette på er at donere midler til Ukraines væbnede styrker gennem Red livet eller via den officielle side NBU.
Læs også: