Als we kunstmatige intelligentie en machine learning horen, stellen we ons een computer voor die zelf kan denken en leren. Dat wil zeggen, praktisch als mens.
We nemen de wereld waar door een combinatie van verschillende zintuigen, zoals zicht, gehoor en spraakherkenning. Maar machines interpreteren de wereld met behulp van gegevens die door algoritmen worden verwerkt. Dat wil zeggen, wanneer de machine een foto ziet, vertaalt deze deze in een set metadata die hij gebruikt om de taak uit te voeren. En als je de taak ingewikkelder maakt, d.w.z. waar naast het beeld ook geluid zal zijn, begint de AI te verdwalen.
“Het belangrijkste probleem hier is hoe een machine deze verschillende modaliteiten met elkaar kan verzoenen? Het is makkelijk voor ons mensen. We zien een auto, en dan horen we het geluid van een auto die voorbij rijdt, en we weten dat het hetzelfde is. Maar voor machine learning is niet alles zo eenvoudig", - zei Oleksandr Liu, een afgestudeerde student aan het Computer Science and Artificial Intelligence Laboratory (CSAIL) en de eerste auteur van een paper gewijd aan dit probleem.
Liu en zijn collega's ontwikkelden een kunstmatige-intelligentiemethode die leert gegevens weer te geven op een manier die concepten vastlegt die gemeenschappelijk zijn voor visuele en audiomodaliteiten. Hun methode kan bijvoorbeeld leren dat de actie van een huilend kind in een video verband houdt met het woord 'huilen' in een audiofragment. Met behulp van deze kennis kan hun machine learning-model bepalen waar een bepaalde actie plaatsvindt in een video en deze herkennen.
Deze methode kan ooit worden gebruikt om robots te helpen meer te weten te komen over concepten in de wereld door middel van perceptie, meer zoals hoe mensen dat doen. Het model heeft nog steeds enkele beperkingen die de wetenschappers in toekomstig werk hopen aan te pakken. Tot nu toe richtte hun onderzoek zich op data van twee modaliteiten tegelijk, maar in de echte wereld worden mensen tegelijkertijd geconfronteerd met vele datastromen die ze zonder nadenken verwerken. Machines moeten dit nog leren.
U kunt Oekraïne helpen vechten tegen de Russische indringers. De beste manier om dit te doen is door geld te doneren aan de strijdkrachten van Oekraïne via Red het leven of via de officiële pagina NBU.
Lees ook: