Ett antal företag inklusive Microsoft і Facebook, och till och med forskare från University of Southern California, utvecklar teknologier för att bekämpa deepfakes och förhindra att de sprids av gula medier och desinformation i allmänhet. Men en grupp forskare lyckades fortfarande lura dem.
Ett team av datavetare vid University of California, San Diego varnade för att det fortfarande är möjligt att lura befintliga deepfake-detekteringssystem genom att infoga indata som kallas "konkurrerande exempel" i varje videobildruta. Forskarna presenterade sina resultat vid WACV 2021 Computer Vision Conference, som hölls online förra månaden.
Konkurrerande exempel är något förändrade indata som gör att system för artificiell intelligens, som maskininlärningsmodeller, gör misstag. Dessutom visade teamet att attacken fortfarande fungerar efter att ha komprimerat videon. I videon ovan visar forskarna att XceptionNet, en deepfake-detektor, märker deras konkurrerande video som "riktig".
De flesta av dessa detektorer fungerar genom att spåra ansikten i en video och skicka beskurna ansiktsdata till ett neuralt nätverk för analys. Det neurala nätverket kommer sedan att analysera dessa data och hitta element som vanligtvis är dåligt återgivna i djupförfalskningar, såsom flimmer.
Genom att infoga konkurrerande exempel fann forskarna att de kunde lura dessa deepfake-detektorer att tro att videorna var verkliga.
De konstaterar i tidningen att "för att kunna använda dessa djupfakedetektorer i praktiken är det viktigt att utvärdera dem mot en adaptiv motståndare som är medveten om detta skydd och medvetet försöker bryta det. Vi visar att moderna metoder för deepfake-detektering enkelt kan kringgås om angriparen är helt eller till och med delvis medveten om detektorn."
Som dessa forskare har visat, kanske den automationsteknik som utvecklas för att bekämpa desinformation ännu inte klarar uppgiften.
Läs också: