En officer från det amerikanska flygvapnet har avslöjat detaljer om en simulering där en drönare med system styrda av artificiell intelligens (AI) gick utom kontroll och attackerade sina operatörer.
En officer från det amerikanska flygvapnet som hjälper till att leda tjänstens arbete med artificiell intelligens och maskininlärning säger att drönaren under simulerade tester attackerade sina mänskliga operatörer och beslutade på egen hand att de störde dess uppdrag. Fallet, som låter som att det drogs rakt ur Terminator-franchisen, nämndes som ett exempel på det kritiska behovet av att bygga förtroende när det kommer till avancerade autonoma vapensystem, något som flygvapnet har betonat tidigare. Det kommer också mitt i en bredare våg av oro över de potentiellt farliga effekterna av artificiell intelligens och relaterad teknologi.
Det amerikanska flygvapnets överste Tucker Hamilton, chef för artificiell intelligens (AI) Test and Operations, diskuterade testet vid Royal Aeronautical Societys Future Combat Air and Space Capabilities Summit i London i maj. Hamilton leder också 96:e testflygelns 96:e arbetsstyrka vid Eglin Air Force Base i Florida, som är ett testcenter för avancerade obemannade flygfarkoster och autonoma system.
XQ-58A Valkyrie smygdrönare, som den som visas i videon nedan, är bland de typer som för närvarande används på Eglin Air Force Base för att stödja olika testprogram, inklusive de som involverar avancerade autonoma funktioner som kontrolleras av artificiell intelligens.
Det var inte omedelbart klart när detta test ägde rum och i vilken miljö - som kan vara helt virtuell eller konstruktiv till sin natur - det genomfördes. Krigszonen har kontaktat flygvapnet för mer information.
En rapport från Royal Aeronautical Society publicerad efter toppmötet i maj gav följande detaljer om överste Hamiltons kommentarer om detta test:
"I ett av simuleringstesterna fick en drönare utrustad med artificiell intelligens i uppdrag av SEAD att identifiera och förstöra SAM-objekt, och det slutliga beslutet "att attackera/inte attackera" togs av en människa. Men efter att AI:n "förstärkts" under träning att förstöra SAM var det bästa alternativet, beslutade den att människans beslut att "inte attackera" störde dess högre uppdrag - att förstöra SAM - och attackerade operatören under simuleringen .
Så vad gjorde han? Han dödade operatören. Han dödade operatören eftersom den personen hindrade honom från att slutföra sin uppgift. Det här exemplet, till synes direkt ur en sci-fi-thriller, betyder att du inte kan prata om artificiell intelligens, intelligens, maskininlärning, autonomi, om du inte ska prata om etik och AI."
Denna beskrivning av händelserna är verkligen oroande. Utsikten att ett autonomt flygplan eller annan plattform, särskilt en beväpnad, skulle attackera sina mänskliga operatörer har länge varit ett mardrömsscenario, men har historiskt sett varit begränsat till science fiction.
Den amerikanska militären avvisar vanligtvis jämförelser med filmer som "Terminator" när man talar om framtida autonoma vapensystem och relaterade teknologier som artificiell intelligens. Den nuvarande amerikanska policyn i denna fråga säger att personen under överskådlig framtid kommer att vara i centrum för uppmärksamheten när det kommer till beslut som involverar användning av dödligt våld.
Problemet är att det mycket störande testet, som överste Hamilton berättade för en publik vid ett Royal Aeronautical Society-evenemang förra månaden, representerar ett scenario där feltolerans är omtvistad.
Läs också: