Fredag meddelte Koko-medstifter Rob Morris kl Twitter, at hans firma udførte et eksperiment for at give AI-skrevet mental sundhed rådgivning til 4 mennesker uden forudgående meddelelse, rapporterer The Verge. Kritikere kaldte eksperimentet dybt uetisk, fordi Koko ikke indhentede informeret samtykke fra de personer, der søgte råd. Koko er en non-profit mental sundhedsplatform, der forbinder teenagere og voksne med behov for mental sundhedspleje med frivillige gennem beskedapps som f.eks. Telegram og Discord.
På Discord logger brugere på Koko Cares-serveren og sender direkte beskeder til Koko-botten, som stiller en række multiple-choice-spørgsmål (f.eks. "Hvad er den mørkeste tanke, du har om dette?"). Det deler derefter anonymt personens bekymring, optaget som et par sætninger med tekst, med en anden på serveren, som kan svare anonymt med en kort besked.
https://twitter.com/RobertRMorris/status/1611450197707464706?ref_src=twsrc%5Etfw%7Ctwcamp%5Etweetembed%7Ctwterm%5E1611450197707464706%7Ctwgr%5Ea36b67a72ef02f3601dfae160441f1250a68dc2a%7Ctwcon%5Es1_c10&ref_url=https%3A%2F%2Farstechnica.com%2Finformation-technology%2F2023%2F01%2Fcontoversy-erupts-over-non-consensual-ai-mental-health-experiment%2F
I et eksperiment med kunstig intelligens (AI), der involverede omkring 30 meddelelser, sagde Morris, havde frivillige, der hjalp andre, muligheden for at bruge et svar automatisk genereret af OpenAI's GPT-3 store sprogmodel i stedet for at skrive det uafhængigt (GPT-3 er teknologien bag den nyligt populære ChatGPT chatbot). I sit tweet bemærker Morris, at folk roste AI-genererede svar, indtil de fandt ud af, at de var skrevet af AI, hvilket tyder på en central mangel på informeret samtykke i mindst én fase af eksperimentet:
"Beskeder komponeret af AI (og kontrolleret af mennesker) blev vurderet væsentligt højere end dem skrevet af mennesker selv. Svartid reduceret med 50 % til mindre end et minut. Og alligevel… vi fjernede denne funktion fra vores platform ret hurtigt. Hvorfor? Da folk fandt ud af, at beskederne var maskingenereret, holdt det op med at virke. Simuleret sympati virker mærkelig, tom."
I introduktionen til serveren skriver administratorerne: “Koko forbinder dig med rigtige mennesker, der virkelig forstår dig. Ikke terapeuter, ikke rådgivere, bare folk som dig." Kort efter Morris postede beskeden, modtog han mange svar, der kritiserede eksperimentet som uetisk, idet han citerede bekymringer om manglen på informeret samtykke og satte spørgsmålstegn ved, om eksperimentet var blevet godkendt af Institutional Review Board (IRB). I USA er det ulovligt at udføre forskning på mennesker uden lovligt effektivt informeret samtykke, medmindre IRB bestemmer, at samtykke kan fraviges.
I et tweet som svar sagde Morris, at eksperimentet var "fritaget" fra krav om informeret samtykke, fordi han ikke havde planer om at offentliggøre resultaterne, hvilket udløste en parade af forargelse.
Idéen med at bruge AI som terapeut er langt fra ny, men det, der gør Kokos eksperiment anderledes end typiske AI-terapitilgange, er, at patienter har en tendens til at vide, at de ikke taler med en levende person. I tilfældet Koko involverede platformen en hybrid tilgang, hvor en menneskelig mellemmand kunne gennemgå en besked, før den sendte den, i stedet for et direkte chatformat. Men uden informeret samtykke siger kritikere, at Koko overtrådte etiske regler designet til at beskytte sårbare mennesker mod skadelig eller grusom forskningspraksis.
Som tidligere IRB-medlem og formand har du udført menneskelig forskning på en sårbar befolkning uden IRB-godkendelse eller dispensation (DU kan ikke bestemme). Måske MGH IRB process er så langsom, fordi den omhandler ting som dette. Uopfordret rådgivning: advokat op
— Daniel Shoskes (@dshoskes) Januar 7, 2023
Mandag postede Morris et indlæg, der reagerede på kontroversen og forklarede Kokos rejse til GPT-3 og AI generelt: "Jeg modtager kritik, bekymringer og spørgsmål om dette arbejde med empati og åbenhed. Vi er forpligtet til at sikre, at enhver brug af kunstig intelligens er følsom, med en dyb bekymring for privatliv, gennemsigtighed og risikobegrænsning. Vores Clinical Advisory Board mødes for at diskutere retningslinjer for fremtidigt arbejde, herunder IRB-godkendelse."
Du kan hjælpe Ukraine med at kæmpe mod de russiske angribere. Den bedste måde at gøre dette på er at donere midler til Ukraines væbnede styrker gennem Red livet eller via den officielle side NBU.
Læs også: