Fredag kunngjorde Koko-medgründer Rob Morris kl Twitter, at selskapet hans gjennomførte et eksperiment for å gi AI-skrevet mental helseråd til 4 mennesker uten forvarsel, rapporterer The Verge. Kritikere kalte eksperimentet dypt uetisk fordi Koko ikke innhentet informert samtykke fra personene som søkte råd. Koko er en ideell plattform for mental helse som kobler tenåringer og voksne med behov for psykisk helsehjelp med frivillige gjennom meldingsapper som f.eks. Telegram og Discord.
På Discord logger brukere på Koko Cares-serveren og sender direkte meldinger til Koko-boten, som stiller en rekke flervalgsspørsmål (f.eks. "Hva er den mørkeste tanken du har om dette?"). Den deler deretter anonymt personens bekymring, registrert som noen få setninger med tekst, med noen andre på serveren, som kan svare anonymt med en egen kort melding.
https://twitter.com/RobertRMorris/status/1611450197707464706?ref_src=twsrc%5Etfw%7Ctwcamp%5Etweetembed%7Ctwterm%5E1611450197707464706%7Ctwgr%5Ea36b67a72ef02f3601dfae160441f1250a68dc2a%7Ctwcon%5Es1_c10&ref_url=https%3A%2F%2Farstechnica.com%2Finformation-technology%2F2023%2F01%2Fcontoversy-erupts-over-non-consensual-ai-mental-health-experiment%2F
I et eksperiment med kunstig intelligens (AI) som involverte rundt 30 3 meldinger, sa Morris, hadde frivillige som hjalp andre muligheten til å bruke et svar automatisk generert av OpenAIs GPT-3 store språkmodell i stedet for å skrive den uavhengig (GPT-XNUMX er teknologien bak den nylig populære ChatGPT chatboten). I sin tweet bemerker Morris at folk berømmet AI-genererte svar til de fikk vite at de var skrevet av AI, noe som tyder på en viktig mangel på informert samtykke i minst én fase av eksperimentet:
«Meldinger komponert av AI (og kontrollert av mennesker) ble vurdert betydelig høyere enn de som ble skrevet av mennesker selv. Responstid redusert med 50 % til mindre enn ett minutt. Og likevel ... fjernet vi denne funksjonen fra plattformen vår ganske raskt. Hvorfor? Når folk fant ut at meldingene var maskingenerert, sluttet det å fungere. Simulert sympati virker rart, tomt."
I introduksjonen til serveren skriver administratorene: «Koko forbinder deg med ekte mennesker som virkelig forstår deg. Ikke terapeuter, ikke rådgivere, bare folk som deg." Rett etter at Morris la ut meldingen, mottok han mange svar som kritiserte eksperimentet som uetisk, med henvisning til bekymringer om mangelen på informert samtykke og stilte spørsmål ved om eksperimentet hadde blitt godkjent av Institutional Review Board (IRB). I USA er det ulovlig å forske på mennesker uten juridisk effektivt informert samtykke, med mindre IRB bestemmer at samtykke kan fravikes.
I en tweet som svar sa Morris at eksperimentet var "unntatt" fra krav om informert samtykke fordi han ikke hadde noen planer om å publisere resultatene, noe som utløste en parade av raseri.
Ideen om å bruke AI som terapeut er langt fra ny, men det som gjør Kokos eksperiment annerledes enn typiske AI-terapitilnærminger er at pasienter har en tendens til å vite at de ikke snakker med en levende person. I tilfellet Koko innebar plattformen en hybrid tilnærming der en menneskelig mellommann kunne gjennomgå en melding før den sendte den, i stedet for et direkte chat-format. Men uten informert samtykke sier kritikere at Koko brøt etiske regler designet for å beskytte sårbare mennesker mot skadelig eller grusom forskningspraksis.
Som tidligere IRB-medlem og styreleder har du utført menneskelig forskning på en sårbar befolkning uten IRB-godkjenning eller fritak (DU får ikke bestemme). Kanskje MGH IRB process er så treg fordi den omhandler ting som dette. Uoppfordret råd: advokat opp
— Daniel Shoskes (@dshoskes) Januar 7, 2023
På mandag la Morris ut et innlegg som svarte på kontroversen og forklarte Kokos reise til GPT-3 og AI generelt: «Jeg mottar kritikk, bekymringer og spørsmål om dette arbeidet med empati og åpenhet. Vi er forpliktet til å sikre at all bruk av AI er sensitiv, med en dyp bekymring for personvern, åpenhet og risikoreduksjon. Vårt kliniske råd møtes for å diskutere retningslinjer for fremtidig arbeid, inkludert IRB-godkjenning."
Du kan hjelpe Ukraina med å kjempe mot de russiske inntrengerne. Den beste måten å gjøre dette på er å donere midler til Ukrainas væpnede styrker gjennom Redd livet eller via den offisielle siden NBU.
Les også: