V piatok spoluzakladateľ Koko Rob Morris oznámil o Twitter, že jeho spoločnosť uskutočnila experiment s cieľom poskytnúť poradenstvo v oblasti duševného zdravia napísané AI 4 XNUMX ľuďom bez predchádzajúceho upozornenia, uvádza The Verge. Kritici označili experiment za hlboko neetický, pretože Koko nezískala informovaný súhlas od ľudí, ktorí o radu požiadali. Koko je nezisková platforma pre duševné zdravie, ktorá spája dospievajúcich a dospelých, ktorí potrebujú starostlivosť o duševné zdravie, s dobrovoľníkmi prostredníctvom aplikácií na odosielanie správ, ako napr. Telegram a Discord.
Na Discorde sa používatelia prihlásia na server Koko Cares a posielajú priame správy robotovi Koko, ktorý kladie sériu otázok s možnosťou výberu z viacerých odpovedí (napr. „Aká je vaša najtemnejšia myšlienka?“). Potom anonymne zdieľa obavy danej osoby zaznamenané ako niekoľko viet textu s niekým iným na serveri, ktorý môže anonymne odpovedať vlastnou krátkou správou.
https://twitter.com/RobertRMorris/status/1611450197707464706?ref_src=twsrc%5Etfw%7Ctwcamp%5Etweetembed%7Ctwterm%5E1611450197707464706%7Ctwgr%5Ea36b67a72ef02f3601dfae160441f1250a68dc2a%7Ctwcon%5Es1_c10&ref_url=https%3A%2F%2Farstechnica.com%2Finformation-technology%2F2023%2F01%2Fcontoversy-erupts-over-non-consensual-ai-mental-health-experiment%2F
V experimente s umelou inteligenciou (AI), ktorý zahŕňal približne 30 3 správ, mali dobrovoľníci, ktorí pomáhali ostatným, možnosť použiť odpoveď automaticky generovanú veľkým jazykovým modelom OpenAI GPT-3 namiesto toho, aby ju písali nezávisle (GPT-XNUMX je technológia, ktorá stojí za nedávno populárny chatbot ChatGPT). Morris vo svojom tweete poznamenáva, že ľudia chválili odpovede vygenerované AI, kým sa nedozvedeli, že ich napísala AI, čo naznačuje kľúčový nedostatok informovaného súhlasu aspoň v jednej fáze experimentu:
„Správy vytvorené AI (a kontrolované ľuďmi) boli hodnotené výrazne vyššie ako správy napísané samotnými ľuďmi. Čas odozvy sa skrátil o 50 % na menej ako minútu. A predsa... túto funkciu sme z našej platformy celkom rýchlo odstránili. prečo? Keď ľudia zistili, že správy boli generované strojovo, prestalo to fungovať. Simulované sympatie sa zdajú zvláštne, prázdne.“
V úvode servera administrátori píšu: „Koko vás spája so skutočnými ľuďmi, ktorí vám skutočne rozumejú. Nie terapeuti, nie poradcovia, len ľudia ako vy." Čoskoro po tom, čo Morris zverejnil správu, dostal veľa odpovedí, ktoré kritizovali experiment ako neetický, pričom uviedol obavy z nedostatku informovaného súhlasu a spochybňoval, či experiment schválila Inštitucionálna kontrolná rada (IRB). V Spojených štátoch je nezákonné vykonávať výskum na ľudských subjektoch bez právne účinného informovaného súhlasu, pokiaľ IRB neurčí, že súhlas možno odmietnuť.
V reakcii na tweet Morris uviedol, že experiment bol „vyňatý“ z požiadaviek na informovaný súhlas, pretože nemal v pláne zverejniť výsledky, čo vyvolalo prehliadku rozhorčenia.
Myšlienka použitia AI ako terapeuta nie je ani zďaleka nová, ale to, čo odlišuje Kokov experiment od typických terapeutických prístupov AI, je to, že pacienti majú tendenciu vedieť, že nehovoria so živou osobou. V prípade Koko platforma zahŕňala hybridný prístup, kde ľudský sprostredkovateľ mohol skontrolovať správu pred jej odoslaním, namiesto priameho formátu chatu. Bez informovaného súhlasu však kritici tvrdia, že Koko porušila etické pravidlá určené na ochranu zraniteľných ľudí pred škodlivými alebo krutými výskumnými praktikami.
Ako bývalý člen a predseda IRB ste vykonali výskum na ľuďoch na zraniteľnej populácii bez schválenia alebo výnimky IRB (nemôžete sa rozhodnúť). Možno profesionál MGH IRBcess je taký pomalý, pretože sa zaoberá vecami ako je táto. Nevyžiadaná rada: právnik hore
— Daniel Shoskes (@dshoskes) Januára 7, 2023
V pondelok Morris zverejnil príspevok, v ktorom reagoval na kontroverziu a vysvetlil Kokovu cestu k GPT-3 a AI vo všeobecnosti: „Kritiku, obavy a otázky týkajúce sa tejto práce prijímam s empatiou a otvorenosťou. Zaviazali sme sa zabezpečiť, že akékoľvek použitie AI je citlivé, pričom sa hlboko zaujímame o súkromie, transparentnosť a zmiernenie rizika. Naša klinická poradná rada sa stretáva, aby prediskutovala usmernenia pre budúcu prácu vrátane schválenia IRB.
Môžete pomôcť Ukrajine v boji proti ruským útočníkom. Najlepším spôsobom, ako to urobiť, je darovať finančné prostriedky Ozbrojeným silám Ukrajiny prostredníctvom Zachrániť život alebo cez oficiálnu stránku NBU.
Prečítajte si tiež: