В петък съоснователят на Koko Роб Морис обяви на Twitter, че компанията му е провела експеримент за предоставяне на съвети за психично здраве, написани от AI, на 4 души без предварително уведомяване, съобщава The Verge. Критиците нарекоха експеримента дълбоко неетичен, тъй като Коко не получи информирано съгласие от хората, които потърсиха съвета. Koko е платформа за психично здраве с нестопанска цел, която свързва тийнейджъри и възрастни, нуждаещи се от грижи за психичното здраве, с доброволци чрез приложения за съобщения, като Telegram и Discord.
В Discord потребителите влизат в сървъра на Koko Cares и изпращат директни съобщения до бота Koko, който задава поредица от въпроси с няколко отговора (напр. „Коя е най-мрачната ви мисъл за това?“). След това анонимно споделя загрижеността на човека, записана като няколко изречения текст, с някой друг на сървъра, който може да отговори анонимно със собствено кратко съобщение.
https://twitter.com/RobertRMorris/status/1611450197707464706?ref_src=twsrc%5Etfw%7Ctwcamp%5Etweetembed%7Ctwterm%5E1611450197707464706%7Ctwgr%5Ea36b67a72ef02f3601dfae160441f1250a68dc2a%7Ctwcon%5Es1_c10&ref_url=https%3A%2F%2Farstechnica.com%2Finformation-technology%2F2023%2F01%2Fcontoversy-erupts-over-non-consensual-ai-mental-health-experiment%2F
В експеримент с изкуствен интелект (AI), включващ около 30 3 съобщения, каза Морис, доброволците, помагащи на другите, са имали опцията да използват отговор, автоматично генериран от големия езиков модел GPT-3 на OpenAI, вместо да го пишат независимо (GPT-XNUMX е технологията зад популярният напоследък чатбот ChatGPT). В своя туит Морис отбелязва, че хората възхваляваха генерираните от AI отговори, докато не разбраха, че са написани от AI, което предполага ключова липса на информирано съгласие в поне една фаза на експеримента:
„Съобщенията, съставени от AI (и контролирани от хора), бяха оценени значително по-високо от тези, написани от самите хора. Времето за реакция е намалено с 50% до по-малко от минута. И все пак... премахнахме тази функция от нашата платформа доста бързо. Защо? След като хората разбраха, че съобщенията са машинно генерирани, то спря да работи. Симулираното съчувствие изглежда странно, празно."
Във въведението към сървъра администраторите пишат: „Koko ви свързва с истински хора, които наистина ви разбират. Не терапевти, не съветници, просто хора като теб." Скоро след като Морис публикува съобщението, той получи много отговори, критикуващи експеримента като неетичен, цитирайки опасения относно липсата на информирано съгласие и поставяйки под въпрос дали експериментът е бил одобрен от Институционалния съвет за преглед (IRB). В Съединените щати е незаконно да се провеждат изследвания върху хора без правно ефективно информирано съгласие, освен ако IRB не реши, че съгласието може да бъде отменено.
В туит в отговор Морис каза, че експериментът е „освободен“ от изискванията за информирано съгласие, тъй като той не планира да публикува резултатите, предизвиквайки парад на възмущение.
Идеята за използване на AI като терапевт далеч не е нова, но това, което прави експеримента на Koko различен от типичните подходи за терапия с AI е, че пациентите са склонни да знаят, че не говорят с жив човек. В случая с Koko, платформата включваше хибриден подход, при който човешки посредник можеше да прегледа съобщение, преди да го изпрати, вместо обикновен чат формат. Въпреки това, без информирано съгласие, критиците казват, че Коко е нарушил етичните правила, предназначени да защитят уязвимите хора от вредни или жестоки изследователски практики.
Говорейки като бивш член и председател на IRB, вие сте провели изследване върху хора на уязвимо население без одобрение или изключение от IRB (Вие не трябва да решавате). Може би MGH IRB process е толкова бавен, защото се занимава с неща като този. Непоискан съвет: адвокат нагоре
— Даниел Шоскес (@dshoskes) Януари 7, 2023
В понеделник Морис публикува публикация, в която отговаря на спора и обяснява пътуването на Коко до GPT-3 и AI като цяло: „Получавам критики, притеснения и въпроси относно тази работа с емпатия и откритост. Ние се ангажираме да гарантираме, че всяко използване на AI е чувствително, с дълбока загриженост за поверителността, прозрачността и намаляването на риска. Нашият клиничен консултативен съвет се среща, за да обсъди насоки за бъдеща работа, включително одобрение от IRB.“
Можете да помогнете на Украйна да се бори срещу руските нашественици. Най-добрият начин да направите това е да дарите средства на въоръжените сили на Украйна чрез Savelife или през официалната страница НБУ.
Прочетете също: