У п’ятницю співзасновник Koko Роб Морріс оголосив у Twitter, що його компанія провела експеримент з надання написаних штучним інтелектом консультацій з питань психічного здоров’я для 4 тис. осіб без попереднього інформування, повідомляє The Verge. Критики назвали експеримент глибоко неетичним, оскільки Koko не отримала інформованої згоди від людей, які зверталися за консультацією. Koko – це некомерційна платформа психічного здоров’я, яка з’єднує підлітків і дорослих, які потребують психіатричної допомоги, з волонтерами через застосунки для обміну повідомленнями, такі як Telegram і Discord.
У Discord користувачі входять на сервер Koko Cares і надсилають прямі повідомлення боту Koko, який ставить кілька запитань з декількома варіантами відповідей (наприклад, «Яка найпохмуріша думка у вас є з цього приводу?»). Потім він анонімно ділиться занепокоєнням людини, записаним у вигляді кількох речень тексту, з кимось іншим на сервері, який може анонімно відповісти коротким власним повідомленням.
https://twitter.com/RobertRMorris/status/1611450197707464706?ref_src=twsrc%5Etfw%7Ctwcamp%5Etweetembed%7Ctwterm%5E1611450197707464706%7Ctwgr%5Ea36b67a72ef02f3601dfae160441f1250a68dc2a%7Ctwcon%5Es1_c10&ref_url=https%3A%2F%2Farstechnica.com%2Finformation-technology%2F2023%2F01%2Fcontoversy-erupts-over-non-consensual-ai-mental-health-experiment%2F
Під час експерименту зі штучним інтелектом (ШІ), який стосувався близько 30 тис. повідомлень, за словами Морріса, волонтери, які надавали допомогу іншим, мали можливість використовувати відповідь, автоматично згенеровану великою мовною моделлю GPT-3 OpenAI, замість того, щоб писати її самостійно (GPT-3 – це технологія, що лежить в основі нещодавно популярного чат-бота ChatGPT). У своєму твіті Морріс зазначає, що люди високо оцінювали відповіді, створені ШІ, поки не дізнавалися, що вони були написані ШІ, що свідчить про ключову відсутність інформованої згоди принаймні на одному з етапів експерименту:
«Повідомлення, складені ШІ (і контрольовані людьми), були оцінені значно вище, ніж ті, що були написані людьми самостійно. Час відповіді зменшився на 50%, до менш ніж хвилини. І все ж… ми досить швидко прибрали цю функцію з нашої платформи. Чому? Щойно люди дізнавалися, що повідомлення були створені машиною, це більше не працювало. Симульоване співчуття здається дивним, порожнім».
У вступі до сервера адміністратори пишуть: «Koko з’єднує вас з реальними людьми, які дійсно розуміють вас. Не терапевтами, не консультантами, просто такими ж людьми, як ви». Незабаром після публікації повідомлення Морріс отримав багато відповідей, в яких критикували експеримент як неетичний, посилаючись на занепокоєння з приводу відсутності інформованої згоди і запитуючи, чи схвалив експеримент Інституційний наглядовий комітет (Institutional Review Board, IRB). У Сполучених Штатах незаконно проводити дослідження на людях без юридично ефективної інформованої згоди, якщо тільки IRB не визнає, що від згоди можна відмовитися.
У відповіді у твіті Морріс заявив, що експеримент «звільнений» від вимог інформованої згоди, оскільки він не планує публікувати результати, що викликало парад обурення.
Ідея використання ШІ в якості терапевта далеко не нова, але відмінність експерименту Koko від типових підходів ШІ-терапії полягає в тому, що пацієнти, як правило, знають, що вони розмовляють не з живою людиною. У випадку з Koko платформа передбачала гібридний підхід, коли людина-посередник могла переглянути повідомлення перед тим, як його відправити, замість прямого формату чату. Проте, без інформованої згоди, критики стверджують, що Koko порушила етичні правила, покликані захистити вразливих людей від шкідливих або жорстоких дослідницьких практик.
Speaking as a former IRB member and chair you have conducted human subject research on a vulnerable population without IRB approval or exemption (YOU don't get to decide). Maybe the MGH IRB process is so slow because it deals with stuff like this. Unsolicited advice: lawyer up
— Daniel Shoskes (@dshoskes) January 7, 2023
У понеділок Морріс опублікував пост, в якому відреагував на суперечки і пояснив шлях Koko до GPT-3 і ШІ в цілому: «Я отримую критику, занепокоєння і питання про цю роботу з емпатією і відкритістю. Ми зацікавлені в тому, щоб будь-яке використання ШІ було делікатним, з глибокою турботою про конфіденційність, прозорість і зниження ризиків. Наша клінічна консультативна рада збирається, щоб обговорити керівні принципи майбутньої роботи, зокрема, щодо схвалення IRB».
Ви можете допомогти Україні боротися з російськими окупантами. Найкращий спосіб зробити це – пожертвувати кошти Збройним Силам України через Savelife або через офіційну сторінку НБУ.
Читайте також: