Pada hari Jumat, co-founder Koko Rob Morris mengumumkan di Twitter, bahwa perusahaannya melakukan eksperimen untuk memberikan nasihat kesehatan mental yang ditulis AI kepada 4 orang tanpa pemberitahuan sebelumnya, lapor The Verge. Kritikus menyebut eksperimen tersebut sangat tidak etis karena Koko tidak mendapatkan persetujuan dari orang-orang yang meminta nasihat tersebut. Koko adalah platform kesehatan mental nirlaba yang menghubungkan remaja dan orang dewasa yang membutuhkan perawatan kesehatan mental dengan sukarelawan melalui aplikasi perpesanan seperti Telegram dan Perselisihan.
Di Discord, pengguna masuk ke server Koko Cares dan mengirim pesan langsung ke bot Koko, yang menanyakan serangkaian pertanyaan pilihan ganda (misalnya, "Apa pemikiran tergelap yang Anda miliki tentang ini?"). Kemudian secara anonim membagikan kekhawatiran orang tersebut, direkam sebagai beberapa kalimat teks, dengan orang lain di server, yang dapat merespons secara anonim dengan pesan singkat mereka sendiri.
https://twitter.com/RobertRMorris/status/1611450197707464706?ref_src=twsrc%5Etfw%7Ctwcamp%5Etweetembed%7Ctwterm%5E1611450197707464706%7Ctwgr%5Ea36b67a72ef02f3601dfae160441f1250a68dc2a%7Ctwcon%5Es1_c10&ref_url=https%3A%2F%2Farstechnica.com%2Finformation-technology%2F2023%2F01%2Fcontoversy-erupts-over-non-consensual-ai-mental-health-experiment%2F
Dalam eksperimen kecerdasan buatan (AI) yang melibatkan sekitar 30 pesan, kata Morris, sukarelawan yang membantu orang lain memiliki opsi untuk menggunakan respons yang dihasilkan secara otomatis oleh model bahasa besar GPT-3 OpenAI alih-alih menulisnya secara mandiri (GPT-3 adalah teknologi di baliknya). chatbot ChatGPT yang baru-baru ini populer). Dalam tweetnya, Morris mencatat bahwa orang-orang memuji jawaban yang dihasilkan AI sampai mereka mengetahui bahwa itu ditulis oleh AI, menunjukkan kurangnya persetujuan yang diinformasikan dalam setidaknya satu fase percobaan:
“Pesan yang dibuat oleh AI (dan dikendalikan oleh manusia) dinilai secara signifikan lebih tinggi daripada yang ditulis oleh manusia itu sendiri. Waktu respons berkurang 50% menjadi kurang dari satu menit. Namun… kami menghapus fitur ini dari platform kami dengan cukup cepat. Mengapa? Begitu orang mengetahui bahwa pesan itu dibuat oleh mesin, itu berhenti bekerja. Simpati simulasi tampak aneh, kosong."
Dalam pengantar server, administrator menulis: “Koko menghubungkan Anda dengan orang sungguhan yang sangat memahami Anda. Bukan terapis, bukan konselor, hanya orang-orang seperti Anda." Segera setelah Morris memposting pesan tersebut, dia menerima banyak tanggapan yang mengkritik eksperimen tersebut sebagai tidak etis, mengutip kekhawatiran tentang kurangnya persetujuan dan mempertanyakan apakah eksperimen tersebut telah disetujui oleh Institutional Review Board (IRB). Di Amerika Serikat, adalah ilegal untuk melakukan penelitian pada subjek manusia tanpa persetujuan yang efektif secara hukum, kecuali IRB menentukan bahwa persetujuan dapat dicabut.
Dalam sebuah tweet sebagai tanggapan, Morris mengatakan percobaan itu "dikecualikan" dari persyaratan persetujuan karena dia tidak punya rencana untuk mempublikasikan hasilnya, yang memicu kemarahan.
Gagasan menggunakan AI sebagai terapis bukanlah hal baru, tetapi yang membuat eksperimen Koko berbeda dari pendekatan terapi AI pada umumnya adalah pasien cenderung tahu bahwa mereka tidak sedang berbicara dengan orang yang hidup. Dalam kasus Koko, platform tersebut melibatkan pendekatan hybrid di mana perantara manusia dapat meninjau pesan sebelum mengirimnya, bukan format obrolan langsung. Namun, tanpa persetujuan, para kritikus mengatakan Koko melanggar aturan etis yang dirancang untuk melindungi orang yang rentan dari praktik penelitian yang berbahaya atau kejam.
Berbicara sebagai mantan anggota dan ketua IRB, Anda telah melakukan penelitian subjek manusia pada populasi rentan tanpa persetujuan atau pengecualian IRB (ANDA tidak berhak memutuskan). Mungkin MGH IRB process sangat lambat karena menangani hal-hal seperti ini. Saran yang tidak diminta: pengacara
— Daniel Shoskes (@dshoskes) Januari 7, 2023
Pada hari Senin, Morris memposting postingan menanggapi kontroversi tersebut dan menjelaskan perjalanan Koko ke GPT-3 dan AI secara umum: “Saya menerima kritik, kekhawatiran, dan pertanyaan tentang pekerjaan ini dengan empati dan keterbukaan. Kami berkomitmen untuk memastikan bahwa setiap penggunaan AI bersifat sensitif, dengan perhatian mendalam terhadap privasi, transparansi, dan mitigasi risiko. Dewan Penasihat Klinis kami bertemu untuk membahas pedoman untuk pekerjaan di masa mendatang, termasuk persetujuan IRB.”
Anda dapat membantu Ukraina melawan penjajah Rusia. Cara terbaik untuk melakukannya adalah dengan menyumbangkan dana ke Angkatan Bersenjata Ukraina melalui selamatkan hidup atau melalui halaman resmi NBU.
Baca juga: