У дослідженні Університету Пердью ставилися запитання про правильність відповідей в ChatGPT, а потім десяток добровольців обговорювали отримані результати. Відповіді оцінювалися не лише на предмет правильності, але й на предмет послідовності, повноти та лаконічності. Команда також проаналізувала мовний стиль і настрій відповідей.
Це був не найкращий результат для ChatGPT. Інструмент OpenAI відповів правильно лише на 48% запитань, а 77% були описані як “багатослівні”.
Особливо цікавим є те, що завдяки вичерпності та чітко сформульованому мовному стилю ChatGPT учасники все одно віддали перевагу майже 40% його відповідей. На жаль для генеративного ШІ, 77% цих відповідей були неправильними.
“Під час нашого дослідження ми помітили, що тільки тоді, коли помилка у відповіді ChatGPT очевидна, користувачі можуть її ідентифікувати”, – йдеться у статті, написаній дослідниками Самією Кабіром, Девідом Удо-Імехом, Бонаном Коу та доцентом Тіані Чжаном. “Однак, коли помилку важко перевірити або вона потребує зовнішньої IDE чи документації, користувачі часто не можуть виявити помилку або недооцінюють ступінь помилки у відповіді”.
Навіть коли відповідь ChatGPT була очевидно неправильною, двоє з 12 учасників все одно віддали їй перевагу через приємний, впевнений і позитивний тон штучного інтелекту. Його вичерпність і підручниковий стиль написання також сприяли тому, що фактично неправильна відповідь виглядала правильною в очах деяких людей.
“Багато відповідей є неправильними через нездатність ChatGPT зрозуміти основний контекст поставленого запитання”, – пояснюється в статті.
Виробники генеративного ШІ розміщують на сторінках своїх продуктів попередження про те, що відповіді, які вони дають, потенційно можуть бути неправильними. Навіть Google попередив своїх співробітників про небезпеку чат-ботів, зокрема власного Bard, і про необхідність уникати прямого використання коду, згенерованого цими сервісами.
На запитання, чому, компанія відповіла, що Bard може робити небажані пропозиції щодо коду, але він все одно допомагає програмістам. Google також заявив, що прагне бути прозорим щодо обмежень своєї технології. Apple, Amazon і Samsung – лише деякі з компаній, які повністю заборонили ChatGPT.
Читайте також: