Модерація контенту – одна з найскладніших проблем в інтернеті протягом десятиліть. Це складна тема для будь-кого, особливо якщо врахувати суб’єктивність, яка йде пліч-о-пліч з визначенням того, який контент повинен бути дозволеним на даній платформі. Розробник ChatGPT, компанія OpenAI, вважає, що в неї є рішення – система модерації на базі GPT-4, яку вона зараз перевіряє на практиці.
Компанія написала в блозі, що GPT-4 може не лише допомогти у питанні модерації контенту, але й сприяти розробці політик і впровадженню змін до них, “скорочуючи цикл з місяців до годин”. Розробник стверджує, що модель може аналізувати різні правила і нюанси в політиках щодо контенту і швидко адаптуватися до оновлень, що призведе до послідовнішого маркування контенту.
“Ми вважаємо, що це пропонує позитивніше бачення майбутнього цифрових платформ, де ШІ може допомогти модерувати онлайн-трафік відповідно до політики конкретної платформи і полегшити тягар великої кількості людей-модераторів, – говорять в OpenAI. – Будь-хто, хто має доступ до API OpenAI, може застосувати цей підхід для створення власної системи модерації за допомогою штучного інтелекту”. За словами розробників, інструменти модерації на базі GPT-4 за один день виконають роботу, на яку потрібно було витратити близько пів року.
“Ручний” перегляд травматичного контенту може мати вплив на психічне здоров’я модераторів, особливо коли мова йде про графічні матеріали. Наприклад, у 2020 році Meta погодилася виплатити щонайменше $1000 кожному з понад 11 000 модераторів як компенсацію за проблеми з психічним здоров’ям, які могли виникнути внаслідок перегляду матеріалів на Facebook.
Використання ШІ для зняття частини навантаження з людей може бути дуже корисним. Meta вже кілька років використовує ШІ для допомоги модераторам, але в OpenAI кажуть, що допомога була з боку “невеликих моделей машинного навчання, орієнтованих на конкретні вертикалі. Цей процес є повільним і може призвести до стресу для людей-модераторів”.
Моделі ШІ далекі від досконалості. Великі компанії вже давно використовують їх у модерації й все ще приймають періодично неправильні рішення. Поки невідомо, чи зможе нова система OpenAI уникнути багатьох основних пасток модерації. Проте розробник згоден з тим, що люди все ще мають бути залучені до процесу. “Ми продовжуємо використовувати людську експертизу для перевірки деяких суджень моделей”, – говорять в OpenAI.
“Судження мовних моделей вразливі до небажаних упереджень, які могли бути внесені в модель під час навчання. Як і у випадку з будь-яким застосунком ШІ, результати та висновок повинні ретельно контролюватися, перевірятися та уточнюватися людьми”, – йдеться в повідомленні компанії. Таким чином участь людини в деяких частинах процесу модерації може бути зменшена, і це дозволить зосередитися на вирішенні складніших ситуацій, де потрібні уточнення.
Читайте також: