Гра Minecraft (її історію докладно описав Denis Koshelev) здається не дуже важливим інструментом для підтримки передових досліджень в галузі ШІ. Зрештою, невже це важливо – навчити машину грати в гру-пісочницю, випущену понад 10 років тому? Ви здивуєтеся, але так, і про це свідчать останні дослідження лабораторії OpenAI, яка займається вивченням розвитку штучного інтелекту.
OpenAI завжди зосереджувалася на досягненнях ШІ та машинного навчання, які можуть принести людству користь. Нещодавно компанія успішно навчила бота грати в Minecraft і використала для цього понад 70 тис. годин ігрових відеороликів (це, якщо що, понад 2,9 тис. днів, або майже 8 років). Це досягнення знаменує собою гігантський крок вперед у передовому машинному навчанні з використанням спостереження та імітації.
Бот OpenAI є чудовим прикладом того, як діє імітаційне навчання (також відоме як «навчання під наглядом»). На відміну від навчання з підкріпленням, де агент навчання винагороджується після досягнення мети шляхом проб і помилок, імітаційне навчає нейронні мережі виконувати конкретні завдання завдяки спостереженням за тим, як їх виконує людина. У цьому випадку OpenAI використовувала наявні ігрові відео та навчальні посібники, щоб бот зміг виконати складні ігрові сценарії, для яких звичайному гравцеві знадобилося б приблизно 24 тис. окремих дій.
Теж цікаво:
Імітаційне навчання вимагає, щоб відеодані були спеціальним чином промарковані, щоб забезпечити контекст дії та результат, тобто щоб ШІ міг зрозуміти, які кнопки натискалися та які рухи робилися. Але такий підхід може бути трудомістким, що призводить до обмеженості доступних наборів даних.
Замість того, щоб напружувати м’язи, виконуючи масштабну вправу з маркування даних вручну, дослідницька група OpenAI застосувала спеціальний підхід, відомий як попереднє відеонавчання (Video Pre-Training, або VPT), щоб розширити кількість доступних відеороликів. Спочатку дослідники записали 2 тис. годин анотованого ігрового процесу Minecraft і використовували його для навчання агента асоціаціям певних дій з конкретними результатами на екрані. Отримана модель була використана для автоматичної генерації міток для 70 тис. годин раніше немаркованого контенту Minecraft, доступного в Інтернеті. Це надало боту набагато більший набір даних для перегляду та імітації.
Теж цікаво:
Це дослідження доводить потенційну цінність доступних відеорепозиторіїв, таких як YouTube, як навчального ресурсу для ШІ. Вчені з машинного навчання можуть використовувати доступні та належним чином марковані відео для навчання ШІ конкретним завданням – від простої навігації в Інтернеті до допомоги користувачам з фізичними потребами в реальному житті.
Ви можете допомогти Україні боротися з російськими окупантами. Найкращий спосіб зробити це – пожертвувати кошти Збройним Силам України через Savelife або через офіційну сторінку НБУ.
Також цікаво: