ASUS ZenBook
Статьи Технологии Что такое нейронная оценка изображений, и почему Google так ей гордится?

Что такое нейронная оценка изображений, и почему Google так ей гордится?

-

В последние годы мы добились многого в попытках научить компьютер понимать, что он видит. Тем не менее, что касается оценки качества и эстетической привлекательности, то тут мы столкнулись с большими сложностями. Сложностями, которые Google смог-таки побороть.

Что такое нейронная оценка изображений, и почему Google так ей гордится?Можно понять, как ИИ разберётся в том, является ли картинка некачественной: артефакты, размытие, признаки сжатия – всё это распознать не так уж и сложно. Но как объяснить эстетику? Как найти алгоритм, который сможет понимать, какие эмоции вызывает картинка, и является ли она красивой?

Для этого Google долго и усердно учил свёрточные нейронные сети на примерах самых разных картинок – например, эффектных пейзажей. Но такой подход оказался недостаточно сложным, ведь так картинки можно классифицировать лишь по двум типам – качественная и некачественная. Новая система, которую изобрели в компании, отличается, и предлагает присуждать каждому изображению рейтинги. Это позволит добиться более детальной оценки качества картинки.

Как же добиться от компьютера такого? Тут на сцену выходит NIMA – Нейронная оценка изображения. Это свёрточная нейронная сеть, которая обучена предсказывать, какая картинка нам понравится, и получит от нас высокую оценку как касательно объективного качества, так и эстетической привлекательности. NIMA существует благодаря успешным нейронным сетям, ответственным за распознание объектов. Благодаря им система понимает, что находится на картинке, что, в свою очередь, позволяет категорировать изображение по разным факторам.

Новая технология, созданная в Google, позволит не только присуждать картинкам умную оценку, но и облегчить множество сложных и трудоёмких задач, вроде редактирования фото, оптимизации качества и «починки» заметных артефактов.

Как же NIMA будет присуждать картинкам рейтинги? Если выражаться проще, то есть два подхода. Первый пользуется существующими примерами «идеальной» картинки, и основывает свои выводы на них. Второй работает «вслепую», и основывает свои выводы на статистических моделях. Обе подхода существует для одной цели: оценить качество картинки, которое коррелировалось бы с восприятием человека. В этом помогает возможность распознать объект на снимке, используя уже существующие базы данных вроде ImageNet.

Нейронная оценка изображения

Типичная оценка эстетической привлекательности изображения позволяет присудить картинке либо высокий, либо низкий рейтинг, но нейронная оценка изображения полагается на гистограмму человеческих рейтингов, а не просто двоичную систему оценки. Гистограмма позволяет понять общий рейтинг картинки, и соотносит мнение разных людей. NIMA не называет картинку либо плохой, либо хорошей, а создаёт примерный рейтинг от 1 до 10. Это система помогает с большей эффективностью предсказать реакцию человека, и более эффективна, чем любая другая.

Для того, чтобы понять, работает ли технология, нужно провести практический тест. Для этого исследователи использовали фотографии, участвовавшие в конкурсах. NIMA оценила каждую фотографию в соответствии со своими критериями, и присвоила им рейтинг. Как оказалось, её оценка красоты и качества оказалась примерно такой же, что и человеческая. При этом тест был проведён несколько раз, с успешными результатами.

Что такое нейронная оценка изображений, и почему Google так ей гордится?

NIMA также умеет оценивать качество в сравнении. Она правильно оценила уровень качества одной картинки. Лучшей оказалась фотография без искажений, худшей – изображение с огромной потерей качества из-за сжатия.

Что такое нейронная оценка изображений, и почему Google так ей гордится?

Улучшение изображений

Исследователи заинтересованы не только в оценочных способностях системы, но и в том, как она может применить свои знания, чтобы сделать изображения лучше. Если она знает, какая картинка скорее всего понравится человеку, то что мешает ей самой её усовершенствовать? Ответ: ничего.

В следующих примерах показано, как NIMA использовала свои знания, чтобы сделать фотографии более привлекательными для человека. По мнению алгоритма, картинка становится лучше при модификации контраста. Также система сама настроила параметры яркости, насыщенности и теней.

Что такое нейронная оценка изображений, и почему Google так ей гордится?

Что дальше?

Разработка NIMA даёт понять, что у подобной технологии есть множество практических применений. Например, из сотни картинок система может отобрать самую лучшую. NIMA может стать помощником, который в реальном времени будет комментировать потенциальный снимок. Система сможет проводить в порядок огромное число изображений в короткий срок. NIMA станет грамотным (хоть и не совершенным) способом оценить фотографии, предсказывая реакцию зрителя.

Источник: Google Research Blog

LEAVE A REPLY

enter your comment
your name

 

Microsoft Cloud PC: Windows из облака не желаете?

Если верить слухам, то весной 2021 года компания Microsoft может запустить облачный сервис Cloud...
>>>

Обзор геймерской мышки Corsair Ironclaw RGB Black

Я был приятно удивлён, впервые познакомившись с линейкой периферии от Corsair. Вот взять хотя...
>>>

Обзор Neon Abyss — Затягивающий roguelike-платформер с примесью Pokémon

Я не знаю, чем меня так заинтересовала Neon Abyss. Этот с виду типичный представитель...
>>>

Обзор Destroy All Humans! — Отличный ремейк игры, которой стоило остаться в 2005 году?

2020 год – это год ремейков. Столько их уже вышло и столько ещё успеет...
>>>

Обзор Ghost of Tsushima — Жестокость и поэзия самурайской Японии

Японские самураи всегда пользовались популярностью как на родине, так и на Западе, где их...
>>>

Обзор Huawei WiFi AX3: недорогой роутер с поддержкой Wi-Fi 6 Plus

Чем роутеры с поддержкой Wi-Fi 6 лучше устройств предыдущего поколения? И сможет ли маршрутизатор...
>>>

Обзор Paper Mario: The Origami King — РПГ без элементов РПГ

Сколько существует Nintendo, столько будут выходить новые игры с усатым водопроводчиком Марио в главной...
>>>

Как выбрать процессор для ноутбука и чем отличаются мобильные CPU?

Какой процессор ноутбука будет наилучшим? На что обратить внимание? Что именно подойдет мне? Почему...
>>>