Huawei MateBook X Pro 2020
Статьи Технологии Что такое нейронная оценка изображений, и почему Google так ей гордится?

Что такое нейронная оценка изображений, и почему Google так ей гордится?

-

В последние годы мы добились многого в попытках научить компьютер понимать, что он видит. Тем не менее, что касается оценки качества и эстетической привлекательности, то тут мы столкнулись с большими сложностями. Сложностями, которые Google смог-таки побороть.

Что такое нейронная оценка изображений, и почему Google так ей гордится?Можно понять, как ИИ разберётся в том, является ли картинка некачественной: артефакты, размытие, признаки сжатия – всё это распознать не так уж и сложно. Но как объяснить эстетику? Как найти алгоритм, который сможет понимать, какие эмоции вызывает картинка, и является ли она красивой?

Для этого Google долго и усердно учил свёрточные нейронные сети на примерах самых разных картинок – например, эффектных пейзажей. Но такой подход оказался недостаточно сложным, ведь так картинки можно классифицировать лишь по двум типам – качественная и некачественная. Новая система, которую изобрели в компании, отличается, и предлагает присуждать каждому изображению рейтинги. Это позволит добиться более детальной оценки качества картинки.

Как же добиться от компьютера такого? Тут на сцену выходит NIMA – Нейронная оценка изображения. Это свёрточная нейронная сеть, которая обучена предсказывать, какая картинка нам понравится, и получит от нас высокую оценку как касательно объективного качества, так и эстетической привлекательности. NIMA существует благодаря успешным нейронным сетям, ответственным за распознание объектов. Благодаря им система понимает, что находится на картинке, что, в свою очередь, позволяет категорировать изображение по разным факторам.

Новая технология, созданная в Google, позволит не только присуждать картинкам умную оценку, но и облегчить множество сложных и трудоёмких задач, вроде редактирования фото, оптимизации качества и «починки» заметных артефактов.

Как же NIMA будет присуждать картинкам рейтинги? Если выражаться проще, то есть два подхода. Первый пользуется существующими примерами «идеальной» картинки, и основывает свои выводы на них. Второй работает «вслепую», и основывает свои выводы на статистических моделях. Обе подхода существует для одной цели: оценить качество картинки, которое коррелировалось бы с восприятием человека. В этом помогает возможность распознать объект на снимке, используя уже существующие базы данных вроде ImageNet.

Нейронная оценка изображения

Типичная оценка эстетической привлекательности изображения позволяет присудить картинке либо высокий, либо низкий рейтинг, но нейронная оценка изображения полагается на гистограмму человеческих рейтингов, а не просто двоичную систему оценки. Гистограмма позволяет понять общий рейтинг картинки, и соотносит мнение разных людей. NIMA не называет картинку либо плохой, либо хорошей, а создаёт примерный рейтинг от 1 до 10. Это система помогает с большей эффективностью предсказать реакцию человека, и более эффективна, чем любая другая.

Для того, чтобы понять, работает ли технология, нужно провести практический тест. Для этого исследователи использовали фотографии, участвовавшие в конкурсах. NIMA оценила каждую фотографию в соответствии со своими критериями, и присвоила им рейтинг. Как оказалось, её оценка красоты и качества оказалась примерно такой же, что и человеческая. При этом тест был проведён несколько раз, с успешными результатами.

Что такое нейронная оценка изображений, и почему Google так ей гордится?

NIMA также умеет оценивать качество в сравнении. Она правильно оценила уровень качества одной картинки. Лучшей оказалась фотография без искажений, худшей – изображение с огромной потерей качества из-за сжатия.

Что такое нейронная оценка изображений, и почему Google так ей гордится?

Улучшение изображений

Исследователи заинтересованы не только в оценочных способностях системы, но и в том, как она может применить свои знания, чтобы сделать изображения лучше. Если она знает, какая картинка скорее всего понравится человеку, то что мешает ей самой её усовершенствовать? Ответ: ничего.

В следующих примерах показано, как NIMA использовала свои знания, чтобы сделать фотографии более привлекательными для человека. По мнению алгоритма, картинка становится лучше при модификации контраста. Также система сама настроила параметры яркости, насыщенности и теней.

Что такое нейронная оценка изображений, и почему Google так ей гордится?

Что дальше?

Разработка NIMA даёт понять, что у подобной технологии есть множество практических применений. Например, из сотни картинок система может отобрать самую лучшую. NIMA может стать помощником, который в реальном времени будет комментировать потенциальный снимок. Система сможет проводить в порядок огромное число изображений в короткий срок. NIMA станет грамотным (хоть и не совершенным) способом оценить фотографии, предсказывая реакцию зрителя.

Источник: Google Research Blog

LEAVE A REPLY

enter your comment
your name

 

10 лучших влагозащищенных и при этом привлекательных смартфонов

При выборе влагозащищенного смартфона еще пару лет назад, скорее всего вам пришлось бы покупать...
>>>

Чем похожи и чем отличаются iPhone 12, 12 Pro, 12 Pro Max и 12 mini? Инструкция по выбору нового айфона

iPhone 12, самый ожидаемый смартфон Apple за последние годы, был представлен в четырех разных...
>>>

Обзор ASUS ZenBook Flip S (UX371EA) – топовый трансформер

С линейкой портативных трансформеров ZenBook Flip я впервые познакомился где-то три года назад. Это...
>>>

LiDAR в iPhone 12 Pro: что это и для чего?

На Apple Event 2020 мы увидели целых четыре новых iPhone 12. Каждый из них...
>>>

Обзор умных UHD-телевизоров KIVI линейки 2020 года – 43U710KB (43″) и 55U710KB (55″)

В этом обзоре я протестирую новейшие UHD смарт-телевизоры KIVI 43U710KB (43") и 55U710KB (55"),...
>>>

Обзор Huawei Watch Fit: персональный тренер на запястье

У вас ограниченный бюджет, но ищете компактные "умные" часы с большим дисплеем и богатыми...
>>>

Обзор блока питания be quiet! Pure Power 11 600W

Вслед за кулером (на самом деле - нет) последовал блок. Это не древняя сказка...
>>>

Обзор TWS-наушников CaseGuru CGPods 5.0 – Водонепроницаемая гарнитура в пуленепробиваемом кейсе

Я могу примерно предугадать вашу реакцию после прочтения заголовка. CaseGuru? Кто это? Опять кто-то...
>>>