В 60-х годах прошлого столетия в США была популярна игра «Волшебный экран». Это был небольшой планшет, на котором можно было рисовать скетчи с помощью двух ручек, управляющих вертикальными, горизонтальными и диагональными линиями.
Однако опытные художники даже на таком примитивном устройстве умудрялись создавать узнаваемые портреты. А те, у кого опыта и навыков было поменьше, пытались им подражать, с мало заметной успешностью. Однако «Волшебный экран» был популярным устройством. Количество проданных единиц превышает 100 млн.
Спустя 60 лет ученые из Китайской академии наук и Городского университета Гонконга придумали технологию, которая превращает обычные скетчи во что-то невообразимое.
DeepFaceDrawing позволяет пользователям создавать потрясающе реалистичные портреты, для которых вводной служит непрофессиональный грубый эскиз. Какие-либо художественные навыки или опыт программирования не требуются.
Программа опирается на машинное обучение для заполнения промежутков между основными компонентами, такими как глаза, нос и рот. Обширная база данных черт лица содержит подробную информацию о заполнении, а формулы вероятности помогают определить вероятность вставки различных деталей.
В последнее время появились технологии, которые предлагали пользователям возможность создавать изображения из элементарных рисунков, такие как pix2pixHD, Lines2FacePhoto и iSketchNFill. Сравнение DeepFaceDrawing с этими программами показывает насколько пугающими могут быть некоторые результаты. DeepFaceDrawing на голову превосходит своих предшественников.
Исследователи, возглавляемые Шу-Ю Ченом, объяснили разницу между программами в недавно опубликованном отчете: «Современные методы перевода «image-to-image» позволяют быстро генерировать изображение лица с эскиза от руки. Однако существующие программы имеют тенденцию переобучаться на эскизах, поэтому для вводных данных требуются профессиональные изображения. Чтобы решить эту проблему, нужно моделировать пространство правдоподобными изображениями лица, синтезировать их в пространстве, приближенном к исходному эскизу. Наш метод по существу использует входные эскизы в качестве ограничителей создавая высококачественные изображения лица даже из грубых и/или неполных эскизов».
Команда планирует продемонстрировать DeepFaceDrawing на июльской конференции SIGGRAPH. Группа, основанная в 1969 году, проводит ежегодные конференции по новейшим разработкам в области компьютерной графики. В этом году мероприятие будет виртуальным, из-за пандемии COVID-19.
DeepFaceDrawing имеет очевидную привлекательность в качестве развлекательного инструмента. Но он куда большой потенциал ждет его при использовании в правоохранительных органах, где быстрые, точные наброски внешности подозреваемых остро необходимы. Инструмент обладает потенциалом для использования в приложениях распознавания лиц, медицинских процедурах и образовательных программах. Команда заявила, что скоро выпустит код.
Это исследование следует за отчетом, выпущенным на прошлой неделе, в рамках которого турецкие исследователи с кафедры вычислительной техники Стамбульского технического университета использовали глубокие нейронные сети, чтобы точно создать лица людей, основываясь исключительно на изображении их ушей.