Исследователи из Google недавно разработали новый метод создания размытых фотографий, используя пару не размытых изображений, снятых друг за другом. В опубликованной в издании arXiv статье специалисты изложили особенности своего подхода и сравнили его с несколькими базовыми методами.
Смазывание кадра происходит естественным образом, когда объекты в сцене или сама камера движутся во время съемки. Это приводит к тому, что движущиеся объекты или все изображение в целом выглядит размытым. В некоторых случаях этот эффект можно использовать для демонстрации скорости сфотографированного объекта или его отделения от основного фона.
«Размытие является ценным сигналом в контексте понимания изображения. Если взять снимок, содержащий в себе подобный эффект, то можно оценить величину и направление движения в сцене, приведшие к его возникновению. Эта оценка может оказаться семантически значимой или использоваться алгоритмом по устранению размытости для получения четкого изображения», – отметили Тим Брукс и Джонатан Баррон.
В недавнем исследовании ученые изучили возможность использования алгоритмов глубокого обучения для удаления нежелательной размытости с фотографий или определения динамики движения выбранной сцены. Однако для тренировки этих алгоритмов необходим значительный объем данных, который обычно генерируется с помощью обычных изображений, размытых искусственным образом. В конечном счете, эффективность работы алгоритмов с реальными изображениями будет во многом зависеть от реалистичности искусственных данных, используемых для их обучения.
«В этой статье мы рассматриваем обратную сторону ранее изученной задачи по удалению/оценке размытия как первостепенную проблему. Мы показываем быстрый и эффективный способ создания тренировочных данных, необходимых алгоритмам для обучения. В материале также количественно демонстрируется, что система обобщает искусственно созданные данные с реальными размытыми изображениями», – отметили Брукс и Баррон в своей работе.
Архитектура нейронной сети, разработанная Бруксом и Барроном, включает в себя новый слой «линейного предсказания», который обучает систему анализировать пару последовательно снятых снимков и создавать размытое изображение на их основе. Их модель требует огромного количества обучающих данных, поэтому исследователи создали и реализовали стратегию, которая использует методы интерполяции кадров для изготовления большого количества искусственных размытых фотографий и их четких вариантов.
Брукс и Баррон также сняли высококачественный тестовый набор реальных размытых изображений, полученных из видеороликов с замедленным движением, а затем использовали их, чтобы сравнить эффективность своей модели с базовыми методами. Их новый способ показал многообещающие результаты, превзойдя существующие способы, как в точности, так и в скорости.
«Наш подход является быстрым и точным. К тому же он использует легкодоступные изображения из видео или наборов снимков в качестве исходных данных. Таким образом, он обеспечивает нужными данными создателей приложений, добавляющих размытость в изображения, и помогает обучаться алгоритмам, которые, наоборот, удаляют этот эффект из фотографий», – написали специалисты в своей статье.
Опытные фотографы и кинематографы часто используют размытие в качестве художественного приема, однако создание красивых размытых фотографий может оказаться крайне сложной задачей. В большинстве случаев подобные изображения являются результатом длительного процесса проб и ошибок, требующего наличия специального оборудования и навыков.
Из-за трудностей в получении качественного эффекта размытости большинство потребительских камер предназначены для съемки изображений с минимально возможным уровнем размытия. Это означает, что фотографы-любители крайне ограничены в проведении экспериментов с размытостью изображений.
«Позволяя создавать размытые изображения из обычных снимков, которые снимаются стандартными потребительскими камерами, наша технология дает возможность неспециалистам добавлять нужный им эффект уже после съемки», – объясняют исследователи в своей статье.
В конечном итоге, подход, разработанный Бруксом и Барроном, может иметь целый ряд интересных применений. К примеру, он может позволить использовать соответствующий художественный прием случайным фотографам, а также генерировать более реалистичные размытые изображения, необходимые для тренировки алгоритмов глубокого обучения.