За последние несколько лет ученые создали множество вычислительных методов, которые могут автоматически генерировать тексты, изображения и другие типы данных. Эти модели полезны, особенно для создания творческих работ, которые требуют и отнимают много времени.
Исследователи из Даляньского технологического университета в Китае и Городского университета Гонконга недавно создали инновационную структуру, которая может автоматически создавать манга-комиксы, обычно разрабатывающиеся высококвалифицированными профессиональными художниками и требующие большой работы. Их система, представленная в документе, предварительно опубликованном на arXiv, создает комиксы путем извлечения данных из сериалов, фильмов, анимации или других видео.
«Мы предлагаем полностью автоматическую систему для создания комиксов из видео без какого-либо вмешательства человека», – пишут исследователи в своей статье. «Учитывая входное видео вместе с его субтитрами, наша система сначала извлекает информационные ключевые кадры, анализируя субтитры и стилизуя изображения в стиле комиксов».
После извлечения ключевых кадров из видео и преобразования их в изображения в стиле комиксов система, разработанная исследователями, использует структуру многостраничного макета для распределения изображений по нескольким страницам и создания визуально привлекательных макетов, отражающих взаимосвязь между изображениями.
Вместо того, чтобы всегда использовать один и тот же тип речевых шаров, как в большинстве других фреймворков для создания комиксов, система, созданная исследователями, генерирует различные типы, отражающие эмоции, передаваемые словами персонажа. Для этого система сначала пытается уловить эмоцию, передаваемую разными строками диалога, анализируя как звуковую дорожку видео, так и соответствующие субтитры.
Форма всплывающих окон диалогов, создаваемых моделью, и размер слов, содержащихся в них, зависят от эмоций, передаваемых персонажами. Это значительно улучшает общий опыт чтения комиксов, создавая более привлекательные макеты, отражающие содержание диалогов между разными персонажами.
Речевые пузыри, генерируемые системой, размещаются рядом с говорящими персонажами. Для этого модель сначала обнаруживает на видео разных говорящих, а затем размещает рядом с ними речевые шары, соответствующие эмоциям, выражаемым ими.
Исследователи оценили свою систему в серии экспериментов, протестировав ее отдельные модули и сравнив качество комиксов, созданных ею, с теми, которые создаются другими существующими современными методами перевода видео в комиксы. Система использовалась для создания комиксов на основе 16 видеоклипов, извлеченных из четырех фильмов и сериалов: «Титаник», «Послание», «Друзья» и «Мне бы в небо». Видеоролики длились от двух до шести минут.
Команда попросила группу людей оценить общее качество комиксов, созданных их моделью, по сравнению с комиксами, созданными альтернативной системой генерации. Подавляющее большинство пользователей, принявших участие в исследовании, заявили, что они предпочитают макеты, созданные по модели исследователей, по сравнению с макетами, созданными ранее разработанной системой.
«Эксперименты показывают, что наша система может синтезировать более выразительные и увлекательные комиксы по сравнению с современной системой генерации», – пишут исследователи в своей статье. «Несмотря на то, что наша система продемонстрировала многообещающие результаты, она все еще имеет несколько ограничений. Например, выбор ключевых кадров недостаточно точен. В некоторых случаях выбранные ключевые кадры похожи друг на друга, что, безусловно, ведет к избыточности».
После доведения до совершенства система генерации, разработанная этой командой исследователей, может использоваться для автоматического создания комиксов на основе фильмов, сериалов или другого видеоконтента. В своих следующих исследованиях ученые планируют разработать альтернативный модуль для выбора ключевых кадров, поскольку это может улучшить качество макетов, создаваемых системой, и уменьшить избыточность.
«Мы вдохновлены многими существующими методами, которые могут генерировать последовательности изображений для историй, создавать комиксы из текстовых рассказов. Мы заинтересованы в расширении нашего метода, чтобы использовать текстовую информацию для помощи в создании манги», – сообщают исследователи.