В сборнике “Advances in Natural Computation, Fuzzy Systems and Knowledge Discovery” издательства Springer опубликована статья заместителя директора НИКФИ С.Ю. Подлесного “К вопросу об автоматическом видеомонтаже, управляемом данными”.
Статья “Towards Data-Driven Automatic Video Editing” опубликована в 1-м томе сборника материалов международной конференции по естественным вычислениям, нечетким системам и получению знаний (ICNC-FSKD 2019).
Работа относится к вопросам применения искусственного интеллекта в технологиях кинематографии и посвящена проблеме извлечения знаний о правилах и приемах киномонтажа из неструктурированных данных. В качестве источника данных была задействована база из 100 лучших фильмов XX века, номинированных организацией ASC (Американская ассоциация кинематографистов).
В процессе работы методом имитационного обучения на основе композиции из нескольких нейронных сетей был сформирован искусственный интеллект для монтажа видеоматериалов, снятых непрофессиональными пользователями смартфонов и носимых камер (например GoPro). Для оценки качества автоматического монтажа разработан ряд количественных и качественных критериев соблюдения правил монтажа по Кулешову (правила монтажа по размерам планов и по направлению съемки), а также измерены синеметрические профили по Юрию Цивьяну. На примере собранных исходных материалов показано, что искусственный интеллект действительно смог извлечь из массива киноклассики знания о правилах монтажа без участия человека. Например, из набора любительских видеоклипов общей длительностью 18 минут был автоматически смонтирован 50-секундный ролик, который обладал удовлетворительным темпом и ритмом, монтажные переходы между планами выглядели профессионально, а видеоматериалы с техническим браком отсутствовали (например, размытые кадры, случайные блуждания камеры, моменты, когда персонаж закрывает лицо рукой и т.п.)
Таким образом, искусственный интеллект, переняв опыт монтажа у киноклассиков XX века, смог самостоятельно смонтировать оригинальный клип из любительских видеоматериалов.