Доклад заместителя директора, заведующего лабораторией перспективных алгоритмов НИКФИ, С.Ю. Подлесного, «К вопросу об автоматическом монтаже видео», на 15-ой Международной конференции по естественным вычислениям, нечетким системам и получению знаний (ICNC-FSKD 2019) в г. Куньмин (Китай) 21 июля 2019 года был удостоен награды «Best presentation award».
В работе была задействована база для обучения искусственного интеллекта, из 100 лучших фильмов XX века, номинированных организацией ASC (Американская ассоциация кинематографистов).
В процессе работы методом имитационного обучения на основе композиции из нескольких нейронных сетей был сформирован искусственный интеллект для монтажа видеоматериалов, снятых непрофессиональными пользователями смартфонов и носимых камер (например GoPro). Для оценки качества автоматического монтажа разработан ряд количественных и качественных критериев соблюдения правил монтажа по Кулешову (правила монтажа по размерам планов и по направлению съемки), а также измерены синеметрические профили по Юрию Цивьяну. На примере собранных исходных материалов показано, что искусственный интеллект действительно смог извлечь из массива киноклассики знания о правилах монтажа без участия человека. Например, из набора любительских видеоклипов общей длительностью 18 минут был автоматически смонтирован 50-секундный ролик, который обладал удовлетворительным темпом и ритмом, монтажные переходы между планами выглядели профессионально, а видеоматериалы с техническим браком отсутствовали (например, размытые кадры, случайные блуждания камеры, моменты, когда персонаж закрывает лицо рукой и т.п.)
Таким образом, искусственный интеллект, переняв опыт монтажа у киноклассиков XX века, смог самостоятельно смонтировать оригинальный клип из любительских видеоматериалов.
Данная работа была выполнена при поддержке Фонда содействия инновациям (Договор №2892ГС1/45316).
