Лаборатория перспективных алгоритмов обработки аудиовизуальной информации была организована в НИКФИ в 2015 году. Основным направлением исследований лаборатории стали технологии искусственного интеллекта и возможности их применения в киноиндустрии. За пять лет существования лаборатории в НИКФИ были сформированы компетенции по многим актуальным направлениям вычислительной фотографии, машинного обучения и искусственного интеллекта (ИИ), выполнены ряд государственных контрактов на НИР и НИОКР, а также коммерческих контрактов на внедрение технологий ИИ в архивы кинофотодокументов. Ведется активная деятельность по международному научному сотрудничеству. Работы сотрудников лаборатории представлены на международных конференциях в Великобритании и Китайской Народной Республике.
Лаборатория ставит перед собой задачу продвижения разработок НИКФИ в области искусственного интеллекта и вычислительной фотографии непосредственно в процесс кинопроизводства и создания новых видов зрелищ.
По мнению лауреата премии Оскар и двух премий Эмми Томаса Оганяна [1], можно выделить три исторических этапа внедрения технологий искусственного интеллекта в процесс кинопроизводства:
Снижение трудозатрат
Модификация технологии производства контента
Автоматическое создание контента.
Уже сейчас сформировался стек технологий ИИ, применяемых в технике кино, и НИКФИ владеет многими из этих технологий:
Преобразование голоса в текст для создания субтитров;
Распознавания языка устной речи;
Извлечение семантических метаданных;
Анализ эмоциональной тональности речи и текста;
Высококачественный синтез голоса при синхронизации с мимикой актера;
Суммаризация видео;
Автоматическое создание нескольких версий контента путем замены слов и/или лиц актеров;
Автоматический монтаж сцены из материалов, полученных из нескольких источников;
Автоматическое создание раскадровок мимических движений лиц персонажей из архива видеозаписей для создания контента без реальной киносъемки.
Рассмотрим подробнее, какую пользу может получить отрасль кинопроизводства от широкого внедрения подобных технологий, и каковы наиболее перспективные направления исследований и разработок в этой области.
Первый этап внедрения ИИ: Снижение трудозатрат
При бюджете блокбастера порядка 100 миллионов долларов, около 20% тратится на пост-производство и распространение. Снижение трудозатрат на этом этапе вполне по силам современному ИИ, и способно принести существенную экономию. Представим себе задачу автоматизации контроля качества кинопродукции. В современном кинопроизводстве создают около 240 кинотеатральных версий одного фильма, чтобы учесть все возможные форматы, язык титров и сурдоперевода и т.п. ИИ способен, например, обнаружить дефекты и пропуски в изображении и звуковом сопровождении, которых не было в мастер-версии фильма. Человеку пришлось бы просмотреть более 200 композиций одного и того же фильма, чтобы найти и исправить такие дефекты.
НИКФИ занимается проблемой автоматического контроля качества архивных кинофотодокументов с 2017 года в рамках государственных контрактов на НИР в интересах Министерства культуры РФ, а также в интересах технологических компаний, работающих на рынке киноархивов и видеопроизводства.Созданные нами алгоритмы способны обнаруживать дефекты экспозиции и фокусировки, вплоть до определения направления и скорости смаза изображения из-за движения камеры. При приемке аудиовизуальных материалов от исполнителя к заказчику часто возникает проблема контроля использования нелицензионных видеозаписей и материалов низкого качества, например, масштабированных из низкого разрешения в 2К. Разработанные в НИКФИ нейросетевые решения способны выявить видеоматериалы такого рода по цифровым следам, которые оставляют непрофессиональные манипуляции, например, в Фурье-образе изображения.
Нейронные сети часто изменяют саму парадигму разработки технических решений. Например, используя гигантские объемы фото- и видеоконтента, доступного в социальных сетях, и учитывая оценки, поставленные пользователями, достаточно обучить нейронную сеть оценивать изображения на нескольких миллионах рейтингованных образцов, и мы получим универсальный механизм контроля технического качества без дополнительных усилий по разработке математических моделей и алгоритмов выявления отдельных дефектов! Такая нейронная сеть, предложенная специалистами НИКФИ одному стартапу, одинаково успешно детектирует и кадры с недостаточной экспозицией или пересветами, и выявляет бракованные кадры с заваленным горизонтом, перекрытием лиц персонажей или сцены, всевозможными пятнами, посторонними фигурами и т.п. Примеры оценок, выставленных различным по качеству кадрам, показаны на рис. 1.
Задача контроля пропусков фрагментов видеопотоке при сравнении с мастер-копией также легко решается разработанными в НИКФИ методами семантической идентификации, которые выявляют одинаковые по содержимому кадры даже при значительных визуальных искажениях, например, при смене соотношения сторон кадра, разрешающей способности, частоты кадров, наличия субтитров и т.п.
Типичным примером второго этапа внедрения ИИ в технику кино является российский стартап Naive Software. Компания предлагает программное обеспечение — плагины для популярных систем нелинейного видеомонтажа для сокращения рутинных работ, таких как просмотр исходных материалов и сортировка по типу съемочных планов, персонажам и основным событиям в кадре. Исходные материалы обрабатываются в автоматическом режиме с помощью нейронных сетей и алгоритмов вычислительной фотографии, и предстают в окне приложения в виде отдельных дорожек, уже размеченных по указанным выше параметрам. Только исключение технически бракованных фрагментов способно сократить затраты времени на отсмотр исходных материалов на 15-20%!
Второй этап внедрения ИИ: Модификация технологии производства контента
Если на первом этапе целью внедрения ИИ было сокращение ручного труда, то на втором этапе ИИ помогает авторскому коллективу ориентироваться в материале, что изменяет традиционные технологические цепочки создания кино- или телевизионной продукции. Например, оценим объем работы по созданию документального фильма или телепередачи с основными моментами в теннисном чемпионате. Редактор должен составить каталог из кадров, отсортированных по игрокам, типу удара, реакции зрителей и т.п. Представьте себе 50 каталогизированных событий на игру, умноженный на 20 игр в день, в течение 13 дней турнира (Уимблдонский турнир), при средней продолжительности игры 3 часа. Количество работы возрастает экспоненциально.
Технологии второго этапа внедрения ИИ включают распознавание образов, анализ тональности текста и голоса, интеграцию разнородных данных в реальном времени и извлечение семантических метаданных. В примере с теннисным чемпионатом, технологии ИИ для анализа тональности применялись компанией IBM для анализа криков и шума толпы зрителей, а распознавание образов — для идентификации изображений игроков в реальном времени на основе записей предыдущих игр.
Технологии извлечения семантических метаданных применялись, например, для анализа гримас игроков: вызвана она болью от травмы или проигрышем очка? Улыбка связана с выигрышем игры или подачи?
Сопутствующий анализ текстов твитов и социальных сетей большой массы зрителей позволил точнее связать видеоряд со смысловыми характеристиками, чтобы в результате получить точный каталог событий в каждой игре. После этого монтаж фильмов и телепередач становится делом техники.
НИКФИ накопил большой опыт в распознавании образов и извлечении смысловых метаданных из видеопотока. Мы построили собственный лицензионно чистый ИИ для распознавания лиц и поиска заданных персонажей в архивах кинофотодокументов. Разработаны отдельные классификаторы для локаций (около 1200 достопримечательностей по всей территории России), свыше 1000 наиболее значимых персон российской и советской истории, а также созданы нейронные сети, решающие разнообразные технические задачи: от распознавания съемочных планов, до детектирования скорости и направления движения камеры при съемке.
Технология семантической индексации внедрена НИКФИ в киноархиве Нет-фильм. Кинохронику и фрагменты старых телевизионных передач часто используют при создании новых фильмов, оформлении спектаклей и массовых мероприятий. Традиционная организация архива кинохроники состоит в ручном аннотировании сохраняемых материалов. Редакторы вынуждены просматривать все принимаемые на хранение кинофильмы и вводить в базу данных текстовые описания событий. Режиссеру для поиска нужного фрагмента необходимо сформулировать текстовый запрос, но это не всегда эффективно, т.к. шансы на пересечение ключевых слов, заданных в поисковым запросе, с текстом аннотации, крайне малы. Нейросетевая технология позволяет извлекать т.н. векторы семантических признаков из изображения и находить материалы по визуальному образцу. Эта же технология работает при поиске человеческих лиц. На рис. 2 показаны некоторые примеры визуального поиска по киноархиву “Нет-фильм”.
Рис. 2 — Примеры работы визуального поиска по видеоархиву “Нет-фильм”
Третий этап внедрения ИИ: Автоматическое создание контента
На этом этапе ИИ самостоятельно создает эпизоды или отдельные компоненты для создания фильма.
Например, технологии распознавания речи, мимики и тональности текста в совокупности позволяют создать ИИ для синтеза диалоговых сцен в полностью автоматическом режиме, подавая на вход несколько дублей, снятых с разных ракурсов. Коллектив из Стэнфордского университета разработал [2] систему для автоматического монтажа диалоговых сцен. Имея в качестве входных данных сценарий с текстом диалога и несколько дублей, снятых с разных ракурсов, система производит анализ эмоциональной тональности текста и совмещение мимического движения ключевых точек лица в видеоматериале со сценарным текстом диалога. Таким образом, для каждого дубля определяют, находится ли говорящий в кадре. Для классификации крупности кадра используют детектор лиц и оценивают медианную площадь лица в каждом съемочном плане. Базовые правила кинематографического монтажа, такие как “начинай с общего плана”, “говорящий должен быть в кадре” и “подчеркивай эмоции” кодируют за счет использования признаков, извлекаемых из анализа тональности текста, площади лица в кадре и совмещения сценарного диалога с конкретным дублем. Система предоставляет пользователю графический интерфейс для комбинирования нескольких правил монтажа и управления ритмом смонтированного фрагмента.
Исследователи из Disney создали [3] систему автоматического монтажа видеоматериалов, полученных с множества камер, например снятых многочисленными зрителями баскетбольного матча с разных ракурсов. Система позволяет автоматически монтировать высококачественные видеоклипы за счет того, что сконструирована таким образом, чтобы соблюдались основные правила кинематографического монтажа. Например, для чтобы соблюдалось правило развертывания действия вдоль воображаемой линии с углом обзора 180°, авторы оценивают положение и направление съемки каждой камеры в трехмерном пространстве. Область наиболее важного действия в трехмерной сцене оценивается как точка, куда направлены большинство камер зрителей. Благодаря оценке положения камер и области наиболее важного действия в трехмерном пространстве, система оценивает крупность плана. Поэтому обеспечивается соблюдение правил монтажа по Кулешову, например, переходы между планами не более двух шагов крупности. Наконец, система создает склейки в момент наиболее интенсивного действия за счет оценки ускорения движения области наиболее важного действия.
В 2017 году на конкурсе SCI-FI-LONDON 48hr Challenge (научно-фантастические короткометражки, снимаемые за 48 часов) третье место заняла картина It’s No Game режиссера Бенджамина 2.0, который на поверку оказался искусственным интеллектом. 11 июня 2018 года компания Arstechnica выпустила новый фильм этого “режиссера”, — Zone Out — со звездой сериала “Кремниевая долина” Томасом Мидлдичем в главной роли. Фильм Zone Out создан за 48 часов для участия в конкурсе SCI-FI-LONDON 48hr Challenge 2018 практически без участия людей: кинооператоров, режиссеров, сценаристов.
Искусственный интеллект Бенджамин создан американским исследователем Россом Гудвиным в сотрудничестве с британским режиссером Оскаром Шарпом. Бенджамин не только написал сценарий, но и срежиссировал, снял, смонтировал, озвучил и написал музыку к фильму Zone Out. В качестве видеоряда искусственный интеллект в соответствии с собственным сценарием смонтировал Фрагменты из классических черно-белых фантастических кинолент The Last Man on Earth (1964) и The Brain That Wouldn’t Die (1962), заменив лица героев старых кинолент на лица актеров Sunspring. Для того, чтобы обучить нейронную сеть специфическому языку киносценариев, Гудвин использовал тексты около 100 сценариев научно-фантастических фильмов. Таким образом, ИИ стал генерировать тексты с уклоном в фантастику и с использованием таких фраз, как “наезд камеры” или “панорама вправо”.
Помимо целей современного искусства, может ли подобная технология применяться на практике? В первую очередь, на ум приходит прототипирование при производстве фильма. Например, перед съемкой сцены на натуре бывает полезно оценить несколько вариантов с точки зрения темпа, ритма, спрогнозировать траекторию камеры, положение источников света. Зачастую такое макетирование делается с помощью 3D-моделирования, что довольно затратно. Представьте себе, что автор просто произносит в микрофон краткое содержание сцены, и компьютер генерирует видеоряд на основе огромного архива накопленных киноматериалов.
Черновой монтаж: представим себе блогера, который наснимал много часов видео, и теперь хочет быстро смонтировать 30-секундный ролик. Он задает текстовое описание того, что хотел бы получить, и компьютер отбирает из снятого материала наиболее подходящие фрагменты, подгоняет их по длительности и монтирует ролик.
Автоматическая генерация изображений поможет быстро создать черновик кадра для дальнейшего планирования работы кинооператора, осветителей, режиссера. Например, в [4] показано, как буквально тремя штрихами можно дать задание нейронной сети сгенерировать реалистичное изображение требуемого пейзажа (см. рис. 3).
Ученые НИКФИ работают над задачей автоматического монтажа клипов из бытовых любительских видеозаписей. Наша система учится у мастеров кино, и даже позволяет пользователям выбирать стиль монтируемого клипа. Представьте себе, что вы отдаете Квентину Тарантино несколько часов записей детсадовских утренников своего ребенка и просите его смонтировать 2-3 минутный фильм!
Именитый режиссер на первом этапе должен отобрать из исходных видеоматериалов наиболее качественные и интересные, на его авторский взгляд, сцены, и затем смонтировать их, соблюдая кинематографические правила и собственные творческие приемы. Сможет ли искусственный интеллект повторить этот процесс?
В качестве базы для обучения ИИ правилам кинематографического монтажа мы использовали DVD 68 фильмов из списка 100 лучших фильмов по версии Американского кинематографического общества [5]. С помощью нейронной сети, обученной классификации изображений, мы разделили массив эталонных шедевров на съемочные планы и выделили 1024-разрядные векторы семантических признаков каждого кадра.
Наша гипотеза состоит в том, что стиль монтажа кинофильма может быть описан с помощью нахождения закономерностей в переходах между планами в зависимости от их визуального содержимого. Для иллюстрации этой гипотезы мы нанесли переходы между планами эталонных киношедевров на плоскость, как показано на рис. 4. Переходы между планами нанесены в виде полупрозрачных линий, поэтому наиболее темные пучки линий соответствуют наиболее типичным переходам. Несмотря на то, что структура переходов едва просматривается, мы полагаем, что методы на основе глубокого обучения способны выявить существенные закономерности, т.к. в если бы их не было, картина переходов имела бы равномерную окраску.
Для проверки этой гипотезы была сформирована обучающая выборка на основе 66 тысяч съемочных планов эталонных киношедевров. Были сформированы цепочки из векторов семантических признаков эталонных фильмов, причем часть съемочных планов в этих цепочках была преднамеренно перепутана, чтобы сымитировать неправильный киномонтаж. Задача имитационного обучения была поставлена таким образом, чтобы обучить автоматического агента генерировать последовательность действий, таких как “пропустить кадр”, “использовать кадр в монтаже”, “сократить длительность, но использовать в монтаже” на основании произвольной цепочки семантических векторов.
После тренировки агента методом имитационного обучения DAgger [6] получены следующие результаты, свидетельствующие о том, что агент извлек и обобщил опыт киномонтажа из эталонных киношедевров, а также умеет выбирать наиболее привлекательные фрагменты из исходного материала. Так, из файлов непрерывной видеосъемки на камеру GoPro длительностью свыше 18 минут, автоматически смонтирован 36-секундный клип с красивыми кадрами, правильными монтажными переходами. Такой клип вполне подходит для того, чтобы сохранить память о событии или опубликовать в социальных сетях.
Для оценки качества обучения модели мы вручную подсчитали количество переходов между планами в разрезе их крупности (Детальный — Крупный — Средний 1 — Средний 2 — Общий — Дальний) для произвольной выборки эталонных образцов киношедевров; исходных видеоматериалов, снятых непрофессионалами; и в автоматически смонтированных автоматическим агентом клипах. На рис. 5 показаны гистограммы распределение количества переходов между планами. Легко видеть, что в непрофессиональном видеоматериале распределение хаотично. В распределении переходов эталонных образцов ярко выражена структура, соответствующая рекомендациям монтировать переходы между планами на 2 шага крупности (“правила монтажа по Кулешову”). В видеоклипах, смонтированных автоматически с использованием модели, обученной алгоритмом Dagger, также отчетливо проявляется указанная структура.
Среднее квадратическое отклонение гистограммы распределения количества переходов в непрофессиональном материале от гистограммы эталонных образцов составляет 0,004. Среднее квадратическое отклонение гистограммы распределения количества переходов в автоматически смонтированном материале от гистограммы эталонных образцов составляет 0,001. Таким образом, автоматически смонтированный материал значительно приближен по характеристикам монтажа по крупности плана к эталонным образцам.
Автоматический агент также обучился правилам монтажа по ориентации в пространстве. На рис. 6(а) показан тестовый фрагмент фильма ‘Das Boot’, 1981 года, режиссер Wolfgang Petersen, в который намеренно вставлены чужеродные кадры из фильма ‘Fanny and Alexander’, 1982 года, режиссер Ingmar Bergman. Мы специально подобрали чужеродные кадры таким образом, чтобы по тону и структуре они мало отличались от крупных планов выбранного эпизода фильма ‘Das Boot’, но направление взгляда героев было противоположно тому, которое диктуется правилами кинематографического монтажа: в фильме ‘Das Boot’ офицер разговаривает с командой моряков, стоящих лицом к нему, таким образом, при правильном монтаже взгляды офицера и команды должны быть направлены навстречу друг другу. Наша модель корректно удалила неверные кадры, как показано на раскадровке рис. 6(б).
Работа НИКФИ [7] об изложенных здесь результатах исследований возможности автоматического монтажа за счет извлечения знаний из эталонных киношедевров была отмечена наградой «За лучший доклад» на 15-ой Международной конференции по естественным вычислениям, нечетким системам и получению знаний (ICNC-FSKD 2019) в г. Куньмин (Китай) 21 июля 2019 года.
Математические модели автоматического монтажа видеоматериалов на основе векторов семантических признаков рассматривают процесс монтажа неизменных исходных съемочных планов. Автоматический агент обучается выполнению двух видов действий: включение фрагмента исходных видеоматериалов в смонтированный фильм или пропуск фрагмента. Поскольку лежащий в основе имитационного обучения механизм предсказания оптимального действия имеет линейный функционал, система автоматического монтажа, созданная с использованием данной математической модели склонна к “сглаживанию” результатов — смонтированные фильмы получаются излишне сокращенными, и не содержат многих уникальных сцен, которые пользователю желательно сохранить. В смонтированный фильм включаются только наиболее “канонические” кадры и монтажные переходы, соответствующие образцам из обучающей выборки.
Но на основе новейших методов обучения с подкреплением с помощью многослойных нейронных сетей можно создать систему автоматического монтажа, способную не только повысить субъективную оценку качества монтажа, но и исправлять некоторые недостатки съемки исходных материалов, таких как неправильная композиция, кадрирование и т.п. Таким образом, автоматический агент должен обучиться выполнению аффинного преобразования изображения исходного видеоматериала. Это позволит разнообразить результат автоматического монтажа и включить в состав смонтированного фильма исходные фрагменты, которые без аффинного преобразования выглядят слишком непрофессионально.
Математическая модель обучения с подкреплением впервые предложена М.Л. Цетлиным [8] как модель обучения конечного автомата во внешней среде, которая с вероятностями, зависящими от совершаемого автоматом действия, наказывала или поощряла автомат. Для анализа поведения этого автомата был впервые использован аппарат цепей Маркова, разработанный А. А. Марковым. Современный всплеск интереса к процессу обучения многослойной сверточной сети методом обучения с подкреплением вызвала работа [9], в которой описано, как нейронная сеть достигает уровня человека в игре в старомодные компьютерные игры просто наблюдая на входе сети серии изображений экрана компьютерной игры и имитируя управление игрой с помощью джойстика (см. рис. 7).
Данный подход в настоящее время активно исследуется в НИКФИ применительно к автоматизации видеомонтажа. В составе функции полезности выступает мера соответствия монтируемых кадров эталонным образцам из библиотеки киношедевров, и мера уникальности кадра в составе предоставленных исходных материалов, и оценка технического качества материала. В качестве решающей функции разрабатывается сверточная структура с возможностью обработки последовательностей кадров, длина которых не фиксирована. Это позволит учитывать контекст и реализовывать более сложные монтажные операции, например перестановку порядка следования сцен в смонтированном фильме. Решающая функция — нейронная сеть — выдает непосредственно регрессию матрицы аффинного преобразования кадра, позволяющую исправить недостатки в исходном материале, например выровнять горизонт, обрезать посторонние предметы на границе кадра и т.п.
Помимо рассматриваемого нами в качестве ближайшей цели рынка непрофессиональных пользователей видеокамер и смартфонов, описанная технология может быть востребована и в киноиндустрии в условиях смены парадигмы кинопроизводства от высокобюджетных авторских проектов к массовому индивидуализированному производству нишевого продукта на основе краудсорсингового контента. Как пишет Том Огянян, 60 тысяч зрителей на крупном музыкальном концерте способны снять в 4К и транслировать событие в прямом эфире с помощью смартфонов. Использование этого потенциала способно породить грандиозные новые способы потребления видеоконтента, включающие автоматическое совмещение лучших кадров из разных источников; синтез голографического объемного изображения за счет использования видео, снятого с тысяч различных ракурсов; учет индивидуальных пристрастий зрителей и массовой реакции участников события и соцсетей.
ЛИТЕРАТУРА
- Tom Ohanian. How Artificial Intelligence and Machine Learning May Eventually Change Content Creation Methodologies // SMPTE Motion Imaging Journal, январь-февраль 2019, С. 33-40.
- Leake, M., Davis, A., Truong, A., Agrawala, M. Computational Video Editing for Dialog-Driven Scenes // ACM Trans. Graph., 36(4):130, июль 2017.
- I. Arev, H. S. Park, Y. Sheikh, J. Hodgins, A. Shamir. Automatic Editing of Footage from Multiple Social Cameras // ACM Trans. Graph., 33(4):1–11, июль 2014.
- Taesung Park, Ming-Yu Liu, Ting-Chun Wang, Jun-Yan Zhu. Semantic Image Synthesis with Spatially-Adaptive Normalization // Препринт: arXiv:1903.07291, 2019.
- ASC Unveils List of 100 Milestone Films in Cinematography of the 20th Century // [Электронный ресурс]. URL: https://theasc.com/news/asc-unveils-list-of-100-milestone-films-in-cinematography-of-the-20th-century (Дата обращения: 08.01.2019).
- Ross, S.,, Gordon, G.J., Bagnell, J. A. A Reduction of Imitation Learning and Structured Prediction to No-Regret Online Learning // Journal of Machine Learning Research — Proceedings, том 15, 2011.
- S. Podlesnyy. Towards Data-Driven Automatic Video Editing // Advances in Natural Computation, Fuzzy Systems and Knowledge Discovery, 2020, том 1, Springer International Publishing, С. 361—368.
- Гельфанд И. М., Пятецкий-Шапиро И. И., Цетлин М. Л. О некоторых классах игр и игр автоматов // Докл. АН СССР, 1963, том 152, номер 4, С. 845—848.
- Mnih, K Kavukcuoglu, D Silver, AA Rusu, J Veness, MG Bellemare, et al. Human-level control through deep reinforcement learning // Nature 518 (7540), С. 529-533.