Публикация в The Hollywood Reporter Russia описывает проект НИКФИ генерации текстовых аннотаций видеофрагментов на русском языке.
http://thr.ru/cinema/bendzamin-i-drugie-kak-roboty-snimaut-kino/
24.07.2018 Гаянэ Торбочкина
Создатели Бенджамина — британский режиссер Оскар Шарп и американский исследователь Росс Гудвин. Последний — мозг этого проекта. Выпускник Массачусетского технологического, в студенческие годы он работал на администрацию Обамы, где автоматизировал написание текстов для спикеров администрации и в итоге увлекся темой ИИ.
То, что эти двое делают, основано на системе машинного обучения и создании искусственных нейронных сетей, устроенных по принципу биологических нейросетей. Сначала программу учили писать киносценарии — сочинять текст на заданные темы, а потом и адаптировать его для кино. Американцы использовали для этого обучения огромную библиотеку научно-фантастической литературы и около сотни жанровых сценариев, находящихся в открытом доступе. Видимо, потому Бенджамин так любит фантастику.
Он не одинок в этом мире. В России также созданы программы, способные анализировать информацию, в том числе и видео, и генерировать собственные тексты. Этим занимаются, например, специалисты Научно-исследовательского кинофотоинститута (филиала Киностудии им. М. Горького), между прочим, обладателя «Оскара» 1991 года за технические достижения. Когда говорят о русских «Оскарах», эту награду часто упускают из виду.
При обучении нейросетей в НИКФИ использовали не фантастику, а отечественные криминальные телесериалы. Потому наш ИИ получился слегка сдвинутым на криминальной тематике, например, обычный автомобиль он может назвать автозаком. Также использовали кинохронику 60-х годов из собрания Госфильмофонда, посвященную текущим политическим событиям. И, кстати, наша программа была под сильнейшим впечатлением от новостей 1968 года о вводе советских войск в Чехословакию. Так что когда сегодня ей предлагают проанализировать видео или фото с изображениями боевых действий, она немедленно вспоминает Прагу.
Пока российский собрат Бенджамина занят на очень прагматических работах — автоматизации описания видеоряда при сдаче материала в архивы. Программа работает с некоторыми пилотными проектами Росархива в регионах, а также в одном из киноархивов-партнеров Госфильмофонда.
Но кино — перспективная сфера, так как подобные программы нужны в кинопроизводстве. Например, перед съемкой сцены на натуре полезно оценить несколько вариантов с точки зрения темпа, ритма, спрогнозировать траекторию камеры, положение источников света. Сегодня такое макетирование можно делать с помощью 3D-моделирования, но это дорого. Если автор просто произнесет в микрофон краткое содержание сцены, и компьютер сгенерирует видеоряд на основе архива накопленных киноматериалов, выйдет дешевле. Автоматическая генерация изображений поможет быстро создать черновик кадра для дальнейшего планирования работы кинооператора, осветителей, режиссера. Будет ли наш ИИ сам снимать кино — пока вопрос. Исследования в сфере монтажа видеоконтента — побочный продукт специалистов института, то, чем они занимаются на досуге, в свободное от работы время.