Как это сделано: трансляция футбола с произвольным ракурсом просмотра

21 сентября 2017 г. компания Canon объявила о создании видеосистемы с произвольным ракурсом просмотра Free Viewpoint Video System. Компания ориентирует систему на сегмент спортивных трансляций. По периметру стадиона устанавливают камеры высокого разрешения. Полученную видеозапись с помощью программного обеспечения переводят в формат 3D-анимации, после чего зрители могут наблюдать за матчем с любого ракурса как в компьютерной игре.

Технология включает в себя обязательный компонент обработки видеоматериала, поэтому не может применяться для онлайн-трансляции событий. Пример видео, синтезированного на основе объемной записи матча Японской лиги, 3 ноября 2016 года, между командами Kawasaki Frontale и Gamba Osaka, на стадионе Kawasaki Todoroki Stadium, Kanagawa Prefecture.

Пример видеокадра, синтезированного из объемной записи футбольного матча.

Как это сделано?

Технология интерактивного просмотра объемной видеозаписи включает в себя многокамерную видеосъемку футбольного матча и алгоритмы 3D-реконструкции, наложения текстур и синтеза новых ракурсов с достаточной частотой кадров.

Система захвата использует несколько синхронизированных видеокамер. Минимальное количество камер 4, но для достижения высокого качества картинки, их требуется гораздо больше.

Рисунок с сайта http://global.canon

На этапе обработки видеозаписей применяется метод «вычисление формы из силуэта»: изображения игроков отделяется от фона и анализируется пересечение силуэтов игроков, полученных с каждой камеры. Это требует точной привязки положения и угла обзора каждой камеры к линиям разметки футбольного поля. В результате такого сложного процесса получается 3D-модель сцены в движении.

При просмотре футбольного матча в реальном времени производится рендер трехмерной модели каждого кадра, причем для раскрашивания моделей игроков и фона используют текстуры, полученные искривлением изображений с видеокамер.

Теоретически, такая система могла бы работать в реальном времени, т.е. в режиме трансляции прямо с матча, но пока не удалось реализовать ее без стадии обработки видеозаписей. Также недостатком системы является оптимизация под ограниченное количество сценариев, в частности, пока она пригодна только для записи и воспроизведения футбольных матчей и регби.

Разработчики предложили эту технологию для трансляции матчей Чемпионата мира по футболу в 2022 году в рамках заявки Японии на чемпионат. И не их вина, что Япония не получила чемпионат мира… Также, по слухам, планируется «голографическая трансляция» Игр Зимней Олимпиады в Южной Корее, которые пройдут в 2018 г. Эксперты НИКФИ полагают, что под термином «голографическая трансляция» подразумевается описываемая технология.

Для чего это нужно?

В комментариях к событию пресса указывает на новую тенденцию в потреблении видео: вместо пассивного просмотра готовых программ зрителям предоставляются средства для создания авторского аудиовизуального контента из предоставленных материалов. Эта тенденция просматривается, например, в проекте Slightly Mad Studios, позволяющем пользователям создавать фильмы из записей высокополигональных моделей гоночных автосимуляторов; проекте Ansel компании Nvidia по созданию фотографий сцен в совместимых компьютерных играх (пользователю предоставляются возможности выбора ракурса съемки независимо от сюжета игры).

Рисунок с сайта https://www.geforce.com/whats-new/articles/ansel-revolutionizing-game-screenshots

Как отмечено в статье Олега Березина «Российская киноиндустрия 4.0 — цифровые кинофабрики, или прогнозирование за гранью понимания», Мир техники кино, №3, 2017, с. 6,

“Такие адаптивные технологии открывают новые художественные возможности для создателей аудиовизуального контента — от фильмов с изменяемыми сценариями до версий фильмов тех или иных авторитетных людей”.