Интерактивность и нейроинтерфейс – современная парадигма развития кинематографа?

Прошедший 2018 год был отмечен двумя необычными и очень нестандартными кинопремьерами, одна из которых была ожидаема и в должной мере освещалась прессой и обсуждалась кинокритикой, в то время как вторая прошла совсем незамеченной профессиональным киносообществом.
В канун Нового года в конце декабря на стриминговом сервисе Netflix состоялась премьера полнометражного интерактивного фильма «Чёрное зеркало: Брандашмыг» (Black Mirror: Bandersnatch), в процессе просмотра которого зритель может влиять на развитие событий фильма, выбирая один из предложенных вариантов. А полугодом ранее – летом, в английском городе Шеффилде (Sheffield) на Фестивале документального кино Doc/Fest 2018 был представлен короткометражный научно-фантастический фильм «The Moment» режиссёра Ричарда Рамчурна (Richard Ramchurn) с управлением развития сюжета по нейрокомпьютерному интерфейсу.

Постеры фильмов

Общим для этих двух фильмов является наличие одновременно нескольких различных вариантов развития сюжета внутри одного фильма и возможность зрителей влиять на события, происходящие на экране. В отличие от традиционного кинопросмотра – интерактивное кино предполагает активное участие зрителя в развитие сюжета и его вовлечённость в действие, а сценарий фильма должен быть поливариантным с «ветвящейся» структурой повествования, продуманными и организованными «точками перехода» для изменений сюжета зрителем.

В НИКФИ (Научно-исследовательском кинофотоинституте) были проведены исследования по развитию технологий интерактивного кинематографа и анализировались современные тенденции и перспективы развития этого направления, результаты работы были представлены и обсуждались специалистами киноотрасли на V Международной научно-практической конференции «Инновационные технологии в кинематографе и образовании».
Интерактивное кино с поливариантным развитием сюжета имеет свою историю, а сама технология и первый фильм были созданы и успешно демонстрировались более 50-ти лет назад. Впервые идея создания кинофильма, в котором одновременно реализуются несколько сюжетных линий и зритель может влиять на ход событий и выбирать вариант дальнейшего продолжения кинофильма была осуществлена в 1967 году.
Чехословацкие режиссёры Р. Чинчер, В. Свитачек и Я. Рогач создают для Всемирной выставки ЭКСПО-67 проводившейся в Монреале (Канада) новый интерактивный синтетический киноаттракцион «Киноавтомат», в котором демонстрировалась широкоэкранная кинокомедия «Человек и его дом». В процессе демонстрации фильма в нескольких эпизодах на усмотрение зрителей предлагается два варианта развития событий. В моменты, когда зрителям предлагается сделать выбор продолжения сюжета, киноизображение останавливается, а на авансцене появляются два артиста (мужчина и женщина), которые в шутливой манере комментируют происходящие на экране события и предлагают два взаимно противоположных продолжения действия. При этом изображение на экране раздваивается, иллюстрируя предлагаемые варианты продолжения фильма. Зрители голосуют с помощью двух кнопок – зелёной и красной, расположенных на каждом кресле. Результаты голосования высвечиваются цветными лампочками, расположенными в ячейках специального табло вокруг киноэкрана, при этом каждому креслу соответствует своя персональная ячейка. Выбранный большинством зрителей вариант продолжения сменяет стоп-кадры на экране и демонстрируется до следующего альтернативного момента сюжета. При кажущейся сложности осуществления подобного киноаттракциона, который должен содержать огромное количество вариантов сюжета, на самом деле фильм содержит всего два их варианта, расположенные на двух одновременно и синхронно демонстрируемых фильмокопиях с двух 35-мм кинопроекторов.
По окончании выставки киноаттракцион воссоздаётся в Праге, для чего переоборудуется кинотеатр «Светозор» на 490 мест. «Киноавтомат» с успехом проработал в Праге несколько лет и, несмотря на высокую цену, втрое превосходящую стоимость билета на обычный киносеанс, два ежедневных сеанса проходили при полностью заполненном кинозале.

Голосование зрителями в интерактивном киноаттракционе «Киноавтомат» на ЭКСПО-67

После эффектного появления интерактивная кинотехнология не получила сразу дальнейшего развития в кинематографе, но нашла применение в игровой индустрии и позволила создать целый новый вид видео и компьютерных игр — Full Motion Video (FMV), в которых используются специально снятые видеофильмы с реальными живыми актёрами и декорациями или анимация. В 1974 году Nintendo создала первую FMV аркадную игру Wild Gunman, в которой изображение воспроизводилось двумя 16-ти миллиметровыми плёночными кинопроекторами, что позволяло получать два варианта развития сюжета игры. Появление технологии аналоговой видеозаписи на LaserDisc и цифровой записи на CD-ROM в конце 1970-ых годов способствовало дальнейшему успешному развитию этого направления.

В 1992 году в США Боб Бежан (Bob Bejan) снимает короткометражный приключенческий фильм «Я – тот, кто тебе нужен» (I’m Your Man). Фильм был снят за 6 дней на 16-мм киноплёнку Kodak и затем смонтирован и перенесён на лазерный диск. Весь бюджет фильма составил 370000 $. Для проката фильма созданная Бежаном компания Interfilm в партнерстве с Sony с 1992 по 1995 год оборудовала 42 кинотеатра проекционными системами и трёхкнопочными пультами на каждом кресле в зрительном зале, чтобы зрители могли голосовать при выборе развития сюжета. Переоборудование кинотеатров оказалось достаточно затратным – около 70000 $ для каждого кинозала. Премьера состоялась в декабре 1992 года в Нью-Йорке в кинотеатре Loews Theater at 19th Street and Broadway, киносеанс продолжался около 20 минут, в зависимости от выбора зрителей. Практически это стало первой реализацией системы интерактивного кинематографа в массовом прокате.

Стоп-кадр из фильма «I’m Your Man» для выбора варианта продолжения кинофильма

Но одного фильма для продвижения нового формата было явно недостаточно, и в 1995 году выходит ещё один короткометражный интерактивный приключенческий фантастический фильм – «Мистер Пайбэк» (Mr. Payback) режиссёра Боба Гейла. Фильм оказался неудачным и собрал в прокате всего 240000 $. С учётом необходимости достаточно дорогостоящего дооборудования стандартных кинозалов для возможности демонстрации интерактивных фильмов и невысоких сборов дальнейшее продвижение нового киноформата было остановлено. Однако в 1998 году фильм «I’m Your Man» был выпущен на DVD диске, и это впервые сделало доступным интерактивный домашний кинопросмотр.

Обложка первого DVD диска с интерактивным фильмом и схема для интерактивной навигации по фильму

Новые возможности для кинопроката интерактивных фильмов в киносети появились в результате развития цифровых технологий. Переход кинотеатров на цифровой кинопоказ в сочетании с возможностью использования смартфонов кинозрителей для голосования делает возможным демонстрацию интерактивных фильмов в стандартных кинозалах без их дополнительного технического переоборудования. Зрителям достаточно скачать на свои смартфоны или планшеты специальное приложение для голосования, которое осуществляется в процессе показа фильма по сети Wi-Fi. Таким образом дополнительные затраты требуются только для создания фильма, который можно демонстрировать в обычных кинотеатрах. По такому пути пошли создатели фильма «Ночная игра» (LateShift) режиссёра Тобиаса Вебера (Tobias Weber). В отличие от предыдущих интерактивных фильмов, англо-швейцарский триллер «Ночная игра», вышедший в 2016 году, является полноценным полнометражным фильмом с длительностью сеанса 75 – 90 минут в зависимости от выбранного зрителями варианта. Полная длительность смонтированного для всех вариантов материала – 250 минут, в фильме предусмотрены семь разных вариантов финала, притом полярно разных – от смерти главного героя до хэппи-энда. Фильм демонстрировался на фестивалях и вышел в широком прокате, в том числе российском, в киносети Каро.

В 2017 году появилась принципиально новая форма интерактивного кино, предназначенная для индивидуального просмотра на мобильных устройствах с небольшим экраном (смартфонах и планшетах с операционными системами iOS и Android). Известный кинорежиссер и продюсер Стивен Содерберг (Steven Soderbergh) выпустил на телеканале HBO экспериментальный интерактивный сериал «Мозаика» в виде мобильного приложения. Сценарий разрабатывал Эд Соломон (Ed Solomon), в главной роли снялась Шэрон Стоун. Проект длился более трёх лет и располагал многомиллионным бюджетом. Компания PodOp разработала для сериала специальное мобильное приложение, которое необходимо установить на мобильном устройстве для возможности просмотра сериала. Сериал состоит из отдельных эпизодов, длительность которых может быть различной, по окончании эпизода зритель может выбирать вариант дальнейшего развития сюжета и от лица какого действующего персонажа он будет наблюдать за событиями. Общий суммарный объем всех сюжетных вариантов фильма составляет около семи часов. Спустя несколько месяцев после выхода интерактивного сериала «Мозаика» на HBO была смонтирована линейная версия и фильм вышел в виде традиционного шестисерийного телесериала без функции интерактивности.

Не обошли вниманием интерактивные кинотехнологии и стриминговые компании, что вполне естественно в силу их технологической специфики. Технологии потоковой трансляции видеоконтента потребителю в реальном режиме времени легко могут быть адаптированы для передачи фильмов с интерактивным функционалом. Основной проблемой в этом случае является не техническая реализация такой возможности, а отсутствие интерактивного контента и необходимость его создавать и формировать потребительский спрос на такую продукцию. Одна из крупнейших видеостриминговых компаний Netflix выпустила несколько пробных анимационных интерактивных программ для детской аудитории в 2017 году: «Stretch Armstrong: The Breakout», «Puss in Book: Trapped in Epic Tale» и «Buddy Thunderstruck: The Maybe Pile». А годом позже, 28 декабря уже представила первый в истории стримингового сервиса полнометражный интерактивный игровой фильм «Чёрное зеркало: Брандашмыг» (Black Mirror: Bandersnatch) в жанре фантастического триллера. Фильм вышел в качестве отдельной серии в рамках британского телесериала-антологии «Чёрное зеркало» по сценарию Чарли Брукера. Стандартное программное обеспечение не могло обеспечить все необходимые для интерактивного фильма функции, поэтому было разработано собственное специальное программное обеспечение Branch Manager. Общая длительность всех версий и вариантов интерактивного фильма составляет больше пяти часов (312 минут), а для просмотра одной версии фильма в среднем требуется около полутора часов. Наиболее короткий вариант фильма укладывается в 40 минут. В фильме предусмотрены пять основных значительно различающихся вариантов финала и несколько их вариаций. Посмотреть фильм можно на 28 языках по выбору. В планах компании предполагается дальнейшее развитие этой технологии.

Совершенно отдельное место в развитии интерактивного кино занимают технологии с применением нейроинтерфейса. Современный уровень технического развития сделал такие эксперименты возможными, так как необходимое для этого оборудование стало вполне доступно как по стоимости и возможности его приобретения в открытом доступе, так и в плане сложности работы с ним.
Интересным результатом экспериментов в этом направлении стал созданный Ричардом Рамчурном короткометражный фильм «Момент» (The Moment) представленный им в июне 2018 года. Английский художник и режиссёр Ричард Рамчурн проводит эксперименты по использованию нейрокомпьютерного интерфейса (brain-computer interface, BCI) для интерактивного взаимодействия с видеоизображением с 2013 года, а в 2015 году им был создан первый экспериментальный фильм с использованием нейрогарнитуры NeuroSky MindWave – «The Disadvantages of Time Travel», ещё через три года был выпущен фильм «The Moment» с доработанным и усовершенствованным алгоритмом. «The Moment» – это короткометражный научно-фантастический игровой фильм длительностью 27 минут, действие которого разворачивается в недалёком будущем, в котором подключение компьютеров к мозгу является распространённой нормой, как и контроль за людьми. Фильм содержит три основные параллельные сюжетные линии, между которыми возможны взаимные переходы, в дополнение к этому отдельно может изменяться и звуковое сопровождение. Для просмотра фильма зрителю необходимо надеть на голову нейрогарнитуру (Рамчурн для этого использует американскую NeuroSky Mindwave), выполняющую функцию нейрокомпьютерного интерфейса. Гарнитура снимает данные по принципу электроэнцефалограммы, позволяя регистрировать и наблюдать электрическую активность мозга и фиксировать его реакцию на воздействие от внешних раздражителей с помощью специальных датчиков. Прибор NeuroSky позволяет фиксировать в диапазоне 1-100 Гц основные ритмы головного мозга с амплитудой 3-200 мкВ: альфа, бета, гамма, дельта, тета. Зарегистрированные данные электрической активности мозга зрителя передаются в управляющий компьютер, который обрабатывает полученную информацию и на основе её анализа в соответствие с алгоритмами специально созданной программы формирует команды, определяющие дальнейшее развитие сюжета фильма и его звукового ряда. Фильм создан с несколькими развивающимися сюжетными линиями, переключение между которыми и выполняется компьютером, фактически осуществляющим новый монтаж уникального варианта фильма в режиме реального времени. Таким образом, действие фильма при просмотре будет меняться и подстраиваться в соответствии с изменением состояния и настроения зрителя по определённому режиссером алгоритмическому сценарию. Так как в разное время и у разных людей мозг работает и реагирует на внешние стимулы по-разному, то каждый раз для каждого зрителя будет создаваться своя уникальная версия фильма. Фильм демонстрируется в небольшом специально оборудованном трейлере с проекционным экраном, в котором одновременно могут разместиться до 8 зрителей. Оператор с нейрогарнитурой может быть только один, остальные зрители повлиять на сюжет фильма никак не могут и остаются пассивными наблюдателями. Функция коллективного интерактивного просмотра пока не реализована.

Кадры из фильма «Момент»
Нейро-гарнитура Neurosky

Принципиальным отличием этого вида интерактивного кино является возможность установления постоянной обратной связи со зрителем. Измерения показателей работы мозга проводятся непрерывно и это позволяет анализировать реакцию в режиме реального времени и вносить соответствующие изменения в демонстрируемый фильм, обеспечивая непрерывную во времени постоянную связь. Взаимодействие со зрителем, таким образом, возможно не только в заранее намеченных в сценарии ключевых точках перехода, но непрерывно на протяжении всего фильма, что позволяет избежать дискретности повествования. Другим, и наиболее важным, отличием является взаимодействие на уровне подсознания, а также учёт тонких эмоциональных изменений и возможность их коррекции. При определённых настройках системы ни зритель, ни даже создатель и автор фильма не могут точно предугадать дальнейшее развитие сюжета.

Интерактивные технологии открывают целый спектр новых возможностей для зрителя. Но могут ли описанные технологии интерактивного кино нести в себе какую-либо опасность и должны ли вызывать определённую настороженность пользователей? Ответ – да, могут, особенно если создатели таких технологий и контента будут ставить такую задачу. Основная проблема здесь связана с персонификацией всех современных описанных технологий, даже при коллективном просмотре в кинотеатре процесс голосования осуществляется через персональные мобильные устройства, не говоря уже о поставке видеоконтента непосредственно на персональные мобильные устройства и стриминговых сервисах. Обработка результатов вашего выбора в процессе интерактивного просмотра может дать информацию о ваших предпочтениях, в том числе внутренних и даже не осознаваемых, манере, способах и стратегии поведения и т.д. и т.п. Специальным образом сформированные вопросы и задачи, размещаемые в материале фильма, могут позволить собирать массу дополнительной информации о вашем отношении к различным вещам и событиям, возможно моделирование специальных «игровых» ситуаций, по реакции на которые можно сделать выводы о ваших поведенческих реакциях. Бесконтрольное использование нейроинтерфейсов вызывает гораздо большее беспокойство, так как эти технологии позволяют работать с нашим подсознанием и притом абсолютно незаметно и бесконтрольно для нас – мы просто этого не заметим. Однако все эти соображения и озабоченности не должны приводить к немедленному тотальному алармизму, так как в целом это те же опасности, которые подстерегают нас в пространстве Интернет и компьютерных играх – задача общественной и личной безопасности должна ставиться и решаться концептуально в более общем плане и применительно ко всей совокупности современных информационных технологий.

Кинематограф постоянно эволюционирует, это обусловлено как непрерывным развитием и совершенствованием технической и технологической составляющей, так и той его части, которая относится к Искусству. Кино постепенно превращалось из коммерческого аттракциона в высокотехнологичное киноискусство, обретало звук, цвет, широкий экран, объёмный звук и объёмное изображение. Кино является наиболее технологичным из изобразительных искусств, и в значительной степени зависит и определяется разнообразными технологиями и уровнем техники, использующимися в процессе создания и демонстрации фильмов. Но одной только технологии недостаточно для успешного и полноценного развития, необходима совокупность разных факторов, как творческих, так и технических и экономических. Появление новых изобразительных возможностей ещё не гарантирует их успешного внедрения, помимо, собственно, технологических аспектов необходимо их творческое освоение и создание и разработка нового специального изобразительного языка и инструментария. К примеру, первые эксперименты по применению объёмного звуковоспроизведения в кино проводились с 1930-ых годов, а в массовом кинематографе эта технология появилась только спустя двадцать лет; путь стереоскопического объёмного изображения до кинотеатров оказался ещё дольше – более 40 лет (первая стереоскопическая кинокамера была создана спустя всего два года после первой «обычной» камеры в 1890 году Уильямом Фризе-Грином). Таким образом, следует отметить, что появление новой технологии в сфере кинематографа не означает её быстрого и обязательного внедрения – на это может потребоваться определённое и, возможно, значительное время, особенно когда речь идёт о создании нового вида кинематографа.

Дмитрий Чекалин
филиал «Научно-исследовательский кинофотоинститут»
АО ТПО «Киностудия им. М. Горького»