Цифровое объемное телевидение
ЛЕКЦИЯ 24. ПЕРСПЕКТИВЫ ТЕЛЕВИДЕНИЯ
В лекции рассмотрены перспективы развития и некоторые современные существующие эксерементальные системы телевидения и доставки контента до потребителя.
Литература [14-18].
В настоящее время телевидение стандартной четкости (SD) сменяется телевидением высокой четкости (HD). Как известно, количественные изменения имеет тенденцию переходить в качественные. Многие обозреватели предполагают, что следующим качественным скачком будет появление объемного телевидения. Долгое время "основной сложностью в реализации стереоскопического видеопоказа был объем данных, который было невозможно передать существующими средствами. Цифровое телевидение позволило передавать достаточное количество информации и стало основой ряда устройств, позволяющих осуществить объемную визуализацию.
Попробуем сформулировать основные требования к объемному телевидению для широкого применения в домашних условиях.
С точки зрения пользователя (зрителя):
1. Устройство воспроизведения должно создавать реалистичное ощущение объемности изображения.
2. Просмотр должен осуществляется естественно, без напряжения, для просмотра не должны требоваться дополнительные устройства (например, шлем или специальные очки). Он должен быть доступен как для одного наблюдателя, так и для нескольких зрителей одновременно.
3. Устройство визуализации должно «уметь» показывать как стереоскопические, так и обычные изображения.
4. Устройство визуализации должно быть достаточно компактным и удобным для размещения в жилых помещениях.
5. С точки зрения инженеров, обобщенные требования к средствам и техническим устройствам объемного телевидения:
6. Объем данных, необходимых для показа стереоскопического изображения, не должен существенно превосходить объем данных, передаваемых для обычного изображения.
7. Способ передачи данных должен быть совместим с существующими стандартами и технологиями.
Казалось бы, перечисленным требованиям трудно удовлетворить одновременно. Однако совокупность современных технических решений делают это возможным.
Физические основы стереоскопического восприятия. Получить представление об объемности окружающего мира человеку позволяет ряд явлений: геометрическая и воздушная перспектива, тени и блики на поверхностях объектов, относительные размеры объектов. Изобразительные приемы, моделирующие эти явления, используются художниками с давних пор для передачи объемности трехмерных предметов, нарисованных на плоскости.
Природа наделила человека бинокулярным зрением -- парой глаз, расположенных на расстоянии 60-70 мм. За счет этого человек видит мир одновременно с двух точек наблюдения. В результате изображения, получаемые левым и правым глазом, слегка отличаются. Эти два изображения принято называть стереопарой. Анализируя различия между изображениями стереопары, мозг человека получает информацию об объеме и удаленности наблюдаемых объектов (рис.24.1).
Кажущееся смещение рассматриваемого объекта, вызванное изменением точки наблюдения, называется параллаксом и является главным фактором в восприятии объема изображения. Все способы, которые широко используются для создания стереоэффекта в видео, используют принцип раздельного просмотра - левому глазу человека демонстрируется левое изображение стереопары, правому - правое. Различия заключаются в том, каким образом достигается сепарация (разделение) изображений стереопары. Большинство современных устройств стереовизуализации и в кино, и в телевидении основаны на методах, известных более 100 лет.
Рис. 24.1. Явление параллакса
Анаглифному метод предложен ДАльмейда и Дюко дю Ороном в 1858 году. Реализован в кино Луи Люмьером в 1935-м. Метод состоит в окрашивании изображений стереопары в дополнительные цвета. Оба кадра стереопары формируют одно изображение. Разделение левого и правого кадра происходит с помощью цветных очков, окрашенных в соответствующие цвета. Анаглифный метод используется и в кинопоказе, и в телевизионных трансляциях. Этот метод работает практически на любых цветных телевизорах и мониторах. Достоинство метода - простота и дешевизна реализации, недостаток - потеря части цветов и необходимость использования очков.
Поляризационному методу стереопроекции около 120 лет. Предложен Ж. Андертоном в 1891 году. Получил широкое распространение после изобретения в 1935-м Е. Лэндом поляроидной пленки. Левый и правый кадр проецируются одновременно, но свет поляризуется (линейно или циркулярно) в разных направлениях. Просмотр осуществляется с помощью очков, имеющих соответствующие светофильтры. Поляризационный метод получил широкое распространение в кинопрокате благодаря четкому разделению стереопары, сохранению цветности; недостатки - необходимость использования дорогостоящего оборудования, специальных устройств визуализации и очки, которые зритель должен надевать. Используется в кинотеатрах IMAX и др.
Растровому стерео более 110 лет. Впервые метод безочкового стерео с применением параллельного светопоглощающего растра предложен одновременно Бертье и Лизегангом в 1896 году. Впервые в мире для демонстрации стереокино этот метод был предложен в СССР С. Ивановым и А. Андриевским и реализован под руководством Б. Иванова в 1942-м. Первый в мире кинотеатр с растрово-линзовым экраном "Стереокино" был открыт в Москве в 1947-м. Растр выглядел в виде ряда непрозрачных вертикальных полос. Свет проходил в прозрачные участки между полосами, каждому глазу зрителя показывался необходимый фрагмент изображения. Подобные устройства "безочковой" объемной визуализации называются автостереоскопическими. Этот метод имеет различные конструктивные реализации: барьерный, линзовый варианты. В настоящее время в основном используется линзово-растровый вариант конструкции экранов. Для показа через растр исходная стереопара кадров "нарезается" на вертикальные полоски, которые затем чередуются так, чтобы под каждой линзой оказалась пара полос: одна от левого кадра, другая - от правого. Такое "полосатое" изображение называют кодированным. Принцип действия линзово-растрового экрана показан на рис.24.2. Поток света, исходящий от кодированного изображения, проходя через линзы, разделяется таким образом, что левый глаз наблюдателя видит левое изображение стереопары, правый глаз - правое.
Наибольший эффект от линзово-растрового способа показа достигается, когда показываются не два кадра стереопары, а ряд кадров, сделанных с небольшим смещением по горизонтали (многоракурсная съемка). В этом случае при просмотре образуется широкая зона стерео-
Рис. 24.2. Схема разделения кодированного изображения стереопары с помощью линзового растра
видения, в которой наблюдатель может перемещаться, поочередно наблюдая сцену с разных ракурсов. Появляется возможность как бы заглянуть за объекты переднего плана. Это придает натуральность наблюдаемому стереоизображению. В фотографии для съемки серии кадров используют специальные стереофотокамеры с рядом объективов (рис.26.3), или специальные штативы, позволяющие при съемке перемещать камеру в горизонтальном направлении. Достоинство растрового метода в том, что устройство сепарации объединено с самим изображением и зрителю нет необходимости надевать какие-либо очки для просмотра. Кроме того, формирование объемного изображения из серии кадров, снятых с различных точек зрения, позволяет придать большую реалистичность сцене.
Недостаток в том, что для качественного воспроизведения объемного изображения требуется гораздо больше данных. Если для анаглифного и поляризационного методов достаточно двух кадров стереопары, то для растрового желательно иметь одновременно 9-12 кадров. Далее будет рассказано о способе решения данной проблемы.
Рис. 24.3. Многообъективный стереофотоаппарат.
Формат 2D+Z. Очевидно, что выполнить многоракурсную видеосъемку - задача непростая. Требуется либо специальная камера с большим количеством объективов, либо ряд камер и устройство, обеспечивающее синхронную съемку. Надо учесть также, что возникает задача хранения большого количества данных - видеопотоков с каждой камеры. Даже с учетом того, что современные методы цифрового видеосжатия позволяют эффективно учитывать временную и пространственную избыточность, объем данных при многоракурсной видеосъемке возрастет многократно.
Рис. 24.4. Оригинальное изображение и карта глубины.
Один из эффективных способов решения проблемы большого объема данных состоит в использовании так называемого формата 2D+Z. Любому обычному (2D) изображению можно сопоставить информацию об удаленности каждого пиксела от наблюдателя (Z-координату). Такое представление изображения называют "формат 2D+Z", а плоскость координат Z – "картой глубины". Ее можно представить в виде монохромного изображения. В карте глубины градациями серого обозначается удалённость точек изображения от наблюдателя. На рис.24.4. показан пример оригинального изображения и карты глубины.
Формат 2D+Z является продолжением концепции представления информации об изображении по компонентам. Как известно, и в аналоговом, и в цифровом телевидении изображение формируется из яркости и двух цветовых составляющих. Добавление еще одного компонента, характеризующего "объемность" изображения, является вполне логичным развитием и хорошо согласуется с принципами совместимости. Действительно, в настоящее время черно-белые телевизоры успешно работают, воспринимая только яркостный компонент телевизионного изображения, в то время как цветные телевизоры используют все данные. При трансляции видео, содержащего информацию об объеме изображения, дополнительные данные могут быть использованы теми устройствами визуализации, которые умеют их правильно интерпретировать и игнорированы остальными. Использование формата 2D+Z позволяет осуществить передачу стереоскопического видео с увеличением потока данных всего на 25-30%. Таким образом, удовлетворяется требование приемлемого объема данных.
Реконструкция многоракурсного изображения. Однако 2D+Z -- это не моногракурсная серия и даже не стереопара. Чтобы показать объемное изображение, необходимо выполнить расчет серии кадров. Восстановление стереоскопического изображения происходит путем интерполяции исходного изображения с учетом карты глубины. Полученная серия кадров затем демонстрируется с использованием растрового дисплея.
Стандартизация. Формат MPEG-2 имеет дополнительный многоракурсный профиль, принятый в 1996 году и позволяющий кодировать и передавать изображения с двух и более камер. Спецификация формата MPEG-4, части 2, определяющая способ кодирования видеообъектов, позволяет стандартным способом передавать и обычное 2D изображение, и соответствующую ему карту глубины (Z). Аналогичные возможности есть и в MPEG-4, части 10 (AVC). Причем стандарты определяют возможность кодировать плоскость Z как дополнительные данные, которые могут быть проигнорированы устройствами, не ожидающими их появления. При этом наличие Z никак не повлияет на декодирование основного изображения. Форматы MPEG-2 и MPEG-4 (AVC) являются основными в цифровом телевидении, поэтому уже есть достаточная база для стандартной трансляции 3D видеоданных. Надо отметить, что работа над стандартизацией продолжается, и принятие очередных добавлений ожидается к 2011 году.
Техническая реализация. Уже имеющиеся в настоящее время наработки позволяют приступить к непосредственной реализации систем стереоскопического вещания в интернет-сетях (IPTV). В таких сетях есть возможность предоставлять услугу 3D индивидуально, а не транслировать поток на тысячи абонентов, из которых только несколько процентов пока имеют 3D-мониторы. Рядом мировых производителей мониторов выпускаются модели, позволяющие показывать объемные изображения. В частности, Philips промышленно выпускает 3D мониторы, основанные на растровом принципе. Входными данными таких мониторов является обычное изображение и карта глубины (формат 2D+Z). Данные мониторы получили распространение и успешно используются для демонстрации рекламы в крупных торгово-выставочных помещениях. Есть информация об их применении в тестовых системах 3D IPTV. Недостатком является необходимость специальной обработки изображения перед передачей на монитор. В настоящее время обработка выполняется с помощью компьютера и специального программного обеспечения. Использование компьютера не всегда удобно и ограничивает сферу применения мониторов такого типа.
Подготовка 3D видеоматериалов. Построение системы объемного телевидения невозможно без достаточного количества 3D видеоматериалов, средств конвертации в различные форматы и соответствующих кодеков. Многие мировые киностудии уже стали снимать новые фильмы в формате стереопары, то есть сразу двумя камерами
Такая съемка позволяет демонстрировать стереоскопические фильмы в кинотеатрах и на мониторах, работающих с использованием поляризационной технологии. Однако двух кадров недостаточно для демонстрации объемного видео на автостереоскопических устройствах. Как было отмечено выше, формат 2D+Z представляется наиболее приемлемым вариантом с точки зрения применимости для реконструкции стереоизображения и размера передаваемых данных. Поэтому актуально решение задачи преобразования стереопары в формат 2D+Z. Математически это задача нахождения относительного расстояния до объектов по двум изображениям. Уже существуют программные продукты, позволяющие выполнить расчет Z (карты глубины), например, для стереопары фотографий карту глубины позволяет автоматически найти программа Triaxes StereoTracer, для видео -- BlueBox от фирмы Philips 3D Solutions. Несмотря на наличие уже существующих средств расчета 2D+Z, эта область предоставляет широкие возможности для исследований и разработки новых продуктов. Еще более сложной задачей является преобразование большого количества 2D материалов в формат объемной визуализации.