3D ТВ. Реализация и перспективы развития

Общие вопросы техники телевидения и цифровой фотографии

Дата публикации : 24.02.2011 | Просмотров : 914 | Для печати
Автор(ы) : А.Ю.Поляков, к.т.н., директор группы компаний «Triaxes»

Цифровое телевидение формата HD позволяет не только повысить качество, но и добавить изображению третье измерение, а к аббревиатуре ТВ приставку 3D.

Внедрение нового формата вещания это большой инфраструктурный проект, решаемый на уровне государства. В самых общих чертах схема ТВ трансляции включает в себя этапы съемки и подготовки видео, компрессии, трансляции приема и декодирования, демонстрации (рис. 1). Рассмотрим далее, какие технологии могут использоваться на различных стадиях для реализации 3D ТВ.

Рис. 1. Схема трансляции 3D ТВ.

Начнем с "Показа", так как, прежде всего, важно, что в итоге увидит зритель.

Существует несколько технологий объемной визуализации. Далее в статье стереоскопическое видео мы будем обозначать S3D, многоракурсное видео - M3D (см. примечание).

* примечание: Термин "3D" часто используется для обозначения всего спектра объемных технологий показа. По мнению многих специалистов, видеоматериал, содержащий два канала (один для левого, другой для правого глаза) правильно называть стереоскопическим (нежели 3D). Для просмотра такого видео зритель должен надеть специальные очки. Многоракурсное 3D видео содержит ряд каналов (обычно от 8-9) и позволяет использовать технологии показа, не требующие от зрителя применения очков для просмотра. Многоракурсное видео позволяет оглядывать объекты изображения с разных сторон (в некотором диапазоне).

Демонстрация 3D-видео

Как же зритель в домашних условиях может увидеть 3D? В настоящее время наиболее широкое распространение получили 3D-телевизоры и дисплеи, использующие очки для просмотра S3D видео. "Очковые" телевизоры и дисплеи используют очки двух типов:

Очки "шторного" типа (shutter glasses). В очках такого типа стекла меняют свою прозрачность синхронно с показом на экране кадров, предназначенных для левого и правого глаз (такие очки еще называют "активной поляризацией").
Дисплеи и телевизоры должны поддерживать частоту обновления от 120 Гц и более для того, чтобы уменьшить эффект мерцания. При 120 Гц мерцание все же заметно, если в поле зрения попадают источники освещения или дневной свет. Есть сообщения, что выпускаются телевизоры с частотой 240 Гц. При использовании данного способа показа 3D возможно обеспечить изображение полного разрешения для каждого глаза, однако это потребует использования трансляций S3D отдельными каналами либо увеличения частоты кадров.
Очки пассивной поляризации: линейной или циркулярной. При этом на экране показываются кадры для правого и левого глаз в чересстрочном формате. Достоинство пассивной поляризации в полном отсутствии мерцания и утомления глаз. Такой способ обычно предполагает уменьшение разрешения в два раза, но есть конструкции, позволяющие показать полное разрешение для каждого глаза. Например, конструкции с применением полупрозрачного зеркала. Свет большинства LCD дисплеев линейно поляризован под углом 45 градусов. Это связано с конструкцией LCD матрицы. Если направить свет от двух соответствующим образом закрепленных дисплеев на полупрозрачное зеркало, то можно получить S3D изображение полного разрешения. Примечательно, что собрать такой дисплей можно самостоятельно на основе двух обычных LCD дисплеев. Российская компания CiFRO-CiTY из г. Новосибирска наладила выпуск полупрозрачных зеркал и консолей для крепления дисплеев (рис. 2).

Рис. 2. S3D дисплей на основе двух мониторов и полупрозрачного зеркала

Стоимость набора всего несколько тысяч рублей. Достоинство конструкции в том, что возможно изготовить S3D дисплей любого размера и при этом обеспечивается очень высокое качество, поскольку оба канала полного разрешения смешиваются оптически и глаза не утомляются мерцанием очков с активной поляризацией.

Недостаток такой системы в ее габаритах. В то же время данный S3D дисплей может быть подходящим вариантом для профессионального использования: студий подготовки видео, музеев и т.п.

После приема и декодирования, перед выводом на S3D телевизор-видео форматируется следующими способами:

Чересстрочное чередование строк левого и правого кадров.
Чередование левого и правого кадров по времени.
Чередование попиксельно элементов левого и правого кадров в виде шахматной доски.
Запись в один стандартный кадр с уменьшением разрешения левого и правого кадров по горизонтали.

Различные 3D-дисплеи и телевизоры обычно способны принять и правильно трактовать несколько форматов. Зритель должен лишь переключить телевизор в режим, соответствующий формату входного видео. Далее S3D телевизор самостоятельно управляет показом объемного изображения.

Не все форматы представления S3D видео одинаково удобны для компрессии и передачи. В частности, "шахматная доска" будет компрессироваться сложнее. Поэтому форматирование сигнала рационально осуществляется уже на приемном конце, непосредственно перед выводом на телевизор.

Трансляция S3D-каналов

Многие мировые киностудии уже стали снимать новые фильмы в формате стереопары, т.е. сразу двумя камерами. Такая съемка позволяет демонстрировать стереоскопические фильмы в кинотеатрах и на мониторах, работающих с использованием поляризационной технологии.

В настоящее время распространены три способа трансляции S3D-каналов.

Передача двух каналов видео с уменьшением горизонтального разрешения. В этом случае в один кадр HD-разрешения шириной 1920 пикселов записываются оба кадра (side-by-side). При этом разрешение каждого канала по горизонтали становится 960 пикселов. Достоинство этого формата в том, что для S3D-трансляций можно использовать существующие HD-каналы. Кроме того, при правильной подготовке исходного видеоматериала синхронизация каналов обеспечивается автоматически, а для декодирования потока на приемном конце не требуется более высоких ресурсов. Принять и вывести на 3D-телевизор такой сигнал может любая телевизионная приставка, поддерживающая HD-разрешение. Недостаток способа - в уменьшении разрешения и в том, что такой видеопоток не комфортно (хотя и возможно) смотреть на телевизионном приемнике, не оснащенном 3D-очками.
Трансляция каналов для левого и правого глаза отдельными каналами. Такое вещание также может быть обеспечено существующей инфраструктурой цифровых HD-трансляций. Для синхронизации каналов используются специальные метки времени, присутствующие в каждом потоке. Такая схема обеспечивает полное разрешение изображения, однако требует для передачи и декодирования удвоенных ресурсов. Уменьшить количество передаваемых данных за счет межканального сжатия нет возможности. Достоинством данного подхода является то, что любой из каналов может быть просмотрен, как обычный 2D-канал.
Еще один способ - увеличенная частота кадров. В этом случае в потоке вместо 25 кадров в секунду передается 50 кадров: 25 кадров для левого и 25 кадров для правого глаза чередуются в потоке. Это накладывает дополнительные требования на синхронизацию потоков при подготовке. Такой поток требует меньшей скорости передачи (битрейта - от английского bitrate) за счет использования механизмов межкадровой компрессии, в том числе и между правым и левым каналами. Однако к декодерам предъявляются дополнительные требования - поддержка более сложного профиля компрессии. Такую трансляцию также не посмотреть на обычном телевизоре.

Видимо за счет сравнительной простоты, в тестовых телевизионных S3D-трансляциях чаще используется первый подход side-by-side (рис. 3).

Рис. 3. S3D видео в формате Side-by-Side на экране телевизора в 2D режиме.

* примечание: В мире уже есть ряд примеров практической реализации стереоскопического телевизионного показа. В феврале 2010 года в девяти пабах Лондона, Манчестера, Кардиффа, Эдинбурга и Дублина английской телекомпанией Sky была проведена прямая трансляция футбольного матча "Арсенал" - "Манчестер Юнайтед" в 3D-формате. Есть и другие примеры тестовых трансляций, в том числе и в России. На выставке CSTB 2010 компании "Платформа HD" и General Satellite объявили о начале тестовой трансляции 3D-канала. Совсем недавно компаниями была осуществлена спутниковая телетрансляция из Мариинского театра. Надо отметить, что и Sky, и другие компании транслируют S3D-видео.

3D Съемка

Для выполнения стереоскопической съемки обычно используются конструкции из двух обычных камер. Камеры крепятся рядом горизонтально (рис. 4). Правильный подбор расстояния между камерами (базиса съемки) определяет качество получаемого стереоэффекта. Базис съемки рассчитывается в зависимости от ряда параметров: удаленности объектов сцены, параметров оптики и планируемых условий демонстрации S3D видео. Правильный расчет базиса важен для комфортного просмотра 3D эффекта.

Рис. 4. Стереокамера с горизонтальным креплением камер

Если физические размеры камер не позволяют обеспечить необходимый базис (камеры слишком велики), тогда используют крепление под углом 90 градусов и производят съемку через полупрозрачное зеркало (рис. 5).

Рис. 5. Стереокамера с использованием полупрозрачного зеркала

Недостаток систем из двух камер в размерах и сложности синхронной настройки и управления камерами.

Фирма Panasonic анонсировала выпуск специализированной камеры с двумя объективами для стереосъемки (Рис. 6). Демонстрация камеры началась на выставке NAB-2010 в Лас-Вегасе и прошла в разных странах. В Москве камера демонстрировалась 13-14 апреля в Экспоцентре на презентации устроенной Panasonic. Выпуск камеры запланирован на осень 2010 года. Рекламные проспекты с техническими характеристиками выглядят многообещающе. Камера поддерживает HD разрешение, имеет два HD SDI выхода и позволяет выполнять конвергенцию объективов на заданном удалении.

Рис. 6. Стереокамера Panasonic AG-3DA1

3D без очков

Несмотря на широкое распространение 3D телевизоров с очками этот способ показа имеет существенный недостаток - собственно, необходимость надевать очки. Это сложно для людей, использующих очки для коррекции зрения и трудно применимо в общественных местах. Однако есть 3D дисплеи, позволяющие отобразить объемное видео без очков.

Наибольшее развитие и воплощение в виде серийно выпускаемых устройств, получила технология, использующая оптический линзовый растр для создания 3D эффекта [1]. Для показа объемного изображения с использованием метода линзового растра, исходное видео должно содержать несколько каналов, снятых со смещением по горизонтали (обычно 8-9 шт). Такой набор видеопотоков позволяет создать перед экраном большое количество зон стереовидения, находясь в которых зритель может видеть изображение объемным без очков, причем у зрителя появляется возможность как бы заглянуть за объекты переднего плана и увидеть (в некоторых пределах) скрытые за ними элементы заднего плана. Видеопотоки такого рода называют multiview (M3D).

У многих известных марок (Philips, Sharp, Samsung и др.) есть модели 3D дисплеев, основанные на принципе линзового растра. Разработка линзово-растровых 3D устройств началась еще в прошлом веке (например, Philips), однако действительно хорошего эффекта и определенного коммерческого успеха удалось добиться лишь сравнительно недавно с распространением стандарта высокого разрешения (HD). Это связано с тем, что для формирования кодированного многоракурсного изображения требуется разрешение более высокое, чем для каждого из исходных кадров по отдельности: под каждую линзу должны войти элементы всех исходных кадров. Только с появлением возможности передавать и декодировать видео высокого разрешения количества пикселов стало достаточно, чтобы увеличить качество воспроизводимого стерео (3D) эффекта.

Формат 2D + Z

Очевидно, что выполнить многоракурсную видеосъемку - задача не простая. Требуется либо специальная камера с большим количеством объективов, либо ряд камер и устройство, обеспечивающее синхронную съемку. Надо учесть также, что возникает задача хранения большого количества данных - видеопотоков с каждой камеры. Даже с учетом того, что современные методы компрессии позволяют эффективно учитывать временную и пространственную избыточность, объем данных при многоракурсной видеосъемке возрастет многократно.

Один из эффективных способов решения проблемы большого объема данных состоит в использовании так называемого формата 2D+Z.

Любому обычному (2D) изображению можно сопоставить информацию об удаленности каждого пиксела от наблюдателя (Z-координату). Такое представление изображения называют "формат 2D+Z", а плоскость координат Z - "картой глубины". Карту глубины можно представить в виде монохромного изображения. В карте глубины градациями серого обозначается удалённость точек изображения от наблюдателя. На рис. 7 показан пример обычной фотографии и карты глубины.

Рис.7. Исходный кадр и карта глубины (изображение карты глубины нарисовано дизайнером)

Формат 2D+Z является продолжением концепции представления информации об изображении по компонентам. Как известно, и в аналоговом, и в цифровом телевидении изображение формируется из яркости и двух цветовых составляющих. Добавление еще одного компонента, характеризующего "объемность" изображения, является вполне логичным развитием и хорошо согласуется с принципами совместимости.

Использование формата 2D+Z позволяет осуществить передачу стереоскопического видео с увеличением потока данных всего на 15-20%. Таким образом, удовлетворяется требование приемлемого объема данных.

Реконструкция M3D изображения

Однако 2D+Z - это не моногракурсная серия и даже не стереопара. Для того чтобы показать объемное изображение, необходимо выполнить расчет серии кадров. Восстановление стереоскопического изображения происходит путем интерполяции исходного изображения с учетом карты глубины. Используя карту глубины, создается серия видеоканалов, показывающая один и тот же кадр как бы с разных точек зрения - моделируется M3D видео и затем демонстрируется с использованием растрового дисплея [1].

Надо отметить, что достоинством 2D+Z видео является возможность преобразования и в S3D, т.е. использование карты глубины позволяет создать универсальное решение.

Генерация "карты глубины"

Как было отмечено выше, формат 2D+Z представляется наиболее приемлемым вариантом с точки зрения размера передаваемых данных и универсальности - применимости для реконструкции стерео изображения для различных типов 3D телевизоров. Однако задача построения карты глубины (Z) требует применения сложных алгоритмов и требует больших вычислительных ресурсов. Разработанное компанией Triaxes Vision программное обеспечение для сервера видеокомпрессии позволяет выполнить такой расчет в режиме реального времени (рис. 8).

Рис. 8 Исходный кадр и карта глубины, рассчитанная автоматически. Исходная стереосъемка произведена студией www.TO-VSE.com

Техническая реализация 3D трансляции

На выставке Связь Экспокомм-2010 в ЦВК Экспоцентр "Красная Пресня" в период с 11 по 14 мая 2010 г. на объединенном стенде группы компаний (РТРС, ВГТРК, МНИТИ, Elecard, и др.) демонстрировалось разработки и достижения отечественных компаний в области 3D ТВ.

Компания General Satellite на двух телевизорах Samsung демонстрировала видеозапись балета Мариинского театра в формате S3D (side-by-side).

Надо отметить, что съемка была выполнена качественно, изображение имело хороший стереоэффект. Посетители с большим интересом отнеслись к стенду. Показ осуществлялся на телевизорах Samsung с очками затворного типа.

Компании МНИТИ, JC (г. Москва), Элекард Девайсез и Triaxes Vision (г. Томск), Тринити Солюшнс (г. Москва) организовали две съемочные площадки, на которых в реальном времени производилась стереосъемка, обработка и демонстрация 3D видео. Стенд моделировал полную действующую систему трансляции 3D ТВ (рис. 9). Система включала вывод 3D видео на телевизоры с очками и без очков.

На первой площадке была установлена стереокамера с использованием полупрозрачного зеркала и была построена модель телестудии.

Рис. 9. Стереокамера в импровизированной 3D телестудии

Вторая съемочная площадка была оснащена стереокамерой с горизонтальным креплением камер и демонстрировала возможности репортажной съемки. Видеопоток с камер менее чем за две секунды* успевал пройти обработку на сервере и трансляцию по сети IP. Таким образом, посетители стенда видели себя на автостереоскопических дисплеях в 3D без использования очков (Рис. 10). Вероятно, впервые в мире была продемонстрирована возможность генерации и трансляции M3D (2D+Z) видео в реальном времени.

* примечание: Задержка в 2 секунды связана с буферизацией для обеспечения плавного воспроизведения при трансляции по сети и может быть уменьшена

Рис. 10. Демонстрация стереоскопической съемки и показа объемного изображения без очков в реальном времени. Стереокамера с горизонтальным креплением.

Знаковым событием стала демонстрация Парада, посвященного 65 годовщине Победы. Показ проходил на телевизорах с очками в S3D формате и на автостереоскопических дисплеях в M3D режиме.

Техническая реализация M3D трансляции:

Со стероскопической камеры видео поступает по двум HD SDI портам в сервер видеокодирования.
Для захвата видео используются платы Elecard HD Access 2, специально модифицированные для обеспечения синхронности приема двух каналов стереоскопического видео.
Программное обеспечение Triaxes Vision выполняет синхронизацию двух каналов видео. Далее для каждого кадра видео рассчитывается "карта глубины" и формируется 2D+Z поток. Для расчета карты глубины используются алгоритм анализа различий между двумя каналами видео.
2D+Z видео компрессируется кодеком Elecard и упаковывается в стандартный MPEG transport stream (TS). Полученный TS далее транслируется по локальной IP сети на стенде. Сервер имеет также DVB-ASI выход. Генерируемый TS может быть транслирован по DVB-T.
В качестве приемных устройств использованы телевизионные приставки (STB) Triaxes 3D Player (построены на базе серийно выпускаемых Elecard STB) со специальным программным обеспечением. STB способна принимать DVB-T и Internet трансляции, воспроизводить видео с накопителей, подключаемых по USB. На стенде транспортный поток транслировался по локальной сети, ТВ приставки принимали, декомпрессировали 3D видео и выводили на автостереоскопические дисплеи.

Проведенная выставка показала возможности реализации 3D телевидения. Создание средств быстрой подготовки видео для показа на автостереоскопических дисплеях - это прорыв в направлении реализации следующего этапа развития 3D TV - 3D телевидения без очков.

20-21 октября 2010 г. В рамках конференции "Современные телевизионные технологии. Состояние и направления развития" ЗАО "МНИТИ" совместно с компаниями ЗАО "Элекард" (г.Томск) и ООО "Триаксес Вижн" (г.Томск) впервые в России продемонстрировали передачу сигналов стереоскопического 3D телевидения по каналу эфирного цифрового телевидения DVB-T на основе российских технологий кодирования цифровых сигналов [2].

На передающей стороне демонстрационные 3D видеофайлы в формате MPEG-4/H.264 HD с сервера поступали на кодер 3D/TS и преобразовывались в транспортный поток TS/MPEG-2 и затем с помощью DVB-T передатчика излучались в эфир. На приемной стороне этот сигнал с комнатной антенны поступал на вход цифровой приставки 3D/DVB-T и после декодирования отображался на 42 дюймовом автостереоскопическом 3D дисплее.

Для приема использовалась телевизионная приставка (STB) Triaxes 3D Player. Демонстрационные 3D видеофайлы подготовлены ПО Triaxes.

Рис. 11. DVB-T передатчик 3D видеопотока

Рис. 12. 3D STB Triaxes 3D Player

Практическое применение показанных разработок возможно уже сейчас в системах 3D конференцсвязи, для трансляций спортивных и других мероприятий на 3D проекционные системы, для подготовки видео к показу на безочковых системах.

Проблемы существующих реализации

Ни один из существующих в настоящее время способов 3D показа не лишен недостатков.

В частности, используемый в трансляциях Sky и Платформа HD формат S3D, в котором кадры для левого и правого глаза смонтированы в один видеокадр 1920х1080 (side-by-side), предполагает уменьшение разрешения по ширине каждого кадра в два раза. Это ведет к снижению качества изображения. Кроме того такой способ трансляции не имеет обратной совместимости, т.е. смотреть side-by-side изображение телевизоре не оснащенном 3D возможностями хоть и можно, но не комфортно (на экране будут одновременно видны два кадра, вытянутых по высоте).

Закрепление такого положения приведет к тому, что придется отдельно транслировать 3D каналы, отдельно 2D - это означает увеличение числа транслируемых каналов (требуемых ресурсов) в два раза. По-хорошему так быть не должно, ведь не транслируют же отдельные каналы на цветные и черно-белые телевизоры.

Существующие реализации M3D трансляций тоже имеют похожие проблемы, только еще более ярко выраженные. Устройства отображения M3D понижают разрешение изображения еще в большей степени, из-за необходимости показа на одном экране HD разрешения сразу нескольких ракурсов. Устранить данный недостаток возможно при использовании дисплеев более высокого разрешения. При этом не потребуется увеличивать разрешение и скорость трансляции 3D каналов.

Универсальная 3D трансляция

Обеспечить обратную совместимость (с 2D телевизорами) и универсальность, т.е. возможность показа одного и того же 3D видеоканала на устройствах S3D и M3D, вполне реально базируясь уже на существующих, международно принятых стандартах MPEG. Идея в том, чтобы передавать основной видеоканал полного разрешения и дополнительно к нему ассоциированные данные, например изображение для второго глаза и карту глубины Z. Причем, реализация может быть такой, что существенного увеличения скорости канала не потребуется. Эффективная компрессия дополнительного канала (второго канала стереопары) возможна за счет передачи лишь "разницы" к основному кадру. Информация же о глубине Z сжимается очень хорошо, так как это монохромное изображение с низкой детализацией. В результате универсальный, обратно совместимый 3D канал потребует всего на 30-50% большей скорости потока, что может быть вполне скомпенсировано использованием эффективных реализаций кодека. В этом случае 2D телевизор может показать только основное изображение. 3D телевизор, умеющий показать S3D, использует дополнительные данные для формирования стереопары, а автостереоскопический телевизор покажет M3D, используя карту глубины Z.

Стандартизация

Формат MPEG-2 имеет дополнительный многоракурсный (multiview) профиль, принятый в 1996 году, позволяющий кодировать и передавать изображения с двух и более камер [3].

Спецификация формата MPEG-4, части 2, определяющая способ кодирования видеообъектов, позволяет стандартным способом передавать и обычное 2D изображение и соответствующую ему карту глубины (Z). Аналогичные возможности есть и в MPEG-4, части 10 (AVC). Причем, стандарты определяют возможность кодировать плоскость Z как дополнительные данные, которые могут быть проигнорированы устройствами, не ожидающими их появления. При этом наличие Z никак не повлияет на декодирование основного изображения. Форматы MPEG-2 и MPEG-4 (AVC) являются основными в цифровом телевидении, поэтому уже есть достаточная база для стандартной трансляции 3D видеоданных. Надо отметить, что работа над стандартизацией продолжается, и принятие очередных добавлений ожидается к 2011 году [4].

Ссылки

Поляков А.Ю. "Цифровое объемное телевидение 3DTV", Техника кино и телевидения, #1, 2009.
5-я международная научно-техническая конференция "Современные телевизионные технологии. Состояние и направления развития" http://www.mniti.ru/cnews/157/
Jens-Rainer Ohm. Stereo/Multiview Video Encoding Using the MPEG Family of Standards. http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.39.6604
Atanas Gotchev. Computer Technologies for 3D Video Delivery for Home Entertainment. http://ecet.ecs.ru.acad.bg/cst08/docs/cp/Plenary/P.1.pdf

Скачать статью (RAR -архив, 2,5 Mb)

Автор(ы) : А.Ю.Поляков, к.т.н., директор группы компаний «Triaxes»

Добавить комментарий / На главную / Новости / Все статьи раздела

Внимание ! Использование любых текстовых или графических материалов(а так-же их фрагментов) с сайта http://www.telephototech.ru возможно с разрешения администрации сайта с обязательным указанием ссылок на первоисточник и авторов статей и публикаций !

		Главная \| E-mail \| 31.03.2023

	Главная страница \| О журнале \| Авторам \| Редколлегия \| Контакты

	Научно-технический интернет-журнал Свидетельство о регистрации Эл № ФС 77-31314