Методы кодирования натуральных изображений
В отличие от MPEG-1,2 в которых применяется фиксированный алгоритм кодирования, в MPEG-4 используется целый набор методов кодирования, включающий как алгоритмы, сходные с применяемым в MPEG-1,2, так и принципиально новые методы кодирования, основанные на понятии видеообъекта. Выбор того или иного метода кодирования в конкретном случае определяется типом видеообъекта и требуемым коэффициентом сжатия информации. MPEG-4 позволяет эффективно сжимать как натуральные, так и синтетические изображения и объединять их при воспроизведении.
Кодирование видеообъектов
Взаимодействие с медийными объектами
Пользователь видит сцену, которая сформирована согласно дизайну разработчика. В зависимости от степени свободы, предоставленной разработчиком, пользователь имеет возможность взаимодействовать со сценой. Пользователю могут быть разрешены следующие операции:
- изменить точку наблюдения/слушания на сцене;
- перемещать объекты по сцене;
- вызывать последовательность событий путем нажатия кнопки мыши на определенных объектах, например, запуская или останавливая поток данных; выбирать предпочтительный язык, когда такой выбор возможен.
Видеообъекты, составляющие сцену, кодируются по-отдельности. Кодированные видеоданные всех видеообъектов объединяются в последовательность визуальных объектов (VS - Visual Object Sequence). Видеообъект может иметь несколько слоев или уровней, каждому из которых соответствует элементарный поток видеоданных. Наличие нескольких слоев обеспечивает возможность масштабируемости. Базовый слой дает изображение видеообъекта с базовым качеством. Дополнительные или улучшающие (enhanced) слои позволяют получать изображение с улучшенным пространственным разрешением, меньшими искажениями из-за сжатия и т.д.
Изменяющееся во времени изображение видеообъекта передается в виде последовательности его неподвижных изображений в дискретные моменты времени. Эти неподвижные изображения называются плоскостями видеообъекта(VOP - Visual Object Plane). Если видеообъектом является обычное телевизионное изображение, то плоскостями этого видеообъекта могут быть обычные кадры. VOP объединяются в группы (GOV). VOP, как и кадры в MPEG-2, могут кодироваться независимо от других VOP (I-VOP) или с предсказанием и компенсацией движения (P-VOP и B-VOF).
Кратко рассмотрим основные методы кодирования натуральных изображений.
1. Видеообъекты, представляющие собой прямоугольные изображения (например, обычные ТВ кадры), кодируются методом, аналогичным применяемому в MPEG-1,2, т.е. с использованием гибридного кодирования. Метод включает предсказание с оценкой и компенсацей движения для макроблоков 16x16 пикселов и ДКП ошибки предсказания в блоках 8x8 пикселов.
2. Кодирование, основанное на содержании (conten-based coding), позволяет получить существенно большее сжатие изображений за счет учета свойств видеообъектов, присутствующих в сцене.
Одной из возможностей, создаваемых этими методами, является кодирование видеообъектов сложной формы. Например, в качестве видеообъекта может быть взята область изображения, отличающаяся от окружения яркостью или цветом. Эта область может перемещаться и деформироваться. При формировании предсказанного изображения с компенсацией движения смещаются не прямоугольные макроблоки, а выделенные области, которые к тому же могут изменять свою форму. При этом ошибка предсказания оказывается значительно меньше, и объем информации, содержащейся в разности предсказанного и настоящего изображений очередного кадра, существенно уменьшается.
3. Для сжатия изображений неподвижного фона и текстур протяженных объектов используется метод кодирования, основанный на вейвлет-преобразовании. Этот метод обеспечивает высокие степени сжатия и многоступенчатую масштабируемость по пространственному разрешению.
4. Неизменяющийся или почти неизменяющийся задний план изображения может передаваться как так называемый спрайт (sprite). Полное изображение спрайта передается один раз. Затем передаются только 8 параметров глобального движения, описывающих панорамирование, т.е. перемещение камеры относительно заднего плана.