Исследование фильтров интерполяции в стандартах видеокодирования

Поляков Дмитрий Борисович,

аспирант кафедры Телевидения Московского технического университета связи и информатики.

В ближайшей перспективе стандарт H.264 [2] займет лидирующее положение среди форматов сжатия в большинстве потребительских областях на рынке видеопродукции. Опережающий по качественным показателям своего предшественника MPEG-4 Visual [3], стандарт H.264 выбран одним из трех форматов записи на blu-ray диски. Этим фактом укрепляется возрастающая тенденция массового производства и внедрения аппаратных кодеков H.264 среди производителей оборудования для цифровой обработки сигналов.

Одним из новшеств, отличающих H.264, а также MPEG-4 Visual, от более раннего стандарта MPEG-2, является увеличение точности оценки движения до одной четверти пикселя. Профилирование кода эталонного программного обеспечения JM 13.2 [4], отвечающего требованиям стандарта H.264, показало, что наибольшие вычислительные затраты в декодере (35 – 40 % процессорного времени)  связаны именно с интерполяцией изображения. В связи с этим актуальной задачей представляется исследование применяемых в видеокодировании фильтров интерполяции.

Интерполяция изображения в стандартах MPEG-4 Visual, H.264 и AVS осуществляется последовательно в несколько действий. Для передискретизации изображения в 4 раза сначала число отсчетов увеличивается в два, а затем еще в два раза.

Полупиксельные отсчеты в процессе интерполяции в стандарте H.264 вычисляются путем применения фильтра с импульсной характеристикой (1, -5, 20, 20, -5, 1)/32. Четвертьпиксельные отсчеты вычисляются с помощью билинейной интерполяции.

В стандарте MPEG-4 Visual полупиксельные отсчеты вычисляются с помощью фильтра с импульсной характеристикой (-8,24,-48,160,160,-48,24,-8)/256. Эта импульсная характеристика длиннее, чем у фильтра в стандарте H.264, поэтому результаты аппроксимации должны быть более точными. Четверть-пиксельная интерполяция достигается, также как и в H.264, билинейной интерполяцией.

Рис. 1. Импульсные характеристики фильтров интерполяции, используемые для получения полупиксельных отсчетов в стандартах AVS, H.264, MPEG-4 Visual.

В китайском стандарте цифрового телевидения AVS, основанном на стандарте H.264, процесс фильтрации несколько другой [5]. Для нахождения полупиксельных отсчетов используется фильтр с импульсной характеристикой (-1, 5, 5, -1)/8, а для нахождения четверть-пиксельных отсчетов  - фильтр (1, 7, 7, 1)/16.

Аппроксимированные (кубическим сплайном) импульсные характеристики фильтров, используемых для получения полупиксельных отсчетов, построены на рис. 1.

Найдем аналитические выражения для соответствующих частотных характеристик фильтров.

Процедуру дискретизации (взятия выборок) импульсной характеристики фильтра удобно рассматривать как умножение непрерывной функции  на вспомогательную периодическую последовательность  коротких тактовых импульсов. В качестве таких импульсов обычно рассматривают прямоугольные импульсы с длительностью , малой по сравнению с периодом следования Т. Таким образом, дискретизованный с шагом Т сигнал можно определить выражением

                                                                                               (1)

С уменьшением отношения  лепестки спектра дискретизованного сигнала убывают медленнее и в пределе, при , спектр приобретает строго периодическую структуру. Приравнивая для упрощения площадь импульса единице, приходим к следующему определению тактовой функции [1]:

                                                                                        (2)

Тогда выражение (1) переходит в

                                         (3)

Последовательность временных отсчетов приобретает вид последовательности дельта-функций с весовыми коэффициентами, равными значениям сигнала s(t) в точках kT (на рис. 1 значения k соответствует значениям относительных координат). Спектральную плотность  можно определить  непосредственно по совокупности временных отсчетов , без обращения к спектру исходного континуального сигнала. Применив преобразование Фурье к выражению (3) для случая, когда , получим

                         (4)

Для импульсной характеристики по формуле (4) получаем соответствующее выражение для частотной характеристики фильтра:

                       (5)

Применяя формулу Эйлера к слагаемым выражения (5), получим:

 (6)

Учитывая свойство четности функции косинуса и нечетность функции синуса, после приведения подобных слагаемых получим:

 (7)

Аналогичным образом получим аналитические формулы для частотных характеристик фильтров в стандартах H.264 и AVS соответственно:

                                (8)

                                                               (9)

Модули нормированных частотных характеристик (7), (8) и (9) построены на рис. 2.

Рис. 2. Частотные характеристики фильтров.

Как видно по кривым на рис. 2, крутизна среза частотной характеристики фильтра в MPEG-4 Visual самая лучшая по сравнению с остальными. Учитывая, что исходная частота дискретизации изображения соответствует точке с координатой 0.5 по оси абсцисс, рассчитаем вклад побочных лепестков и части основного лепестка частотных характеристик, согласно рис. 2,  в появление муаровых искажений по формуле

,                                                                                 (10)

где  - площадь соответствующего участка частотной характеристики (побочный лепесток или часть основного лепестка). Для определения  необходимо знать координаты нулей функции. Для получения значений аргумента частотной характеристики, при которых она обращается в ноль, воспользуемся разложением функции косинуса в ряд Тейлора, при этом ограничимся тремя членами ряда для упрощения вычислений:

                                (11)

где   - точка, в окрестности которой производится разложение в ряд. Для каждой характеристики эти точки определялись ориентировочно по графику на рис. 2. Заменяя косинусы в выражениях (7), (8), (9) аппроксимирующим рядом (10) и приравнивая правые части уравнений нулю, находим значения аргумента, при котором функции обращаются в ноль. Оценка уровня искажений, вносимых частью основного лепестка и боковыми лепестками, приведена в табл. 1. Как и следовало ожидать, наименьшие искажения вносит фильтр MPEG-4 Visual, фильтр стандарта H.264 на втором месте.

Таблица 1.

Оценка уровня вносимых искажений (в дБ).

Для сравнения эффективности работы фильтров AVS и H.264 проведен следующий эксперимент. Несколько тестовых видеопоследовательностей были закодированы кодером JM 14.0 (базовый профиль) [4], в котором в качестве фильтра для интерполяции полупиксельных отсчетов сначала был использован стандартный фильтр, а затем фильтр стандарта AVS. Результаты эксперимента для последовательности foreman разрешения CIF (352х288 пикселей)  представлены на рис. 3. Cтандартный фильтр H.264 отработал лучше фильтра AVS, это отмечено и для других тестовых видеопоследовательностей, в том числе разрешения 1920х1080. В среднем проигрыш от применения фильтра AVS по сравнению со стандартным фильтром составляет 0,2 дБ.

Рис. 3. Эффективность кодирования кодером JM 14.0 с использованием стандартного фильтра интерполяции и фильтра AVS.

Согласно результатам исследования, наиболее качественный фильтр применяется в стандарте MPEG-4 Visual, в то время как фильтр стандарта H.264, обеспечивающий меньший уровень подавления муаровых помех, имеет меньшую вычислительную сложность

Перспективой интерполяционной фильтрации является адаптивная фильтрация, так как использование одного и того же фильтра в условиях меняющейся динамики видеоизображения не является оптимальным решением. Переход к адаптивной фильтрации позволяет повысить эффективность кодирования, так как подбор коэффициентов фильтра, например, для каждого кадра, повышает точность интерполяции изображения.

Литература.

1.                  Гоноровский И. С. Радиотехнические цепи и сигналы: Учебник для вузов. – 4-е изд., перераб. и доп. – М.: Радио и связь, 1986. – 512 с.: ил.

2.                  ISO/IEC 14496-10:2003. Information tech­nology – Coding of audio-visual objects – Part 10: Advanced Video Coding.

3.                  ISO/IEC 14496-2:2001. Information technol­ogy – Generic coding of audio-visual objects – Part 2: Visual.

4.                  Joint Video Team Reference Software, JM 13.2, JM 14.0, http://iphome.hhi.de/suehring/tml/download/.

5.                  Audio Video Coding Standard Working Group of China. Video coding standard 1.0. November, 2003, Beijing, China.

Поступила в редакцию 30.07.2008 г.