Как измеряют качество видеосигнала

Новые методы оценки цифрового видео

Джим Фили

Традиционные тест-сигналы, обеспечивая измерение ряда параметров искажений видеосистем, не позволяют адекватно измерить все искажения в системе с компрессированным цифровым видео, а также определить, насколько заметными эти искажения будут для зрителя. Для этого есть лучшие способы.

      Любая видеосистема, аналоговая или цифровая, в конечном счете оценивается по степени удовлетворенности зрителя даваемым ею изображением. За многие годы ученые и инженеры разработали целый ряд методов оценки различных характеристик качества видеосигнала и качества изображения в целом.
      Все мы стремимся предоставить нашим клиентам видео как можно более высокого качества. Если не говорить сейчас о DTV, то получение видео самого высокого качества означает максимальное приближение к стандартам ITU-R BT.601 или D-1. Как же определить, насколько близко выходное изображение видеомагнитофона или системы нелинейного монтажа к исходному изображению D-1?

Рис. 1. Отношение сигнал/шум (SNR) системы чрезвычайно важно и для разработчика, и при проверке систем на соответствие спецификациям. Однако этот показатель не может служить надежной характеристикой качества изображения для компрессированного цифрового видео

      В аналоговых видеосистемах и системах с некомпрессированным сигналом статические тест-сигналы позволяют измерять искажения и оценивать такие параметры, как отношение сигнал/шум (рис. 1). С помощью вектороскопов, осциллографов и других подобных им измерительных устройств вы подаете в свою видеосистему тестовый сигнал, и устройство показывает, как этот сигнал исказился в видеосистеме. В аналоговых видеосистемах и цифровых системах без компрессии между результатами измерения тест-сигнала и зрительской субъективной оценкой качества изображения существует сильная корреляция.
      Но стандартные тест-сигналы не позволяют измерить все параметры компрессированного цифрового видео. В системе с компрессированным цифровым видео точность представления изображения постоянно изменяется в зависимости от визуальной сложности изображения, доступной скорости передачи и даже метода компрессии. Инженеры стремятся к тому, чтобы эти изменения сказывались на качестве изображения как можно меньше при заданных технических характеристиках и стоимости разрабатываемой аппаратуры. Компрессированное цифровое видео предъявляет новые требования к оборудованию для оценки качества видеосистем.
      С появлением мощных компьютеров ученые и инженеры стали искать пути использования этой мощности в автоматизированных тестовых системах.
      Измерение объективных характеристик изображения
      Компьютеры хорошо справляются с вычислениями и дают один и тот же результат при их повторении. Такие прикладные программы, как Photoshop, могут вычислять разность между исходным некомпрессированным изображением и его компрессированной копией.
      Они берут исходное изображение, сравнивают его с компрессированной копией и определяют, сколько пикселей в копии отличается от соответствующих им пикселей в оригинале.
      Один из объективных способов измерения визуальных искажений состоит в оценке среднего квадрата ошибки (MSE) или среднеквадратического отклонения (RMSE) между оригиналом изображения и его обработанным вариантом. Параметры MSE и RMSE совершенно объективны и повторяемы. Однако объективных оценок недостаточно. Значения MSE и RMSE не показывают, какие ошибки зритель заметит в первую очередь. На самом деле, изображение с более высоким значением MSE или RSME может даже казаться менее искаженным (см. рис. 2).

Рис. 2. Если просто измерять разность между исходным и обработанным изображениями, можно получить результаты, вводящие в заблуждение. Измерение среднего квадрата ошибки (MSE) для этих двух компрессированных изображений показывает, что A искажено сильнее, чем Б, но Б выглядит лучше. Алгоритм Just Noticeable Difference (JND), разработанный Sarnoff Corporation, основан на модели зрительной системы человека и взвешивает искажения в соответствии с тем, насколько они будут заметны для наблюдателя

      Раз чисто объективные средства тестирования видео не позволяют точно измерить то, что нам кажется высоким качеством, необходимо рассмотреть другие способы измерения качества изображения.
      Субъективное тестирование
      Ясно, что изображение без ошибок и с нулевым MSE всеми воспринимается как имеющее высокое качество. Но в реальном мире компрессированного цифрового видео (который включает и Digital Beta) ошибки присутствуют всегда. Поэтому вопрос, возникающий при оценке качества изображения, формулируется так: "Насколько хорошо скрыты эти ошибки?"
      Ответ на этот вопрос требует использования субъективных оценок отдельных людей. Субъективные измерения разной степени сложности - от высказываний типа "по-моему, хорошо" до формальных оценок с участием многих наблюдателей и при контролируемых условиях эксперимента - уже давно применяются для оценки качества видео при разработке изделий, их оценке заказчиками, а также в постпроизводстве. Формализованное субъективное тестирование с участием большого числа зрителей гарантирует правильный учет особенностей зрительной системы человека.
      Субъективная оценка не предоставляет той метрики, которая получается при чисто объективной оценке, но она может дать вам полезный и повторяемый результат. Другими словами, можно разработать такие рейтинги качества изображения, которые точно отражают восприятие типичного зрителя.
      Международный союз электросвязи (ITU) разработал стандарт на формальное субъективное тестирование качества изображения - Рекомендацию ITU-R BT.500 "Методика субъективной оценки качества телевизионного изображения". Эта Рекомендация, впервые опубликованная в 1974 г. (и потом неоднократно обновлявшаяся), описывает ряд процедур для оценки человеком качества изображения. Каждая процедура начинается с отбора участников, которые не должны быть экспертами, и проверки их зрения. В контролируемых условиях участники просматривают до 30 мин тестовых сцен и для каждой сцены выставляют оценку качества изображения.
      В Рекомендации описано несколько методов субъективного измерения качества видеоизображения. Рассмотрим некоторые из них. Метод измерения под названием Double Stimulus Impairment Scale ("Шкала деградации с двумя стимулами") заключается в следующем. Участники просматривают эталонную сцену (часто в форме видео стандарта 601), а затем - ту же сцену после ее обработки в тестируемой системе. Каждый участник оценивает деградацию изображения сцены после обработки одним числом по пятибалльной шкале: 1 - очень раздражает; 2 - раздражает; 3 - слегка раздражает; 4 - заметно, но не раздражает; и 5 - незаметно. Баллы выставляются для некоторого количества различных сцен.
      Иной вариант этого метода: участник оценивает качество обеих сцен в паре "эталон-после обработки", не зная при этом, какая из них является эталонной. Затем анализируется разница оценок для каждой пары сцен.
      В другой группе методик из Рекомендации BT.500 зрителям предлагается оценить обработанные тестовые сцены, а эталонные им не показывают. В этих методиках "с одним стимулом" одна и та же тестовая сцена может предъявляться участнику один или несколько раз. Используется либо описанная выше пятибалльная шкала "степени раздражения", либо 11-балльная цифровая шкала.
      Метод Single Stimulus Continuous Quality Evaluation ("Непрерывная оценка качества с одним стимулом") предусматривает, что зритель непрерывно оценивает одну программу длительностью 10-20 мин, а не серию тестовых сцен. Зрительские рейтинги записываются несколько раз в минуту. Однако рейтинги, основанные на просмотре реальной программы, могут зависеть от оценки участником содержания этой программы, а не только от качества изображения.
      Субъективные методы тестирования можно применять для оценки самых различных типов видеоаппаратуры и систем, в том числе видеомагнитофонов, плат ввода видео, видеокодеков для Web, камер, а также производственных комплексов. Субъективные методы пригодны как для аналогового, так и для компрессированного цифрового видео.
      Однако при субъективном тестировании необходимо контролировать много разнообразных параметров, включая отбор и проверку участников, а также обеспечение одинаковых условий просмотра для всех зрителей. Проведение тестов и анализ результатов требуют времени и затрат. И, что более важно, на разных студиях при оценке одного и того же оборудования могут получиться разные результаты.
      В поисках объективных методов тестирования
      Заветная мечта тех, кто занимается оценкой качества изображений, - объективный метод определения качества, метод, учитывающий работу зрительной системы человека, но позволяющий избежать тех материальных затрат, трудоемкости и факторов неопределенности, которые сопряжены с субъективным тестированием. Такой метод должен быть применим для множества различных видов изделий и технологий компрессии.
      Исследователи уже знают, что просто разность изображений не может служить критерием, но с нее можно начать. Весь фокус в том, чтобы найти такие разности, которые имеют значение. Некоторые ученые пробуют взять разностное изображение и интерпретировать его на основе модели зрительной системы человека.
      Исследователи Станфордского университета разработали модель, в которой психофизические аспекты восприятия пространственных образов используются при учете контраста и маскировании ориентации. Однако они признавали, что их первоначальная модель не учитывала ряд параметров наблюдения, в том числе движение и эффекты компрессии данных.
      Поиск адекватной метрики для описания качества изображения продолжался.
      Специалисты исследовательского института Sarnoff Corporation, давно занимающегося разработками в области видео, считают, что такую метрику они создали. По их словам, алгоритм JND (Just Noticeable Difference - "различие на грани восприятия") "дает оценки качества изображения... точно отражающие восприятие зрителя". Алгоритм JND анализирует пространственные, временные и цветовые изменения, вносимые системой в тестовое изображение, и определяет, повлияют ли эти изменения на зрительское восприятие изображения.
      Не будучи привязан к видео как таковому, алгоритм JND может быть использован для определения того, заметит ли зритель эффекты компрессии на видеоизображении.
      Перед сравнением исходной и обработанной последовательностей изображений JND осуществляет сложную фильтрацию каждой последовательности с целью выделить ту визуальную информацию, которая сильнее всего влияет на наше восприятие. Сначала JND разделяет каждое поле последовательностей на массивы яркости и цветности. Определяя среднюю яркость каждого поля, система может учесть такие факторы, как падение чувствительности зрительного восприятия человека при смене темной сцены на яркую.
      Затем JND выполняет три отдельных измерения контраста в терминах ориентации, мерцания и цветового смещения. Контраст рассчитывается в виде индивидуальных и локальных разностей значения пикселей. Тем разностям, которые, как предполагает модель, будут замечены наблюдателем с вероятностью 75%, присваивается численное значение, равное одной JND. "Заметные" пиксели передаются на следующий уровень обработки.
      Алгоритм Contrast Energy Masking ("маскирование энергии контраста") в JND учитывает понижение чувствительности зрительной системы человека к искажениям в сложных областях изображения. Например, искаженные элементы изображения в области, которая представляет листву дерева, учитываются с меньшим весом, чем в области, соответствующей гладкой коже лица.
      После фильтрации каждой последовательности для выделения областей, наиболее подверженных заметным изменениям, JND сравнивает разности изображений исходной эталонной последовательности и обработанной тестовой последовательности. Система строит одну карту JND для заметных различий по яркости и другую - для заметных различий по цвету. Специалисты Sarnoff говорят, что эти карты JND, в отличие от простых карт разностей изображений, показывают те изменения изображений, которые будут заметны для человека.
      Чем заметнее изменение, тем ярче соответствующая область на карте.
      Алгоритм JND произвел впечатление на фирму Tektronix, ведущую компанию в области анализа видеосигналов. Tektronix настолько высоко оценила результаты исследований Sarnoff, что включила модель JND в свое изделие - анализатор качества изображений PQA-200.
      PQA-200 - это программно-аппаратный комплекс на базе NT, предназначенный для использования при разработке и оценке характеристик систем с компрессированным цифровым видео - плат ввода, кодеров, видеомагнитофонов. Система оценивает характеристики испытываемого устройства, подавая на него тестовые последовательности. PQA-200 может работать со многими различными типами видеосистем, но не с камерами, мониторами и проекторами.

Рис. 3. Система PQA-200 фирмы Tektronix сравни- вает эталонные видеосцены с результатами их обработки цифровой видеосистемой и выдает как объективные параметры, так и «рейтинг качества изображения» (PQR), основанный на модели JND фирмы Sarnoff Corporation

      В качестве эталонного видео PQA-200 может использовать либо стандартные тестовые последовательности, либо собственные видеопоследовательности пользователя. Эталонное видео вводится в PQA-200, и система подает его через интерфейс SDI или аналоговый композитный вход на тестируемую видеосистему. Затем PQA-200 анализирует выходной видеосигнал тестируемой системы по алгоритму JND. Она выдает значения параметров качества сигнала, информацию о пиковом отношении сигнал/шум (PSNR), отображает карты JND-изображений и формирует оценку "рейтинга качества изображения" (PQR) на основе анализа качества системы в соответствии с моделью JND (см. рис. 3).
      Величина PQR, равная нулю, означает, что система не обнаружила заметных различий между эталонным и обработанным изображениями. Значение между нулем и четырьмя говорит о незначительном различии. Значения свыше 10 указывают на существенные (но, возможно, все еще приемлемые) различия.
      Главный вопрос состоит в том, действительно ли оценки PQR соответствуют тому, как реальные зрители судят о качестве изображения? Конечно же, Tektronix и Sarnoff говорят, что да.
      И похоже, что у них есть определенные научные основания для такого утверждения.
      Мы беседовали с представителями ведущих разработчиков, которые сказали, что не работали с PQA-200 и поэтому не могут дать комментариев по качеству этой системы. Однако ряд инженеров из других известных компаний, занимающихся цифровым видео, включая Avid и Matrox, сообщают, что они уже используют PQA-200 как один из инструментов при разработке своих собственных изделий.
      Заключение
      Измерения качества видеосигналов позволяют нам оценить искажения, вносимые нашими производственными средствами и процедурами. С появлением компрессированного цифрового видео оказалось, что одних только тест-сигналов недостаточно для полного измерения качества изображения. Гораздо более полными тестами для систем кодирования являются реальные видеопоследовательности. В конце концов о качестве изображения судит не машина, а вы сами, ваши клиенты, ваша аудитория. Как и во многих других задачах, связанных с цифровым видео, компьютер, по-видимому, может облегчить проблему измерения качества видео.