Бэн Ваггонер

Преобразование видеоформатов

Раньше проекты снимали либо на кинопленку, либо на видео в форматах PAL или NTSC, а преобра- зование в иной формат проводили только на самом завершающем этапе, когда проект уже был смонтирован. Преобразование фор- матов относилось к той сфере деятельности, где использовалось очень дорогое оборудование, например Snell&Wilcox. Эти системы работали достаточно эффективно, но некоторые из них имели все же ограниченные возможности по изменению скорости на выходе.

Сейчас все больше студий, причем не только крупных, но и совсем маленьких, сталкиваются с необхо- димостью на самых ранних стадиях проекта работать в различных видеоформатах. Сегодня высококачественное преобразование форматов уже можно выполнить с помощью программных средств на настольном компьютере. О существующих форматах, способах, используемых для их преобразования, а также о существующих аппаратных и программных средствах, применяемых для решения этих задач, рассказывает автор статьи.

Форматы

Киноформат - один из самых старых, он появился в 1926 г. и с тех пор остался неизменным: 35-миллиметровая пленка, 24 кадра в секунду, синхронизированный звук.

Позже появился формат, названный "прогрессивным 24 кадра в секунду", который, в дальнейшем стали именовать просто "24р". Сегодня существуют разнообразные форматы, основанные на 24 кадрах в секунду, и каждый из них претендует на то, чтобы стать единым, универсальным и господствующим в производстве и постпроизводстве. Но универсального формата 24р пока все-таки нет.

Среди вариантов формата 24р существуют такие, которые имеют стандартное разрешение 720х486 или 720х480, а также высокое разрешение 1280х720 или 1920х1080, а соотношение сторон кадра в них может составлять 4:3 или 16:9.

Некоторые из современных видеокамер стандарта DV, работающих в формате 24р, сохраняют видеоданные на пленку в режиме 60 полей (полукадров), как в NTSC.

Формат NTSC, применяемый в Северной Америке и в Японии, характеризуется скоростью 30000/1001 кадров в секунду (иногда используют условное, округленное значение - 29,97 кадров в секунду). Именно эта, не совсем привычная частота смены кадров порождает множество коварных проблем в процессе преобразования, особенно в тех случаях, когда используется приближенное значение скорости (29,97), а не точное соотношение 30000/1001.

В форматах NTSC разрешение составляет 480 или 486 строк. Следует учитывать, что 480 строк, используемых в формате DV25, представляют сокращенный вариант от 486 строк, применяемых в других форматах, совместимых с 601. Соотношение пикселей остается тем же самым, просто кадр DV накладывается на кадр с 486 строками так, что остаются четыре пустых строки вверху и две внизу.

Формат PAL, используемый в Европе и Азии, имеет ряд преимуществ перед NTSC, особенно в отношении преобразований из киноформата. Частота кадров в формате PAL равна точно 25 кадрам в секунду, а количество строк всегда составляет 576.

Основные характеристики

Для  видеопроизводства в  формате  NTSC  стандартными  разрешениями  являются  720х480 или  720х486, а  для вещания -- 720х486. В формате PAL и для производства, и для трансляции используется разрешение 720х576.

Как в NTSC, так и в PAL производство и монтаж проектов осуществляют при соотношении сторон кадра 4:3 (по умолчанию) или 16:9 (последнее становится все более популярным, особенно при записи DVD или подготовке трансляционных проектов в PAL).

Временные характеристики вызывают наибольшие проблемы при преобразовании форматов. Изменение разрешения протекает достаточно гладко: 486 пикселей достаточно просто преобразуются в 576 и обратно. А вот интерполировать временные характеристики для получения качественных промежуточных кадров значительно труднее.

Преобразование исходного киноматериала, снятого со скоростью 24 кадра в секунду, в видеофрагмент формата NTSC со скоростью 30 кадров в секунду протекает по обычной схеме вычитания и прибавления кадров 3:2 для получения последовательности из "прогрессивных" кадров и двух чересстрочных кадров.

Скорость кадров - ключевая характеристикой прогрессивных форматов. Для чересстрочных же форматов важнейшим показателем является скорость полей. Преобразовать пятьдесят полей в шестьдесят значительно проще, чем 25 в 30 кадров в секунду.

Решающим моментом при временной интерполяции становится продолжительность временного интервала между входным и выходным кадрами. Поиском лучших способов управления временной интерполяцией сейчас занимаются многие специалисты, поэтому можно надеяться, что в ближайшие годы в этой области произойдут существенные улучшения. Так, новый программный преобразователь с возможностью изменения скорости кадров в реальном времени, встроенный в Windows Media 9, который продемонстрировала Microsoft, произвел вполне достойное впечатление.

Иногда лучшим способом для проведения преобразования оказывается изменение скорости и продолжительности, как и исходного, и конечного материала, поэтому после преобразования фрагмент может стать существенно длиннее или короче оригинала.

Порядок полей - один из самых важных аспектов при работе с разноформатным исходным материалом. Часто из-за недостаточности информации определить порядок полей, используемый различными форматами, достаточно трудно. Например, первая строка кадра может отображаться перед второй или вторая строка перед первой. Но, если в порядке полей допущена ошибка, при воспроизведении какого-либо движения на видеофрагменте появится полосатость.

Яркость и цветность в NTSC, PAL и киноформате имеют различные значения. В NTSC и PAL эти различия незначительны, поэтому для их компенсации при преобразовании между этими форматами необходимо лишь правильно задать коэффициент контрастности. Если в процессе такого преобразования яркость (люма) и цветность (хрома) сигнала поддерживать в определенном интервале, то контрастность изображения будет соответствовать установленному значению.

В процессе преобразования видео в киноформат может появиться дополнительная зернистость, свойственная кинопленке. Такое преобразования оправдано в тех проектах, где ставится задача соединить фильма и видео, но я бы не рекомендовал его использовать для проектов, исходный материал, которых полностью состоит из видеофрагментов. Одной из самых важных характеристик видео является то, что по сравнению с кинопленкой оно имеет намного меньшую зернистость. Поэтому вместо того, чтобы тратить время и стараться придать видимость, что проект был снят кинокамерой, а в полной мере это все равно никогда не удается, лучше реализовать те уникальные возможности, которые свойственны видео, и не портить изображение.

Процессы преобразования

Киноформат в 24р. Процесс подобного преобразования чрезвычайно прост - каждый кадр исходного материала преобразуется в кадр готового материала. Небольшие осложнения возникают только, когда в качестве исходного берется фрагмент со скоростью 23,976 кадра в секунду (24000/1001), а не точно 24 кадра в секунду. В этом случае придется учитывать, что в связи с выравниванием скорости до 24 кадров в секунду длительность готового материала по сравнению с исходной увеличится на 0,1%.

Фильмы настолько часто преобразуют в видео, что о присущих этому процессу сложностях просто забыли. А ведь 24 кадра в секунду не могут быть равномерно преобразованы в характерные для NTSC 59,94 (60000/1001) полей в секунду, поэтому здесь приходится применять схему вычитания и прибавления кадров 3:2. Сначала скорость фильма снижают на 0,1 % до значения 23,976 кадра в секунду (24000/1001) с тем, чтобы у 24 кадров фильма и 60 полей была одинаковая временная развертка. Затем фильм копируется на видео таким образом, что первый кадр фильма преобразуется в два полукадра видео, следующий кадр отображается в виде трех полукадров, из следующего - снова два полукадра и так повторяется до бесконечности.

В результате этого преобразования получают поток видеоданных, который будет составлять серии из трех прогрессивных кадров с последующими двумя чересстрочными кадрами (т.е. изображения в полях видеокадра будут составлены из изображений с двух различных кинокадров).

Поскольку в процессе преобразования скорость понижается на 0,1%, алгоритм 3:2 должен строго соблюдаться для всего видео, если что-то пойдет не так, сбой затронет весь полнометражный фильм.

Киноформат в PAL. Это достаточно простое преобразование, хотя и здесь есть несколько интересных моментов. Так как не существует приемлемого способа деления 24 на 25, то фильм-сканер разгоняется до 25 кадров в секунду и происходит преобразование киноформата в прогрессивный PAL со скоростью 25 кадров в секунду. Такой способ значительно проще, чем применяемая в NTSC схема вычитания и прибавления кадров 3:2, но она сокращает время воспроизведения фильма на 4,2 %. В случае двухчасового фильма это составит около пяти минут, правда для большинства европейских фильмов такое сокращение может только приветствоваться. Повышение скорости также приводит к изменению тональности звукового сопровождения -- оно "уходит" в высокие частоты. Поэтому полученный аудиотрек нуждается в повторной обработке с использованием алгоритма, который позволяет сохранить высокие частоты.

NTSC в киноформат. Такое преобразование, особенно видео, которое снималось в формате чересстрочного NTSC со стандартной скоростью 59,94 кадра в секунду, может привести к весьма обескураживающим результатам. Тем не менее, огромное число желающих снять художественный полнометражный фильм на DV, а затем преобразовать его в киноформат привела к тому, что немало толковых инженеров попытались сделать процесс преобразования NTSC в киноформат максимально гладким.

По сути программы проводят обратный процесс записи с преобразователя на исходный носитель, который сопровождается сдвигами в модуляции.

Первый метод заключается в определении видеополей, ближайших по времени к выходному кинокадру. Эти поля затем могут быть выведены из режима чересстрочности и использованы для формирования кадра. Такая операция не обеспечивает идеальной плавности движения, так как 36 из 60 временных видеокадров оригинала были отброшены, а 24 оставшихся -- распределены неравномерно. Но конечный результат получается вполне приемлемым.

В более сложных программах исходный видеокадр может быть выведен из режима чересстрочности таким образом, что неподвижные части изображения остаются чересстрочными и обеспечивают более высокое разрешение. Такой уровень преобразования реализован во многих программных средствах.

В еще более сложных инструментах используются метод отслеживания движения для того, чтобы полнее реализовать те преимущества, которые дает способ адаптивного выведения из режима чересстрочности на участках движущего изображения. Мне кажется, в течение нескольких ближайших лет именно в этой области следует ожидать появления большого количества новых разработок.

Существует еще один интересный вид преобразования NTSC в киноформат, он используется для тех проектов, которые первоначально снимались как фильм, затем преобразовывались в видеоформат NTSC, а позже, когда возникала необходимость из видео опять сделать фильм, проводили обратное преобразование. В таких случаях используется специальный инверсивный конвертер, который весьма эффективно преобразовывает NTSC в формат 24р. Но, если монтаж исходного материала проводился без сохранения заложенной схемы преобразования, для работы инверсивного конвертора могут потребоваться очень мощные алгоритмы.

Инверсивный конвертор в Adobe After Effects способен разгадать схему преобразования в первоначальном материале после просмотра нескольких первых кадров видео, но не тогда, когда первые кадры источника черные.

Apple Cinema Tools очень хорошо работает с киноматериалом, но не позволяет проводить предварительный просмотр готового видео без рендеринга.

NTSC в 24р. Этот процесс в очень напоминает преобразование в киноформат, здесь приходится сталкиваться с теми же проблемами и пользоваться теми же методами для их решения. Скорость 29,97 кадра в секунду невозможно преобразовать в 25 кадров в секунду, поэтому для преобразования NTSC в PAL нельзя использовать вычитание и добавление кадров по схеме 3:2. Но в этом случае возможна синхронизация по полям, а не по кадрам, т. е. конвертация 59,94 в 50 полей в секунду, при которой по сравнению с процессом простого сравнения кадров количество временных искажений уменьшается на 50%. Кстати говоря, именно поэтому чересстрочный формат NTSC, легче поддается преобразованию со стандартным разрешением (в том числе, в кино- и 24р форматы, чем формат 30р).

NTSC в PAL. При этом преобразовании берется полукадр NTSC, ближайший по времени к каждому полукадру PAL на выходе, а все оставшиеся полукадры просто игнорируются.

Разрешение формата PAL составляет 576 строк, а NTSC -- 486 строк. Если вы работаете с видео формата NTSC, 486 строк преобразовать его в PAL на системе монтажа, поддерживающей этот формат, несложно. Но, если в качестве исходного используется материал 480-строчных форматов, таких, как DV или MPEG-2, то перед масштабированием на 576 строк, следует добавить к каждому кадру четыре строки вверх и по две вниз. Если порядок полукадров необходимо изменить на противоположный, то нужно добавлять по три строки вверх и вниз.

Хотя в PAL минимальное значение черного составляет 0 IRE, а в NTSC - 7,5, для цифровых сигналов обоих форматов черный определяется, как Y=16, поэтому при преобразовании NTSC в PAL различия яркости не вызывают никаких проблем.

PAL в форматы кино- или 24р. Это преобразование, как правило, включает снижение скорости с 25 (PAL) до 24 кадров в секунду и последующего создания одного кинокадра из каждого кадра PAL. Естественно это приведет к увеличению длительности на 4,2%.

Так как любой инверсивный фильм-принтер PAL поддерживает соотношение 1:1 между исходным и выходным кадрами, то хороших результатов позволяет добиться простой адаптивный способ выведения из режима чересстрочности. Рассчитанное с помощью этого процесса предполагаемое движение может оказаться даже немного лучше, чем в исходном материале. Конечно, в случае прогрессивного PAL выводить из режима чересстрочности не нужно.

Источник, снятый в прогрессивном PAL с соотношением сторон кадра 16:9, лучше преобразуется в киноформат или формат 24р, чем материал формата NTSC. Именно благодаря этому раньше этот формат широко использовали в проектах, которые выпускали по схеме DV-фильм. Хотя, вполне вероятно, что вскоре его заменит формат 24р.

В Discreet Cleaner 6 есть мощный инверсивный конвертер с функцией предварительного просмотра, но он не позволяет вносить временные изменения.

Canopus ProCoder имеет простой и понятный интерфейс и обеспечивает хорошие результаты при перекодировании, но вручную вносить временные изменения он не позволяет.

PAL в NTSC. Этот процесс подразумевает конвертацию из 576-строчного формата PAL в NTSC-изображение, состоящее из 486 строк. Если конечной целью является преобразование в формат NTSC с 480 строками (DV или MPEG-2), но предварительно источник нужно пересчитать на 486 строк, а затем обрезать четыре верхних и две нижних строки. Для изменения порядка расположения полукадров на противоположный, к 480-строчному изображению следует добавить по три строки вверх и вниз.

Для преобразования прогрессивного формата PAL нужно сначала уменьшить скорость кадров 24 в секунду, а затем применить алгоритм вычитания и прибавления кадров 3:2. Для преобразования чересстрочного PAL используют другой подход, при котором длительность фрагментов сохраняется, а интерполяцию полукадров проводят во время рендеринга видео.

Программные средства

Аппаратные средства, предназначенные для перекодирования, позволяют получать материалы с высоким качеством в режиме реального времени, но они достаточно дороги и неудобны для транспортировки. Программные средства значительно снижают затраты на проведение преобразования со стандартным разрешением.

Идеальный инструмент должен поддерживать работу в автоматическом режиме с различными разрешениями, позволять точно уменьшать и увеличивать длительность материалов и иметь надежный инверсивный преобразователь. Но, к сожалению, пока такого инструмента не существует, поэтому в работе приходиться использовать сразу несколько программ.

After Effects 5.5 (комплект Standard --$699, комплект Production Bandle -- $1699) является одним из лучших инструментов для работы с разнообразными видеоформатами. Версия Standard имеет исчерпывающий набор функций для проведения перекодирования. В After Effects предусмотрены предварительные установки формы пикселей и разрешений для всех основных форматов, эта программа автоматически определяет различия между 480- и 486-строчными изображениями. Но, чтобы добиться правильной временной интерполяции придется повозиться.

Лучшим решением для преобразования видеоформата PAL, полученного из кино- или прогрессивного источника, в формат NTSC или 24р -- это подготовка для включения в проект материала, имеющего скорость 24 кадра в секунду. В случае с NTSC в разделе установок Render Settings следует задать проведение обработки по схеме 3:2 и преобразование скорости 59,94 полукадров в секунду.

Преобразование источников других форматов протекает более гладко. Материалы чересстрочных PAL, NTSC, кино- и 24р форматов могут быть импортированы без изменения длительности. Для конвертации в PAL исходную скорость киноматериала следует увеличить до 25 кадров в секунду, чтобы она соответствовала выходному формату.

К сожалению, встроенный инверсивный конвертер After Effects 5.5 не очень надежный, поэтому в исходном материале не должно быть сбоев в модуляции, при наличии последних After Effects будет пытаться угадать, какой алгоритм был применен для обработки. А так как программа делает это путем анализа нескольких первых видеокадров, эта функция не сможет работать, если они будут черными. Но путем проб и ошибок правильную схему модуляции все-таки удается найти. Обновление окна Preview происходит сразу же после закрытия диалогового окна Interpret Footage, поэтому на подбор правильных установок я затрачивал не более двух минут.

Следует также убедиться в том, что все различия в разрешениях исходного и конечного материалов скорректированы. Самый простой способ -- перетащить видеокадр за угол и совместить с активной областью проекта. After Effects удерживает центры связанными, поэтому изменения, внесенные в один кадр, будут автоматически переносить во все остальные кадры проекта. Естественно, при работе PAL следует помнить о необходимости преобразования числа строк (486 в 480).

Final Cut Pro 3.0 для Mac OS ($999) имеет хороший набор функций для обработки видео, но ее возможности для преобразования форматов довольно ограничены.

Cinema Tools 1.0 ($999), разработанная Apple для Final Cut Pro, значительно расширяет возможности последней в отношении преобразования различных форматов. Эти два приложения представляют собой неплохое решение для работы в киноформатах с источниками с устойчивой модуляцией. Если схема примененной модуляции неизвестна, то ее следует определить путем проб и ошибок.

Но и Cinema Tools, и After Effects, даже не пытаются обрабатывать источники, имеющие сбой в модуляции. Поэтому для работы с такими фрагментами необходимо использовать другие инструменты. Cinema Tools не позволяет выполнить предварительный просмотр без рендегинга всего файла, поэтому, если в окне Window dub не указана схема модуляции, определить ее достаточно сложно. Но зато Cinema Tools прекрасно справляется с теми задачами, для которых она разрабатывалась, -- обработкой теле- и киноисточников, имеющих Window dub с номерами кадров или log-файл с отметками о прохождении процесса.

В приложении Final Cut Pro мне удалось найти неплохой способ для преобразования между чересстрочными форматами NTSC и PAL. Но хотя это приложение позволяет довольно легко изменять скорость одного трека фильма, оно не выполняет соответствующего рендеринга полукадров при разных скоростях кадров в исходном и конечном материалах.

Discreet Cleaner ($599) имеет собственный мощный инверсивный конвертер. Тем не менее Cleaner 5.0.2 не состоянии провести дублирование или изменить порядок кадров на обратный. В новой версии Cleaner 6.0 эти дефекты устранены. Сейчас Cleaner 6 работает под Mac OS, а выход версии для работы под Windows ожидается в 2003 году. Инверсивный конвертер старой версии Media Cleaner Pro 4 не имеет дефектов, которые появились в версии 5.0.2.

Но ни одна из версий Cleaner не способна выполнять временные интерполяции. Для преобразования телекиноматериала NTSC с неравномерной модуляцией я использую Cleaner 6: создаю на выходе файл прогрессивного формата со скоростью 23,976 кадров в секунду, а затем провожу необходимую временную интерполяцию в системе нелинейного монтажа.

Хотя Cleaner поможет вывести из режима чересстрочности, эта программа не способна провести рендеринг с сохранением полей для преобразования форматов со стандартным разрешением, поэтому ее нельзя использовать для конвертации NTSC в PAL.

Canopus ProCoder 1.2.1 ($699) оснащен мощными функциями для проведения перекодирования материалов. ProCoder достаточно легко справляется с воводом из режима чересстрочности, а также обеспечивает сопряжение исходных полукадров при преобразованиях PAL> NTSC, за счет чего в выходных материалах большинства форматов достигается плавное движение.

Пока в ProCoder отсутствует фильтр инверсивного преобразователь, но представители Canopus обещают выпустить его в первом квартале 2003 года. ProCoder не позволяет проводить и качественные временные интерполяции при преобразовании PAL в 24р.

А вот преобразование исходного материала NTSC в формат PAL MPEG-2 ProCoder выполнит в автоматическом режиме и даже преобразует соотношения сторон кадра 16:9 в 4:3 для формата Letterbox.

Заключение

Сейчас, когда широко используются самые разнообразные форматы, для их преобразования лучше применять программные, а не аппаратные средства. Идеальное программное решение для проведения перекодирования должно иметь хороший инверсивный конвертер, выполнять адаптивное выведение из режима чересстрочности и временные интерполяции. Но, к сожалению, подобного продукта пока не существует, и для создания хорошей системы для перекодирования нужно включить в нее два-три приложения.

Ben Waggoner. Video Format Coversion/DV, 2003, февраль.