Андрей Ряхин

Время RAID для видео

Идея объединения нескольких сравнительно "дешевых" жестких дисков в одно логическое устройство с целью повышения общей емкости, быстродействия и надежности была высказана еще в конце 80-х. Впервые публично она была изложена в 1987 г. в ставшей с тех пор классической статье Гибсона и Катца из Калифорнийского университета Беркли под названием "A Case for Redundant Arrays of Inexpensive Disks (RAID)". Но до недавнего времени подобные системы, получившие название RAID-массивов, в основном являлись частью дорогостоящих компьютерных комплексов, предназначенных для хранения больших объемов критически важной информации (в качестве примера можно привести банковские серверы). Проблема заключалась в том, что для обеспечения действительно надежной и эффективной работы RAID-систем, отвечающих предъявляемым требованиям, приходилось использовать не дешевые, а дорогостоящие дисковые устройства (именно поэтому впоследствии аббревиатуру RAID стали расшифровывать как Redundant Arrays of Independent Discs). И только сейчас, когда в результате общего прогресса стоимость таких решений значительно снизилась, и появились достаточно хорошие диски по разумной стоимости, различные решения на базе RAID-технологии стали активно предлагаться для рабочих станций, а в упрощенном варианте - для офисных и даже домашних компьютеров.

Впрочем, стоимость внешних RAID-систем снижается не так быстро, как цены на базовые диски - последние определяют лишь "половину" затрат на создание полной системы. Весьма существенную ее часть составляют специализированный контроллер (со встроенным процессором) и программное обеспечение, которые и гарантируют эффективную совместную работу дисков как единого целого. Более того, в полном соответствии с пословицей "аппетит приходит во время еды", по мере развития технологий возрастали и требования к характеристикам систем. Сегодня пользователи хотят иметь массивы емкостью в террабайты, со скоростью записи/чтения в десятки и даже сотни мегабайт в секунду. В ответ на это производители предлагают все более производительные решения, в которых используются последние модели RISC-процессоров. Поэтому стоимость современных RAID-систем, как и их предшественников, сохраняется на уровне от нескольких тысяч долларов до десятков тысяч. Оно и понятно - в компьютерной индустрии, так же как и в других отраслях высоких технологий, действует общий закон сохранения стоимости (иначе ее развитие просто прекратится). Но сегодня за те же деньги пользователь получает гораздо более мощную систему, чем несколько лет назад.

Одной из важнейших областей применения RAID-массивов являются различные профессиональные системы цифрового видеомонтажа. Сегодня здесь требуется одновременная обработка в реальном времени трех-четырех потоков некомпрессированного видео и нескольких слоев графики, титров (Pinnacle Liquid Chrome, DPS VelosityQ и др.). При разрешении стандартного телевизионного кадра 720x756 и YUV-представлении 4:2:2 для этого необходимы скорости воспроизведения 80-90 Мбайт/с. Все более актуальными становятся и системы монтажа HD (High Definition), оперирующие телевизионными кадрами высокой четкости 1280x720x30p (в качестве примера упомянем Pinnacle CineWave HD и DPS Velosity HD). Здесь уже один поток цифрового видео превышает 50 Мбайт/с. И, наконец, нельзя забывать про грядущую эру цифрового кинематографа с параметрами 1920x1080x24p и потоком данных около 100 Мбайт/с. Иными словами, в цифровом видеопроизводстве наступило время RAID-массивов. На рынке уже представлено достаточно много предложений, и в ответ на растущий спрос их количество будет возрастать. Но для того, чтобы сделать правильный выбор, найти разумный компромисс между функциональностью и ценой, между реально достигаемой производительностью и эффективной емкостью, необходимо понимать базовые принципы построения и функционирования RAID. Желание разобраться в этом и стало побудительной причиной для написания настоящей статьи.

Итак, основные задачи, которые призвана решать RAID как система объединения нескольких дисков, - обеспечение повышенной емкости, надежности хранения и увеличение скорости записи/чтения данных. С емкостью все понятно: чем больше используется дисков, составляющих систему, и чем больше емкость каждого из них, тем лучше. При этом надо оговориться, что максимальный размер логического диска (раздела), допускаемый (распознаваемый) системой Windows при файловой структуре FAT32 (Windows 95/98, XP) ограничен 2 терабайтами, а системой NTFS (Windows NT, 2000/XP) - 12 тарабайтами. А вот две другие характеристики RAID требуют более детального рассмотрения.

Рис.1

Надежность хранения (отказоустойчивость) достигается за счет того, что в систему вводится избыточность - в RAID объединяется больше дисков, чем это необходимо для получения требуемой емкости. Или, другими словами, часть дисков используется для записи и хранения резервной (дублирующей) информации, что обеспечивает восстановление данных при выходе из строя одного диска (а в некоторых случаях и сразу нескольких). Здесь зависимость также очевидна - чем больше степень резервирования, тем более надежное хранение обеспечивается. Платой за это является пропорциональное снижение эффективной емкости RAID (с точки зрения хранения исходных данных). Самую высокую степень надежности обеспечивает полное дублирование (повторение) данных. В этом случае диски разбиваются на две тождественные группы, и на них ведется параллельная запись двух копий каждого блока данных (рис.1). В результате, одна группа дисков всегда является зеркальной (mirrowing) копией другой. И при потере одного или нескольких дисков из одной группы (или даже всей группы) данные сохраняются (впрочем, теоретически возможен и одновременный выход двух зеркально связанных дисков, а это уже приведет к крушению системы). Естественной платой за подробную надежность является высокая стоимость, поскольку эффективная емкость падает вдвое по сравнению с потенциально возможной. Частичным утешением может послужить то, что за счет дублирования операция чтения выполняется вдвое быстрее - ведь с каждого диска можно считать только половину требуемой информации.

Наконец, повышение быстродействия (производительности) достигается за счет того, что современные интерфейсы (в частности, SCSI) позволяют выполнять операции записи-чтения на несколько дисков одновременно (более точно, практически одновременно, так называемым "веерным способом", так как шина передачи данных все же одна на всех). Таким образом, входной поток данных разбивается на блоки заданного размера, которые параллельно записываются на (считываются с) несколько независимых дисков (striping). Соответственно, можно считать, что скорость записи-чтения возрастает пропорционально числу дисков, используемых для хранения данных (но без учета дисков, задействованных в резервировании), и, конечно, пропорционально их собственному быстродействию.

Таковы самые общие идеи эффективного объединения дисков в массивы. И хотя конкретные схемы реализации могут существенно отличаться, для RAID-систем существуют жесткие стандарты, позволяющие использовать при их построении оборудование и программное обеспечение различных производителей. Созданный в 1992 г. промышленный консорциум по стандартизации RAID (RAID Advisory Board, RAB) определил семь типовых RAID уровней: от нулевого до шестого.

Уровни RAID

Уровень RAID 0 определяет простейший вариант построения массива без избыточности дисков. Поэтому, строго говоря, системы этого уровня не являются RAID-массивами. Тем не менее, термин RAID 0 широко используется и принят RAB. При данном уровне происходит простое распараллеливание записи/чтения данных (разбиение на равные блоки заданного размера, striping) между всеми имеющимися дисками (рис.2).

Рис. 2

Очевидная привлекательность данного подхода заключается в простоте и дешевизне его реализации при потенциально самой высокой производительности (скорости записи/чтения) и самой низкой стоимости хранения данных. Именно поэтому уровень RAID 0 весьма популярен на массовом рынке недорогих систем, для его реализации предлагается множество контроллеров различных производителей (наиболее известны Promise Technologies, Adaptec). Многие материнские платы для компьютеров уже имеют встроенные контроллеры (например, HPT 374 - четырехканальный Ultra DMA/ATA133). Более того, в силу существенно возросшей производительности центральных процессоров возможно построение системы RAID 0 программным способом, без специального аппаратного контроллера. В частности, программная поддержка RAID 0 встроена в Windows 2000/XP. Слабым местом RAID 0 является незащищенность данных: при выходе из строя любого из дисков данные всего массива будут потеряны. Поэтому использовать его в "серьезных" приложениях не рекомендуется.

Для задач с критически важной информацией обычно предлагают уровень RAID 1 (рис.3), который также достаточно просто реализуется - надо лишь обеспечить формирование и хранение двух зеркальных копий данных на двух идентичных дисках (или двух массивах дисков), что не требует никаких дополнительных вычислений.

Рис. 3

Очевидно, что в этом случае выход из строя одного диска не приведет к потере данных! Однако эффективность использования дисков будет вдвое ниже, чем у систем RAID 0. Поэтому чаще используют более сложные RAID-уровни, которые обеспечивают высокое быстродействие и надежную защиту данных при сравнительно небольшой степени избыточности.

RAID 2 основан на разбиении входных данных на уровне битов и вычислении кода Хэмминга для контроля возможных ошибок (Hamming ECC - Error Correction Code). Исходные биты данных распределяются между дисками массива, а параллельно с ними на специальные выделенные диски (ECC диски) записываются вычисленные коды (рис.4).

Рис. 4

Код Хэмминга основан на вычислении по исходным битам нескольких ECC битов (битов четности). При чтении данных ECC коды используются для их проверки, что позволяет определять (выявлять не только ее наличие, но и находить ошибочный бит) и корректировать ошибки на уровне одиночных битов, либо фиксировать факты двойных ошибок. Минимальное число требуемых контрольных битов p для d битов исходных данных определяется неравенством d+p+1<=2p. Несложно убедиться, что для d = 4 (битов данных) требуется p = 3 (контрольных битов), для d от 5 до 11 уже p = 4. Таким образом, в массиве из 12 дисков 4 (треть!) придется выделить для записи контрольных данных. Для вычисления кодов Хэмминга и их последующего использования необходимы достаточно сложные математические расчеты. Поэтому уровень RAID 2 характеризуется высокой надежностью, но требует сложного и дорогого контроллера. Кроме того, при построении массива для ECC кодов придется выделять несколько дисков, что заметно снижает общую эффективность хранения данных. Наконец, сегодня постоянно тратить "силы" и время на поиск ошибок неразумно, так как современные диски оснащены системами самодиагностики, и в случае сбоя они сами сообщат о возникших ошибках, после этого достаточно будет их только скорректировать. Поэтому на практике данный уровень используется крайне редко.

Уровень RAID 3 (рис. 5) с параллельным доступом к дискам массива предлагает более эффективный способ. Здесь входной поток данных разбивается на отдельные байты, которые распределяются (и параллельно записываются) между всеми дисками массива кроме одного выделенного.

Рис. 5

Последний диск используется для записи контрольной информации (четности, parity), которая вычисляется на основании значений битов записываемых данных путем выполнения сравнительно простой операции XOR (exclusive OR, "исключающее или").

p	q	pXORq
True	True	False
True	False	True
False	True	True
False	False	False

Результирующее значение этой логической операции равно True ("правда") тогда и только тогда, когда из двух входных логических значений только одно равно True. Во всех остальных ситуациях результат равен False ("ложь"). Другими словами, когда два входных значения p и q совпадают, результат pXORq равен False, когда различаются - True. Эту операцию можно применить к бинарным данным (значениям битов), приравнивая True 1, а False 0, соответственно мы получаем равенства 1XOR1 = 0, 1XOR0 = 1, 0XOR1 = 1, 0XOR0 = 0. Несложно заметить, что по двум имеющимся значениям операции отсутствующее третье вычисляется однозначно. Если подобное вычисление последовательно применить к значениям (N-1) битов, то получим N-е значение, которое позволит однозначно восстановить любое потерянное значение исходных (N-1) битов (при условии, что остальные сохранились). Например, мы имеем три бита со значениями 1, 0, 0. Для первых двух битов вычисляем 1XOR0 = 1 и запоминаем окончательный результат (1) как контрольное число (четность). Теперь, если значение второго бита потеряно (соответствующий диск вышел из строя), то по четности и третьему биту восстанавливаем результат XOR между первым и вторым битами, а по нему и значению первого бита успешно вычисляем значение второго бита. На практике применение данного алгоритма еще проще. Математически несложно доказать, что в любой цепочке нулей и единиц результат последовательного применения XOR всегда равен 1, если число исходных единиц нечетно, и 0 - если четно. Таким образом, в случае потери значения любого из битов в сколь угодно длинной цепочке достаточно пересчитать число единиц в оставшихся битах и сравнить со значением четности. Например, если четность равна 1, а число оставшихся единиц четно, то потерянное значение тоже равно 1.

Таковы общие принципы использования четности для защиты записей в уровне RAID-3. Очевидно, что при этом для хранения контрольных данных всегда достаточно только одного выделенного диска, например, в массиве из 12 дисков исходный поток можно разбивать по байтам на 11 субпотоков, по ним вычислять четность и параллельно записывать данные на все 12 дисков, на первые 11 - исходные данные, а на 12-й - контрольные. Платой за такую "экономию" является большой объем необходимых вычислений, выполняемых одновременно с операциями записи/чтения (что в обязательном порядке требует аппаратного RAID-контроллера с собственным процессором и памятью), а также несколько более низкая степень защиты данных от сбоев по сравнению, например, с вариантом полного дублирования (RAID 1). Однако в системах RAID 3 за счет эффективного распараллеливания обеспечивается очень высокая скорость непрерывной записи/чтения данных.

Надо признать, что теоретические положения, изложенные выше, производители RAID-массивов вынуждены были скорректировать из-за объективных ограничений, связанных с форматированием используемых дисков и необходимостью их оптимального применения. На практике размер блоков, на которые разбивается входной поток данных перед его параллельной записью на диски массива, увеличивается с 1 байта до 512 байт (стандартный размер сектора) или даже до больших значений (при этом уровень RAID 3 фактически приближается к RAID 4).

По быстродействию массивы RAID 3 практически сравнимы с RAID 0, но первые обеспечивают защиту данных. Поэтому массивы RAID 3 рекомендуются для использования в системах, оперирующих файлами сравнительно большого размера (мегабайты), например, при обработке видео. Однако в приложениях, характеризующихся большой интенсивностью коротких запросов (коллективные базы данных) эффективная скорость резко падает: поскольку при обработке каждого запроса всегда задействованы все имеющиеся в системе диски (RAID 3 называют "массивом с параллельным доступом к дискам"), то все последующие запросы ждут завершения обработки предыдущего. Для таких задач целесообразно существенно увеличить размер блока (с байта до сектора диска или больше), на которые при записи разбивается исходный файл перед распределением между дисками. Тогда для одного файла достаточно будет задействовать не все имеющиеся диски, а только часть их, и одновременно обрабатывать несколько запросов.

Рис. 6

В этом и заключается основное отличие RAID 3 от RAID 4 (рис.6) - в последнем используются блоки существенно большего размера. В результате запись и чтение коротких файлов будет вестись на отдельные диски. RAID 4, в отличие от RAID 3, называют "системой с независимым доступом к дискам массива".

Впрочем, даже после увеличения размера блока (страйпа) при интенсивной обработке множества коротких запросов остается еще одно узкое место - единственный выделенный диск для записи четности. Действительно, даже если параллельно записывать/считывать несколько файлов с различных дисков, вычисленные контрольные данные все равно придется записывать на один и тот же диск, что будет заметно тормозить весь процесс. Естественный выход - распределять все данные между всеми имеющимися дисками, записывая блоками, как исходные потоки, так и контрольные данные (рис.7).

Рис. 7

Это идея и заложена в уровень RAID 5. Но, к сожалению, и данной схеме (как и в RAID 4) все равно остается узкое место, заметно снижающее общее быстродействие системы. Дело в том, что, если необходимо изменить данные только одного блока на одном диске, все равно придется вычислять новую четность, в которой задействованы блоки с остальных дисков.

В RAID 5 это выполняется следующим эффективным способом. До записи новых данных в некий блок из него сначала считываются старые данные, а также старые значения соответствующего блока четности. После этого вычисляются значения операции XOR для старых данных этого блока и старой четности. Полученный результат, что несложно понять, является предпоследним промежуточным результатом при вычислении старой четности (только по неизменяемым блокам старых данных). Именно он при сравнении с данными перезаписываемого блока давал и дает окончательное значение четности. Поясним данные рассуждения простым примером. Пусть у нас есть четыре значения данных 1, 0, 0, 1 и результирующая четность 0 (поскольку в цепочке четное число 1). Нам надо изменить первую единицу на 0. Тогда правильное новое значение четности тоже должно измениться на 1. Как это понять без предварительного считывания и анализа всех старых, неизменяемых данных? Достаточно вычислить XOR старых значений данных 1 и четности 0 (получим 1), а результат сравнить с новым значением данных 0 в первом бите. Полученная 1 и будет новая четность! Таким образом, в RAID-5 каждая операция записи требует двух чтений старых значений (данных и четности), выполнения двух операций XOR и двух новых записей (опять данных и четности). Как следствие, общее быстродействие в отношении записи (но не чтения) падает в 1,5-2 раза (по сравнению, например, с RAID 1).

В определенном смысле RAID 5 является компромиссом между производительностью записи/чтения, надежностью и эффективностью хранения данных, что делает его наряду с RAID 0 и RAID 3 одним из наиболее популярных вариантов построения систем хранения информации. Что касается RAID 6, то он представляет дальнейшее развитие RAID 5. В нем для повышения надежности добавляется вычисление второго независимого уровня четности, что обеспечивает сохранение данных даже при выходе из строя двух дисков. Очевидно, это приводит к усложнению системы, а также к дальнейшему снижению производительности и эффективности массива. Как следствие, уровень RAID-6 в основном представляет исключительно теоретический интерес.

Существуют и другие уровни построения RAID, но они также не нашли широкого применения и существенно зависят от интерпретации фирмы-производителя. В связи с этим наиболее интересны так называемые "комбинированные уровни", например, RAID 0+1 и RAID 1+0. Несмотря на схожесть названий, организованы они по-разному. Так, в RAID 0+1 формируется два идентичных массива RAID 0 (только striping), запись на которые ведется зеркально (mirroring), т.е. согласно RAID 1. Например, если у нас есть восемь идентичных дисков, то мы получаем два массива по четыре диска в каждом. Данные в каждом массиве пишутся параллельно сразу на четыре диска (без защиты данных), но между массивами данные полностью дублируются. В варианте RAID 1+0 наоборот формируется четыре массива по два диска в каждом. Теперь в каждом массиве осуществляется зеркальное дублирование информации, но входной поток данных распараллеливается между четырьмя массивами. Понятно, что итоговые характеристики обоих вариантов схожи. Популярность этих комбинированных уровней вызвана простотой их реализации (отсутствием дополнительных вычислений контрольных данных), сравнительно высоким быстродействием и надежностью хранения. Возможны и другие комбинации (RAID 0+3, 3+0, 0+5, 5+1 и т.д.), но их построение весьма сложно и не очень оправданно.

Особенности аппаратной реализации RAID-массивов

Как уже отмечалось, построение систем уровней 0 и 1 (и их комбинаций) сравнительно просто и может выполняться даже программным путем. Хотя надо признать, что при большом числе используемых в массиве дисков (восемь и более) использование аппаратного RAID-контроллера со встроенным процессором и кэш-памятью приводит к более эффективному результирующему быстродействию. В системах более сложного уровня (3, 4 и 5) с необходимостью непрерывного вычисления (и перезаписи) контрольных данных без специализированного мощного процессора обойтись уже не удастся. Что касается интерфейсов, то наиболее популярным вариантом, обеспечивающим оптимальное соотношение производительности и стоимости системы, является сочетание SCSI для всей системы и IDE/ATA в массиве дисков. Таким образом, большинство современных массивов построено на базе 8-16-канальных IDE-to-SCSI RAID-контроллеров c встроенным RISC-процессором и кэш-памятью.

Однако варианты реализации и конструктивного исполнения подобных массивов (так же как и их стоимость) существенно отличаются у разных производителей. При выборе конкретной модели следует обратить внимание на следующие нюансы.

В качестве примера весьма удачной реализации концепции SCSI-to-IDE RAID-систем хранения данных можно привести серию Arena Premium фирмы Maxtronic International (www.maxtronic.com.tw), в которую входят модели AR-8198, PA-8200 и PA-8600 соответственно на 8/12/16 IDE дисков. Основные параметры модели PA-8200 на 12 IDE дисков приведены в табл.1, а передняя и задняя панели устройства показаны на рис. 8.

Таблица 1. Основные параметры модели PA-8200 на 12 IDE дисков

Рис. 8

Даже краткий анализ приведенных данных показывает, что серия Arena Premium удовлетворяет всем требованиям к современным RAID-системам, а по стоимости данные модели заметно выигрывают у конкурентов. Для оценки быстродействия с PA-8200 были проведены специальные эксперименты при установленных 12 дисках WD1200JB по 120 Гбайт каждый в разных конфигурациях RAID. Для тестирования использовалась утилита DiskSpeed из комплекта Pinnacle Liquid Chrome. Специальный файл общим размером в 1000 Мбайт считывался и записывался блоками от 64 кбайт до 2 Мбайт, причем скорость чтения измерялась в двух режимах: при линейном (последовательном) чтении и при случайном чтении блоков (самый жесткий режим). Типичный результат тестирования (экран утилиты DiskSpeed при тестировании PA-8200 c 12 дисками WD1200JB по 120 Гбайт в конфигурации RAID 3 c SCSI-адаптером Adaptec 29160) приведен на рис. 9, а полученные данные - в табл. 2.

Рис. 9

Таблица 2. Сводная таблица полученных в результате тестирования данных

По мнению экспертов, данные модели являются одними из лучших RAID-системами по соотношению цена/качество. Их можно уверенно рекомендовать к использованию как в многопотоковых системах нелинейного видеомонтажа (при RAID 0 и RAID 3), так и для создания серверов общего назначения (при RAID 1 и RAID 5).