В чем отличие между DAS и SAN

Способы обеспечения надежности хранения (RAID уровни)

Какие диски ставить в RAID массивы

Актуальные модели дисковых массивов Maxtronic

NAS системы Maxtronic

 

Что такое DAS и SAN

Внешний массив на 4-16 дисков, объединенных в единое логическое устройство с распараллеливанием процессов записи/чтения и организацией защиты данных, является эффективным способом хранения, обработки и передачи данных. Он обеспечивает большую емкость (до 8 ТБ), высокое быстродействие (до 300 МБ/с) и надежность хранения (RAID уровни от 0 до 6+). Наиболее простая и распространенная схема использования RAID массивов - DAS (Direct Attached Storage), т.е. непосредственное их подключение к рабочим станциям и/или серверам по SCSI интерфейсу (сегодня это Ultra320 LVD SCSI, но в этом году ожидается переход на SASSerial Attached SCSI). При этом обмен общими данными между серверами и пользовательскими компьютерами осуществляется через локальную Ethernet сеть (см. рис).

Пока объем общих данных невелик, а число рабочих станций (серверов) не превышает 2-3, такая классическая архитектура построения вычислительной сети удовлетворяет реальным потребностям предприятия. Однако, по мере его развития, приобретения  под новые задачи дополнительных серверов (со своими RAID массивами) и соответствующего роста объема данных даже гигабитная сеть не справляется с пересылаемыми потоками и регулярно становится узким местом, существенно снижающим общую производительность. Выход в построении SAN (Storage Area Network), т.е. объединении нескольких RAID массивов по Fibre Channel (FC) интерфейсу через специализированный FC коммутатор-матрицу (Switched Fabric) в выделенную сеть хранения и передачи  данных. Подключение к ней рабочих станций и серверов также осуществляется через этот FC коммутатор, так что с любой станции возможен независимый и параллельный доступ к любому дисковому ресурсу, причем с действительно высокой скоростью (в сотни мегабайт в секунду). Общение между станциями также осуществляется по FC, так что удается отделить основные потоки данных между серверами от локальной сети прочих пользователей (см. рис.). Более того, дальнейшее развитие и масштабирование такой системы становится сравнительно простым и логичным – достаточно либо добавить к FC-сети новый массив, либо подключить к коммутатору новый сервер.

В первую очередь подобные отказоустойчивые системы хранения данных используются для различных бизнес приложений. Но в России исторически так сложилось, что одними из наиболее активных потребителей RAID массивов стали видеостудии и телецентры. Причина очевидна – цифровой кино/видео материал требует таких больших объемов дисковой памяти и таких высоких скоростей записи/чтения данных, что без специализированных внешних массивов во многих случаях было бы просто невозможно работать над сложными проектами. А в последнее время в связи с резким ростом объемов производства отечественной кино и видеопродукции, и особенно с многократным увеличением числа телевизионных сериалов, особую актуальность стали приобретать именно FC системы. Действительно, возникла серьезная проблема эффективной обработки исходного видеоматериала последовательно несколькими специалистами. Пересаживать их с одной рабочей станции на другую? Перегонять рабочий материал по сети (а это сотни терабайт)? Или даже переносить систему хранения (от 15 до 40 килограмм) от одного компьютера к другому? Все эти способы известны из практики, но они только увеличивают время и сложность работы над проектом. Самым логичным и проверенным решением является создание емких и быстродействующих FC сетей. В этом варианте все проблемы отпадают - по завершении очередного этапа работы над фильмом другой сотрудник начинает заниматься тем же самым фильмом, никуда не перемещая файлы и нисколько не теряя в скорости доступа к данным. Более того, при использовании специального программного обеспечения вполне возможна и одновременная работа нескольких пользователей над одним проектом, что существенно ускоряет процесс.

Всегда актуален вопрос выбора оптимального по соотношению цена/качество устройства хранения. В силу унификации компьютерной техники это во многом вопрос выбора производителя.  Международная компания Maxtronic International уже в течение 10 лет специализируется на производстве RAID массивов и завоевала устойчивую репутацию на этом весьма конкурентном рынке. В Россию эти устройства поставляются чуть более 4 лет, но уже сегодня во многих банках и корпорациях, видеостудиях и телецентрах успешно работают сотни систем хранения данных от Maxtronic. Их отличает высокое быстродействие (используются контроллеры на современных RISC процессорах), удобное и эффективное программное обеспечение (до 8 независимых RAID массивов одновременно, до 16 TB одним томом, возможность удаленного конфигурирования и контроля), действительно доступные цены (лучшая цена на рынке за ТераБайт хранения данных), надежность и простота эксплуатации (2 года гарантии). А широта модельного ряда и его постоянное обновление позволяют предлагать оптимальные решения для различных приложений.

Способы обеспечения надежности хранения (RAID уровни)

Особое внимание уделяется задаче обеспечения надежности хранения данных. Она решается как на аппаратном уровне (избыточные блоки питания и вентиляторы охлаждения, выделение нескольких дисков для «горячего» резервирования, возможность установки специального модуля с батареей-аккумулятором для сохранения данных кэш-памяти при аварийном отключении питания), так и программном (интеллектуальная система самодиагностики дисков, контроля напряжения и температуры). Эффективным средством защиты данных является выбор RAID уровня, обеспечивающего необходимый компромисс между эффективностью работы массива (доступный объем и быстродействие) и его надежностью хранения (допустимым числом отказавших дисков).

В массивах Maxtronic используются специализированные контроллеры, аппаратно поддерживающие следующие RAID уровни:

RAID 0 – простое распараллеливание, веерная запись/чтение блоками на все установленные диски. Самая высокая производительность, минимальная цена на GB хранения, но отсутствие защиты от сбоя.

RAID 1- зеркалирование, т.е. дублирование всех записей на две идентичные группы дисков. Обеспечивается высокая степень защиты критически важных данных, но вдвое меньший доступный объем хранения.

 

RAID 3 – входной поток данных разбивается на блоки, по всем битам которых вычисляются контрольные значения четности. Запись/чтение осуществляется параллельно на все диски, но при этом для контрольных данных выделяется отдельный диск. При сохранении высокого быстродействия данные не теряются при выходе из строя одного (любого) из дисков.

RAID 5 – аналогичен RAID 3, но запись значений четности распределена между всеми дисками. Кроме того, уменьшен размер блоков записываемых данных, что увеличивает быстродействие системы при большом количестве запросов на запись/чтение небольших файлов.

RAID 0+1, 30 (3+0), 50 (5+0) -  это комбинированные варианты, в которых роль отдельных дисков играют RAID массивы соответственно 0, 3 или 5 уровня.

 

RAID 6 – уровень, реализованный в самых последних моделях массивов на новых, более мощных процессорах. Здесь параллельно рассчитываются 2 независимых значения четности, которые распределяются между всеми дисками. Сохранность данных обеспечивается при выходе из строя даже 2-х дисков.

Triple Parity (TP) – его еще называют RAID 6+. Три независимых значения четности, допустим одновременный выход 3-х дисков.

Все это позволяет сохранить данные даже при физическом повреждении работающего в системе диска (одного или нескольких). Однако доводить систему до такого критического состояния не стоит. Более благоразумно и грамотно предвидеть угрозу, заранее «вычислить» потенциально плохой диск и принять превентивные меры к его замене. Для этого компания Maxtronic разработала и применяет в своих системах несколько эффективных способов оперативной диагностики и дополнительной защиты данных.

Disk Self Test (DST) - самотестирование установленных в систему дисков (любого производителя). Выполняет тест на запись, проверку сервопривода управления перемещением головок диска и сканирование чтением всей поверхности диска. Рекомендуется запускать на начальном этапе, сразу после установки дисков - еще до создания их них RAID массива.

Disk Scrubbing (DS - "Чистка" диска) - эта процедура дает возможность обнаружить плохие (bad) сектора жесткого диска и переназначить на их место резервные хорошие c восстановлением контрольных сумм RAID. Процедура может работать по расписанию.

Disk Cloning (DC - Клонирование диска) - еще одна фирменная функция «слежения» за плохим диском. В случае превышения заданного количества плохих секторов, обнаруженных процедурой DS, система автоматически создает точную копию дефектного диска на резервном диске (hot spare - диск горячей замены -  конечно, если он имеется в системе) и заменяет его в RAID.

Какие диски ставить в RAID массивы

Несмотря на все хитроумные способы организации записи/чтения данных, в первую очередь надежность хранения зависит от стабильности работы используемых в системе жестких дисков. Чаще всего в RAID-массивы устанавливают стандартные диски, изначально предназначенные для обычных компьютеров. И это правильно хотя бы по той простой причине, что иных вариантов в большинстве случаев просто нет. К тому же объем дисков постоянно растет, а стоимость на один гигабайт неуклонно снижается. Казалось бы, чего же боле? Однако здесь и существует проблема!

Дело в том, что во все современные IDE/SATA жесткие диски для повышения надежности хранения данных встроена автоматическая функция коррекции ошибок. При ее разработке исходили из здравого посыла, что жесткий диск не должен отправлять куда-либо сообщение о каждой обнаруженной ошибке чтения, загружая тем самым другие устройства (в том числе процессор компьютера) ненужной дополнительной работой. Напротив, он должен предпринять все возможное для самостоятельной  коррекции обнаруженной ошибки. Для начала он многократно пытается прочитать сбойный блок, а потом исключает его из использования, сделав переназначение (remap) плохого сектора на хороший. Однако, погрузившись в данную "внутреннюю" операцию, диск начинает отвечать на внешние запросы с большой задержкой, тем большей, чем интенсивней поступают на него команды из «внешнего» мира. Пока диск функционирует сам по себе, являясь самостоятельно работающим устройством хранения данных, это только несколько замедляет процессы записи/чтения. Однако когда он является частью сложной системы из многих дисков, когда специальный RAID контроллер «следит» за их работоспособностью, подобная "самостоятельность" установленного в систему диска может приводить к проблемам. Одной из важнейших задач контроллера RAID является постоянный анализ распределяемых между дисками данных на предмет возможного появления и немедленной коррекции ошибок.  Поэтому RAID контроллер, отвечая за работоспособность всей системы, ожидает ответа от каждого диска строго определенное время (обычно 8 секунд), по истечении которого (time-out ошибка) считает, что вовремя не ответивший диск неисправен, и принимает решение об его исключении из системы с последующим перераспределением данных между оставшимися дисками. При этом нагрузка на оставшиеся диски возрастает. И в этих условиях и второй диск может вовремя не ответить, что уже приведет к крушению всей системы с потерей данных (напомним, что в наиболее популярных RAID уровнях 3 и 5 резервные данные хранятся только на одном диске и выход сразу двух фатален - все данные теряются). Но в результате последующего анализа якобы неисправных дисков с большей степенью вероятности может оказаться, что все они (отключенные из-за излишней «задумчивости») были вполне работоспособны и могли далее использоваться, но уже будет слишком поздно. 

Здесь не поможет и наличие диска в "горячем" резерве - пока RAID контроллер будет вводить его в массив (этот процесс может занять часы - в зависимости от нагрузки на RAID), вполне может "отказать" следующий диск в массиве и данные также будут безвозвратно потеряны. Эта ситуация иллюстрируется на рисунке ниже.

 

Безусловно, такая проблема возникает только при интенсивной работе дисков в RAID массиве на запись/чтение данных. Но достаточно совпадения буквально минутной "тяжелой" нагрузки на RAID массив и начала автоматической процедуры восстановления ошибки на каком-то жестком диске, как ложный выход из строя жесткого диска станет вполне реальным. Трудность решения этой проблемы в том, что диск и на самом деле, реально, может выйти из строя, поэтому удлинение допустимого времени отклика от жесткого диска (более 8 секунд -  что иногда делают некоторые производители RAID контроллеров) не решает проблему, а наоборот, загоняет ее вглубь. Ведь в том случае, если диск на самом деле сломался, промедление в реакции RAID контроллера на это событие чревато полной потерей данных.

Наличие данной проблемы (задержка отклика из-за встроенной функции коррекции ошибок) не зависит от того, диски какого производителя планируется использовать. Ее возможное решение в другом – ввести ограничение на максимально допустимую длительность обработки ошибок жестким диском с обязательным информированием RAID контроллера о наличии конкретной ошибки. В этом случае RAID контроллер поймет, что диск исправен, но у него есть конкретная ошибка в конкретном месте, которую контроллер легко скорректирует.

К сожалению, единственной компанией, которая предложила такое понятное и очевидное любому грамотному специалисту решение, стала корпорация Western Digital. Она разработала специальную серию дисков RAID Edition c функцией TLER (TimeLimitedErrorCorrection - Ограниченное время на коррекцию ошибки). TLER-диски при возникновении ошибки начинают нормальный процесс ее коррекции, но, не уложившись в 7 секунд, сообщают RAID-контроллеру о возникшей ошибке, откладывая дальнейшую обработку ошибки на "лучшее" время (например, на момент простоя системы). При этом контроллер легко справится с возникшей ошибкой чтения данных с данного диска – ведь для этого в его распоряжении всегда есть резервная информация. Такой алгоритм иллюстрируется на рисунке ниже.

 

Отметим, что RAID Edition (RE) диски от Western Digital кроме функции TLER отличает более жесткий контроль качества производства и, как следствие, увеличенное вдвое  время наработки на отказ (более 1 миллиона часов). Такие диски по надежности не уступают существенно более дорогим SCSI дискам, и их без оговорок можно использовать для круглосуточной работы даже в приложениях с высокой нагрузкой (запись-чтение 50%-50%). При этом цена RE дисков превышает обычную не более чем на 10%, что практически не заметно на общей стоимости решения. В связи с этим настоятельно рекомендуется использовать именно такие диски.

Актуальные модели дисковых массивов Maxtronic

Модельный ряд массивов Maxtronic 2005 года – это серия ARENA SIVY на 8-16 SATA дисков с аппаратной поддержкой  RAID уровней от 0 до 5, построенная на базе RISC процессора  Intel i80321 64bit 600Mhz.

 

 

SA-3830/SA-3831

SA-4830/SA-4831

SA-7230/SA-7231

SA-6630/SA-6631

Процессор

i80321 RISC 600 MHz

Кэш-память

256MB – 1 GB DDR SDRAM

Внешний интерфейс

Dual Channel U320 SCSI / Dual Channel 2Gb FC

Тип разъема

HD 68-pin x 4 / SFP x 4

Число дисков

8

8

12

16

Интерфейс дисков

SATA (150 MB/s)

RAID уровни

JBOD, 0, 1, 0+1, 3, 5, 30, 50, NRAID

Блоки питания

300W x 2 (горячий резерв)

460W x 2 (горячий резерв)

Корпус

Настольный

В 19стойку (2U)

В 19стойку (2U)

В 19стойку (3U)

Габариты (ВхШхГ)

336х200х321 мм

88х483х583 мм

88х485х540

132х485х550

Вес (без дисков)

12 кг

14 кг

16 кг

20 кг

На рубеже 2006 началось производство устройств новой серии JANUS для SATAII дисков на более производительном процессоре i80331 PCI-X 64bit 667Mhz, за счет использования которого добавилась поддержка более высоких уровней защиты RAID 6 и TP (6+):

 

 

SA-3340S

SA-4340S/SA-4341S

SA-4540S/SA-4541S

SA-6640S/SA-6641S

Процессор

i80331 RISC 667 MHz

Кэш-память

256MB – 2 GB DDR RAM

Внешний интерфейс

Dual Channel U320 SCSI / Dual Channel 2Gb FC

Тип разъема

VHDCI x 4 / SFP x 4

Число дисков

8

8

12

16

Интерфейс дисков

SATAII (300 MB/s)

RAID уровни

JBOD, 0, 1, 0+1, 3, 5, 30, 50, 6, TP, NRAID

Блоки питания

300W x 2

350W x 2

460W x 2

 

Корпус

Настольный

В 19стойку (2U)

В 19стойку (2U)

В 19стойку (3U)

Габариты (ВхШхГ)

336х200х321мм

88х483х583 мм

88х485х565 мм

132х485х574 мм

Вес (без дисков)

12 кг

14 кг

19 кг

24 кг

Не останавливаясь на достигнутом и подтверждая делом свое звание «The Disk Array Specialist», Макстроник уже работает над новыми моделями, которые появятся во второй половине 2006 - начале 2007. Они  используют еще более мощные микропроцессоры (причем не только от Intel) и обеспечивают еще более продвинутые возможности. В них включена поддержка новых интерфейсов (SAS, 4G FC), увеличено максимальное число дисков в системе до 24, а также предусмотрена возможность последовательного соединения нескольких RAID массивов c объединением в единое дисковое пространство. Все это позволяет повысить быстродействие и увеличить реально достижимый объем хранения до десятков терабайт. И уже в скором времени будут анонсированы модели SA-4240S (на 6 SATAII дисков, внешний интерфейс U320 SCSI), SA-4332S (на 8 SATAII дисков, внешний интерфейс SAS), SA-4551S/SA-6651S (на 12/16 SATAII дисков, внешний интерфейс 4Gb FC), SA-6641D (с двумя процессорами i80331), SA-8841D (на 24 диска SATAII), SS-6651S/6652S/6652J/4551S/4552S (новая линейка на процессорах AMCC PPC440SP) и многие-многие другие. Таким образом, возможности по выбору оптимального решения под конкретную задачу существенно расширяются.

Отдельного рассмотрения заслуживают NAS системы, появившиеся в семействе продуктов от компании Maxtronic сравнительно недавно, но сразу весьма положительно воспринятые рынком.

NAS системы Maxtronic

NAS (Network Attached Storage) – это специализированный класс сетевых устройств, предназначенных для надежного хранения и эффективного совместного доступа к общим данным в рамках локальной сети рабочей группы, офиса или корпорации. В наиболее распространенном варианте NAS выполняет функции файлового сервера. Будучи напрямую подключен к существующей вычислительной сети предприятия, он функционирует в сети автономно, управляет  файловой системой и «следит» за ее целостностью, отвечает на запросы локальных компьютеров и обеспечивает отправку/получение необходимых данных от клиентов сети.

Идея NAS довольно проста – фактически это «стандартный» компьютер с прошитой в памяти специальной версией операционной системой (обычно какой-либо клон Linux). Но «прошиваются» только те части операционной системы, которые предназначены для обслуживания функций NAS, поэтому объем такой операционной системы не превышает 32 мегабайт. При этом для защиты данных от сбоев используемых в NAS дисков поддерживаются различные RAID уровни (как правило, программным способом). Из того, что операционная система «зашита» в ПЗУ, вытекает весьма важная особенность NAS – его крайне трудно «взломать» снаружи. Такая оптимизация операционной системы исключительно под нужды файлового сервера приводит к высокому быстродействию (в гигабитной сети обеспечиваются потоки данных до 50-60 MB/c), надежности функционирования и простоте обслуживания NAS.

В силу неизбежного увеличения на предприятиях самого разного профиля общих информационных потоков цифровых данных актуальность этих сравнительно новых для российского рынка устройств постоянно возрастает. Кроме хранения общих, в том числе архивных данных, их используют для автоматического копирования по расписанию (синхронизации) критически важных данных с рабочих станций и серверов. В компании Maxtronic разработка NAS устройств ведется уже более трех лет. Первая серия устройств, основанная на процессорах Intel Celeron, получила название Pegasus. Она включает в себя модели 311GR, 420GT и 820GR соответственно на 3, 4 и 8 IDE дисков.

 

Одной из важнейших характеристик любого сетевого устройства является его универсальность. Во всех устройствах Pegasus обеспечивается как поддержка транспортных протоколов TCP/IP, Apple Talk & FTP, так и совместимость с файловыми системами Windows, Mac & Unix/Linux. Что касается надежности функционирования, то в них реализованы RAID уровни 0, 1, 3 и 5, предусмотрены возможность горячего резерва и замены дисков, автоматическое восстановление данных при замене. Для дальнейшего повышения надежности функционирования в Pegasus реализованы специальные программные функции самодиагностики и контроля за работоспособностью, а в 820-й модели (на рисунке) установлены избыточные блоки питания.

 

Во второй половине 2006 году ожидается начало поставок новой серии устройств – Orion, функционирующих на базе ядра ОС Linux 2.6. В настоящее время ведется отладка моделей 410ST/410SR и 820SR соответственно на 4 и 8 SATA II дисков (см. табл.). Они обеспечивают большую эффективность обработки данных, более надежное функционирование и лучшее соотношение цена/объем хранения.

 

 

NAS-410ST/SR

NAS-820SR

Процессор

AMD LX 800

AMD LX 800

Память

256MB DDR RAM

512MB DDR RAM

32MB Flash с прошитой ОС

Диски

4 x SATAII

8 x SATAII

Подключение к сети

1 port 10/100/1000 Ethernet

2 port 10/100/1000 Ethernet

Транспортные протоколы

TCP/IP, Apple Talk, FTP

Файловые протоколы

Microsoft Network (CIFS/SMB 3.0)
Apple Talk (AFP 3.1)
Internet (HTTP 1.x)
Unix/Linux (NFS 3.0)

Прочие интерфейсы

1 порт USB2.0 для UPS

1 порт USB2.0 и RS-232 для UPS

1 порт USB2.0 для Mobile BackUp

Типы сетевых клиентов

Microsoft Windows 98/ME/XP/NT 4.0/2000/2003
Macintosh System 7.x, 8.x, 9.x, 10.x
Unix/Linux

Сетевая безопасность

Microsoft 2000/2003 Domain Controller (PDC)
Unix/Linux, User Level Security

Опции IP адреса

DHCP клиент, ручная установка IP

Уведомление о событиях

По электронной почте
Звуковой сигнал

RAID уровни

0, 1, 3, 5

Управление RAID

Дисковый роуминг,

горячий резерв,

"горячая" замена дисков,

автовосстановление

Корпус

Настольный корпус/ В 19” стойку 1U

В 19” стойку 2U