Интеллектуальные системы хранения данных Hitachi Lightning 9900V

На прошедшей этой весной выставке NetWorld+Interop компания Hitachi Data Systems (HDS, http://www.hds.com) сделала три объявления. Первые два касались инициативы Hitachi TrueNorth —созданию нового поколения средств управления системами хранения на базе ПО HiCommand, третье анонсировало выход новой серии интеллектуальных систем хранения данных Hitachi Lightning 9900V.

Большинство аналитиков сошлись во мнении, что компания сделала чрезвычайно своевременный шаг, объявив о стратегии создания средств управления на основе стандартов, разработанных ассоциацией Storage Networking Industry Association (SNIA). Hitachi Data Systems, в отличие от ряда других поставщиков, основывает свою стратегию на объектно-ориентированной модели Common Information Model (CIM) и протоколе Simple Object Access Protocol (SOAP), позволяющих достичь высокого уровня совместимости с продуктами независимых разработчиков средств управления.

Инициатива TrueNorth существенно повлияла на имидж HDS. Компания, ранее воспринимавшаяся в основном как поставщик высокопроизводительных и надежных систем хранения, заявила о себе как о лидере в области разработки решений по автоматизации корпоративных сетей хранения данных (SAN Automation).

Сравнение подходов HDS и других компаний к решению этого вопроса, безусловно, требует детального анализа. Однако в данной статье я бы хотел остановиться на «аппаратной» части анонса, сделанного HDS. С выходом новой линейки Lightning 9900V сложилась достаточно редкая для компьютерной отрасли ситуация, когда одна компания технологически опережает своих конкурентов на два (!) поколения.

Состав серии Lightning 9900V

Системы Lightning 9900V поставляются в двух модификациях. Модель 9980 — многостоечная система с возможностью наращивания памяти до 74,7 Тбайт, кэшем 64 Гбайт и 32 интерфейсами Fibre Channel, FICON или ESCON. Модель 9970 — одностоечная система с масштабируемостью до 9,3 Тбайт, кэшем 16 Гбайт и 24 интерфейсами Fibre Channel, FICON или ESCON. В отличие от модели 9980 эта более простая система ориентирована на корпоративных пользователей, обрабатывающих относительно небольшие объемы данных.

Модели 9970 и 9980 по назначению аналогичны моделям 9910 и 9960, составлявшим продуктовую линейку предыдущего поколения. Дисковые массивы 9960/9980 предназначены для построения хранилищ данных большого объема, при создании которых максимальное внимание уделяется вопросам производительности, отказоустойчивости и масштабируемости. "Младшие" модели в обеих линейках (9910 и 9970) функционально и архитектурно аналогичны соответствующим "старшим" моделям и, как правило, используются организациями, предъявляющими высокие требования к надежности и производительности систем хранения, но не располагающими большими объемами данных.

В дальнейшем при обсуждении характеристик систем хранения серий 9900 и 9900V будут иметься в виду "старшие" модели — 9960 и 9980.

Традиционная архитектура систем хранения данных масштаба предприятия

Традиционная архитектура high-end систем хранения данных, примером которых могут служить Hitachi Freedom 7700е или EMC Symmetrix 8000, достаточно проста. Обмен данными с серверами осуществляется через подсистему ввода/вывода. Для обмена данными с мэйнфреймами используются интерфейсы ESCON и FICON, для подключения «открытых» систем — Fibre Channel (1 Гбит/c и 2 Гбит/c), возможна поддержка SCSI. Запросы от серверов поступают на интерфейсные процессоры системы хранения (в терминологии HDS — Client-Host Interface Processor, CHIP), которые либо определяют наличие (cache hit) или отсутствие (cache miss) запрашиваемых данных в кэш-памяти при чтении, либо просто помещают данные в кэш-память при записи.

После этого происходит подкачка данных с дисков в кэш или, наоборот, сброс данных на диск. Обмен данными между дисками и кэш-памятью контролируется соответствующими процессорами (в терминологии HDS — Array Control Processor, ACP), совместно с дисками образующими дисковую подсистему. Важно отметить, что для оптимизации операций чтения и записи все пользовательские данные проходят через кэш.

В традиционных системах хранения информация передается по шине. Как правило, шин в системе несколько (от двух до четырех), и их суммарная пропускная способность не превышает 1,5 Гбайт/с. Полезная пропускная способность значительно ниже, так как по шинам передаются не только пользовательские, но и управляющие данные.

Архитектура систем хранения HDS Lightning 9900

Система Hitachi Freedom Storage Lightning 9900, анонсированная в июне 2000 г., была первым продуктом, построенным на основе коммутируемой архитектуры. До выхода серии 9900V она являлась наиболее мощной корпоративной системой хранения данных в мире.

Внутренняя архитектура, используемая в Lightning 9900, ориентирована на поддержку «тяжелых» приложений с интенсивным вводом-выводом, выполняющихся как на «открытых» системах, так и на мэйнфреймах. В ее основе лежит коммутируемая сеть Hi-Star — Hierarchical Star Network, обеспечивающая множественные избыточные неблокируемые каналы передачи данных между подсистемой ввода-вывода, кэш-памятью и дисковой подсистемой. Внутренняя пропускная способность Lightning 9900 может достигать 6,4 Гбайт/с — 3,2 Гбайт/с для передачи данных и 3,2 Гбайт/с для передачи управляющей информации.

Усовершенствования в HDS Lightning 9900V

По сравнению с системами хранения данных предыдущего поколения пропускная способность систем Lightning 9900V увеличена более чем в 2,5 раза. Агрегированная пропускная способность систем хранения Lightning 9900V составляет 15,9 Гбайт/c — 10,6 Гбайт/с для передачи данных и 5,3 Гбайт/с для передачи управляющей информации.

Разумеется, такая скорость может быть достигнута только при полной конфигурации системы, с использованием всех четырех пар дисковых адаптеров ACP и четырех пар интерфейсных процессоров CHIP. Это означает, что систему можно конфигурировать с оптимизацией либо по производительности, либо по стоимости. При расширении подсистемы ввода/вывода или дисковой подсистемы внутренняя пропускная способность увеличивается с добавлением каждого нового модуля.

Архитектура Hi-Star II

Каждая система Lightning 9900V — это фактически двухузловой кластер. Разумеется, это не кластер в традиционном смысле этого слова, т. е. не два компьютера, объединенных высокоскоростным каналом передачи данных, — речь идет о том, что все активные компоненты дискового массива — платы ввода-вывода, дисковые контроллеры, модули кэш-памяти — физически продублированы. Например, 8-портовый модуль Fibre Channel представляет собой две 4-портовых карты, которые устанавливаются в разные слоты системы; дисковые контроллеры ACP также могут быть установлены только попарно и т. д. При этом все компоненты объединены высокоскоростной коммутируемой сетью Hi-Star II и представляют собой единое целое.

Архитектура Hi-Star II, используемая в системах Lightning 9900V, в основном идентична архитектуре Hi-Star систем серии 9900, за исключением двух отличий — в новой версии удвоено количество каналов обмена данными и увеличена их тактовая частота. Hi-Star II состоит из двух коммутируемых сетей, Cache-HSN и Control Memory-HSN.

Кэш и управляющая память

Сеть Cache-HSN обеспечивает возможность одновременного выполнения множественных высокоскоростных операций обмена данными с кэшем, а значит, при увеличении размера кэш-памяти увеличивается и количество одновременно обслуживаемых пользовательских запросов.

Система Lightning 9900V поддерживает кэш данных объемом до 64 Гбайт (ожидается, что к концу 2002 г. будет объявлена поддержка 128 Гбайт). Кэш распределен по четырем модулям, перекрестно соединенным с процессорами дисковой подсистемы и подсистемы ввода/вывода. При выполнении операции записи данные дублируются и записываются в различные модули кэша, где и находятся до непосредственной записи на диск.

Используемые системой интеллектуальные алгоритмы кэширования значительно увеличивают общую производительность. При произвольном доступе к данным проводится постоянный мониторинг характера доступа, динамически изменяются критерии подкачки данных с тем, чтобы максимально повысить процент попаданий в кэш. При обнаружении последовательного характера доступа используется алгоритм read ahead and delete beyond, обеспечивающий быстрое считывание данных и эффективное освобождение кэша для других запросов.

Кэш-память используется для оптимизации доступа — как к пользовательским данным, так и к управляющей информации, например таблицам адресации. Это особенно важно для так называемых кэш-ориентированных систем с глобальным кэшем, обеспечивающих связь «каждый-с-каждым» между портами дисковой подсистемы и подсистемы ввода-вывода. Дополнительно к 64 Гбайт кэша данных Lightning 9900V содержит набор резервированных кэш-модулей (до 3 Гбайт), содержащих управляющие данные. Это обеспечивает 9900V заметное преимущество перед системами других производителей, в которых для хранения пользовательской и управляющей информации используется единый кэш. В таких системах управляющая информация в зависимости от размера кэша может занять до 50% его объема, что приводит к значительному снижению производительности.

Кэш-память не является энергонезависимой, и при пропадании питания данные могут быть потеряны. Чтобы избежать этого, в Lightning 9900V применяются резервированные батареи, обеспечивающие 48-часовую сохранность данных. В маловероятном случае отсутствия питания в течение более чем 48 часов возможна «горячая» замена батарей.

Дисковая подсистема

Установленные в дисковой подсистеме Lightning 9900V жесткие диски с двойным подключением (dual ported/dual active) используют для передачи данных две петли с арбитражным доступом Fibre Channel (FC-AL). При этом каждая пара дисковых контроллеров ACP подключена восемью FC-петлями к дисковым группам (array groups), состоящим из четырех дисков. Каждая FC-петля обслуживается собственным 64-битным процессором MIPS 160 МГц и схемой восстановления/регенерации данных.

ACP постоянно контролирует загрузку FC-петель и определяет лучший путь для доступа к дискам. Использование дисков с двойным подключением повышает производительность и отказоустойчивость системы. При использовании всех четырех пар ACP пропускная способность дисковой подсистемы составляет 3,2 Гбайт/с.

Lightning 9900V поддерживает до 1024 дисков — примерно в 2,5 раза больше, чем конкурирующие системы IBM и EMC. В настоящее время доступны диски 36 Гбайт (15 000 об/мин) и 72 Гбайт (10 000 об/мин). Ожидается, что к концу 2002 года будет объявлена поддержка дисков емкостью 147 Гбайт (10 000 об/мин).

Системы Lightning 9900V поддерживают RAID-1+, улучшенную версию RAID-1+0, обеспечивающую повышенный уровень надежности и производительности, а также RAID-5. Заметим, что эффективные алгоритмы управления кэшем в системах Lightning 9900 позволяют избежать падения производительности на операциях записи при использовании RAID-5, характерного для других систем.

Подсистема ввода/вывода

Подсистема ввода/вывода Lightning 9900V основана на «лезвийной» (blade) архитектуре. Она поддерживает различные протоколы, включая Fibre Channel 1 и 2 Гбит/c, ESCON и FICON. Коммутируемая архитектура с разделением пользовательских и управляющих данных позволяет быстро разрабатывать «лезвия» с поддержкой новых протоколов, таких как iSCSI. По оценкам ряда аналитиков, выпуск «лезвий», обеспечивающих функциональность iSCSI и NAS (Network Attached Storage) ожидается в начале 2003 г.

В настоящее время система поддерживает до 32 портов ввода-вывода, каждый из которых обслуживается собственным процессором MIPS 200 МГц. Отметим, что в системах Lightning предыдущего поколения в подсистеме ввода/вывода и дисковой подсистеме использовались процессоры Intel i960, работающие на частоте 80 МГц. Использование более мощных процессоров позволило увеличить скорость обмена данными на уровне отдельных интерфейсов.

В новых системах используется очень интересная концепция виртуальных портов (Virtual Storage Port, VSP) и серверных доменов хранения (Host Storage Domains, HSD). По существу, вводится дополнительный уровень виртуализации на уровне системы хранения, позволяющий разделять один физический порт Fibre Channel между серверами с различными операционными системами, тем самым значительно сократив расходы на создание гетерогенных сетей хранения. В системах хранения других производителей для каждой серверной платформы (например, Windows, HP-UX или Solaris) необходимо выделять отдельный порт.

С точки зрения администратора системы работа с виртуальными портами выглядит следующим образом. Несколько серверов объединяются в группу — серверный домен хранения. На уровне физического порта Fibre Channel определяется несколько (128 на порт, 4096 на систему) виртуальных портов, каждому из которых ставится в соответствие уникальный набор логических томов (Logical Unit, LUN). После этого домену хранения разрешается доступ к соответствующим виртуальным портам.

Одним из возможных применений такой схемы виртуализации является возможность выделить каждому серверу свой собственный виртуальный порт и собственный нулевой логический том (LUN 0). Использование LUN 0 требуется в некоторых случаях, например, если с системы хранения осуществляется загрузка операционной системы.

Надежность и сервисная поддержка

Одной из основных задач разработчиков системы Lightning 9900V было обеспечение бесперебойного доступа к данным даже в случае множественных отказов подсистем. Все элементы 9900V, в т. ч. области кэша, используемые для записи и хранения управляющей информации, по меньшей мере дублированы, а использование коммутируемой архитектуры позволяет «обходить» отказавшие компоненты без существенных потерь в производительности.

В системе нет ни одного активного элемента, выход которого из строя мог бы привести к потере данных, к тому же обеспечивается возможность замены всех компонентов системы и модернизации микрокода без перерыва в доступе к данным.

В принципе потеря данных возможна в случае одновременного отказа двух дисков в одной RAID-группе. Это крайне маловероятно, так как RAID-группа в Lightning 9900V состоит не более чем из 8 дисков, а вероятность отказа даже одного диска крайне мала. Например, в компании Volvo, являющейся одним из крупнейших заказчиков HDS (около 20 систем хранения общей емкостью более 45 Тбайт), за год выходит из строя 1—2 диска.

Тем не менее система Lightning 9900V поддерживает до 16 дисков в горячем резерве (hot-spare). Эти диски «глобальны», т. е. могут заменить любой вышедший из строя диск, независимо от его принадлежности к конкретной RAID-группе.

Каждая система хранения Lightning 9900V обеспечивается трехгодичной сервисной поддержкой в режиме 24x7 и комплектуется системой удаленной диагностики Hi-Track, которая постоянно контролирует состояние системы и передает собранные данные в сервисный центр HDS. Большинство возникающих проблем разрешаются удаленно, в случае же выхода из строя какого-либо компонента замена осуществляется со склада Московского сервисного центра.

Дополнительную информацию о системах хранения Hitachi Data Systems можно получить в S&T International — российском представительстве австрийской компании S&T, занимающейся системной интеграцией на рынке Центральной и Восточной Европы.

Павел Карнаух — директор центра технической поддержки компании S&T International. С ним можно связаться по e-mail: pavel.karnaukh@snt.com.ru