Архитектура InfiniBand для информационных центров

Один из методов повышения общего быстродействия вычислительных систем заключается в создании такой системной архитектуры, которая высвобождает центральный процессор от участия в обработке коммуникаций и сетевого трафика. При этом ресурсы основных процессоров могут выделяться для сложных математических расчетов, обработки транзакций, пакетной обработки и иных вычислительных задач. Эта концепция не нова, впервые она была представлена десятилетия назад и развилась в мощную архитектуру ввода-вывода, до сих использующуюся в мэйнфреймах.

Поддержанная ведущими производителями архитектура InfiniBand определяет общий стандарт для обработки операций ввода-вывода коммуникационных, сетевых подсистем и систем хранения данных. Этот новый стандарт привел к формированию торговой ассоциации InfiniBand Trade Association (IBTA, http://www.infinibandta.org). В настоящее время в оргкомитет IBTA входят такие гранды ИТ-отрасли, как Dell, Hewlett-Packard, Intel, IBM, Microsoft, Sun Microsystems, Adaptec, 3COM, Brocade, EMC, Fujitsu-Siemens, Hitachi, Lucent, NEC, Nortel и QLogic, а всего в этой ассоциации насчитывается более 200 членов. Ожидается, что при такой поддержке со стороны лидеров отрасли архитектура InfiniBand получит широкое признание и вокруг нее сформируется сильный рынок.

InfiniBand — стандарт архитектуры ввода-вывода нового поколения, который использует сетевой подход к соединению серверов, систем хранения и сетевых устройств информационного центра. Используя технику, называемую коммутируемой сетевой структурой, или коммутирующей решеткой (switched fabric), InfiniBand переносит трафик операций ввода-вывода с процессоров сервера на периферийные устройства и иные процессоры или серверы по всему предприятию. В качестве физического канала используется специальный кабель (линк), обеспечивающий скорость передачи данных 2,5 Гбит/с в обоих направлениях (InfiniBand 1х). Существуют и более производительные, 4-кратные и 12-кратные версии InfiniBand, в которых используется соответственно 16 и 48 проводов, а скорости передачи данных составляют 10 Гбит/с (InfiniBand 4х) и 30 Гбит/с (InfiniBand 12х).

Новая технология предусматривает более быстрое и надежное соединение сетевых устройств и устройств хранения с серверами и серверов между собой, обеспечивая несколько уровней избыточности. Помимо увеличения пропускной способности у архитектуры InfiniBand есть еще два преимущества. Дело в том, что удаление подсистем ввода-вывода из системного блока позволяет разрабатывать системы в стоечном исполнении с форм-фактором намного более высокой плотности. Кроме того, такая конструкция позволяет увеличивать полосу пропускания по мере роста числа портов ввода-вывода, в результате исчезают многие ограничения традиционной технологии серверных систем ввода-вывода.

Основные компоненты архитектуры InfiniBand — адаптер каналов главной машины (Host Channel Adapter, HCA), адаптер каналов целевой машины (Target Channel Adapter, TCA), коммутаторы и маршрутизаторы. HCA устанавливается внутри сервера или рабочей станции, выполняющей функции главной машины (хоста). Он служит интерфейсом между контроллером памяти и внешним миром и используется для подключения хост-машин к сетевой инфраструктуре, построенной на основе технологии InfiniBand.

TCA служит для подключения к сети InfiniBand различных устройств, таких, как накопители, дисковые массивы или сетевые контроллеры. Он, в свою очередь, выступает в качестве интерфейса между коммутатором InfiniBand и контроллерами ввода-вывода периферийных устройств. Коммутаторы InfiniBand образуют ядро сетевой инфраструктуры. С помощью множества каналов они соединяются между собой и с TCA. Если коммутаторы функционируют в пределах одной подсети, образованной непосредственно подсоединенными устройствами, то маршрутизаторы InfiniBand объединяют эти подсети, устанавливая связь между несколькими коммутаторами.

Основная часть развитых логических возможностей системы InfiniBand встроена в адаптеры, которые подключают узлы к системе ввода-вывода. Адаптер разгружает хост от выполнения задач транспортировки, используя канальный адаптер InfiniBand, отвечающий за организацию сообщений ввода-вывода в пакеты для доставки данных по сети. В результате ОС и процессор сервера освобождаются от этой задачи.

Благодаря этой топологии исчезает проблема арбитража и конфликтов, «горячая» замена устройств становится действительно автоматической, существенно облегчается конфигурирование контроллеров (причем общая производительность не может ухудшиться в результате неправильного конфигурирования одного из них). Кроме того, расстояние между периферийным контроллером и контроллером памяти можно увеличивать. При использовании InfiniBand связь с удаленными модулями хранения, сетевые операции и соединения между серверами осуществляются за счет подключения всех устройств через центральную, унифицированную структуру коммутаторов и каналов. Архитектура InfiniBand позволяет размещать устройства ввода-вывода на расстоянии до 17 м от сервера при использовании медного провода, до 300 м — в случае многомодового волоконно-оптического кабеля и до 10 км — в случае одномодового волокна.

InfiniBand и другие

Архитектура InfiniBand решает проблему полосы пропускания системы ввода-вывода, присущую стандарту PCI. Однако новая технология не предназначена для замещения PCI в качестве соединительной шины для компонентов уровня системной платы. Наоборот, InfiniBand будет сосуществовать с PCI, расширяя возможности ввода-вывода и производительность сервера, — сначала путем установки адаптеров HCA в существующие гнезда PCI, а далее постепенно переходя к собственно реализациям на основе InfiniBand. Ожидается, что в 2003—2004 годах изготовители серверов начнут поставлять системы, поддерживающие InfiniBand, с адаптерами InfiniBand HCA, реализованными в микросхемах на системной плате. В этом варианте InfiniBand обеспечит альтернативное средство соединения систем хранения с серверами, характеризующееся высокими масштабируемостью и готовностью. Такое решение, к примеру, хорошо подходит для установления высокоскоростных соединений между серверами и маршрутизаторами SAN или WAN (глобальная сеть). Технология InfiniBand также очень хороша для объединения компьютеров в кластеры, которые могут разделять между собой нагрузки и продолжать работу даже при отказе отдельных машин.

Стоит отметить еще одно ключевое конструктивное ограничение PCI — невозможность физического удаления шины ввода-вывода от контроллера памяти. Соответственно, эта шина всегда остается в границах шасси сервера. Между тем архитектура InfiniBand позволяет изготовителям серверов развязать комплекс обработки и устройства ввода-вывода, что позволяет, в числе прочего, создавать серверы высокой плотности, в которых адаптеры ввода-вывода удалены с шасси. Крупные компании — производители серверов рассматривают архитектуру InfiniBand как способ сделать сегодняшние модульные (blade) серверы еще тоньше за счет разделения компонентов компьютера по различным секциям в корпусе стоечного типа.

Сегодняшние инфраструктуры ввода-вывода используют несколько ключевых протоколов. Так, протокол IP (Internet Protocol) — общая связующая нить всего Интернета. Этот протокол отвечает за перемещение данных с одного компьютера на другой. Вообще говоря, IP — это стандарт, определяющий способ, которым взаимодействуют сетевые слои двух хостов. Они могут находиться в одной сети или в физически разнесенных разнородных сетях. При пересылке или получении данных, например, электронной почты или Web-страниц, сообщение разбивается на множество небольших фрагментов, называемых пакетами, и IP-протокол просто доставляет эти пакеты, а восстановление правильного их порядка — задача уже другого протокола, протокола управления передачей TCP (Transmission Control Protocol). Протокол TCP/IP играет очень важную роль в сегодняшней инфраструктуре ИТ-коммуникаций в локальных и глобальных сетях.

ПО, позволяющее работать с IP поверх InfiniBand, предусматривает установку стандартных TCP/IP-соединений в структуре InfiniBand, что помогает сохранить капиталы, вложенные в уже существующие центры данных. Это также означает, что существующие приложения, использующие TCP/IP, могут работать поверх InfiniBand без каких-либо модификаций. Поскольку InfiniBand использует IP как протокол сетевого уровня для WAN-соединений, соединения через существующие IP-инфраструктуры оказываются прозрачными.

Потенциальное преимущество архитектуры InfiniBand — меньшее участие процессора сервера в обработке трафика TCP/IP. Современные процессоры участвуют во всех транзакциях TCP/IP, тратя на это значительное число тактов своей работы. Архитектура InfiniBand разрабатывалась так, чтобы маршрутизаторы и другие коммутирующие устройства могли самостоятельно обрабатывать TCP/IP-трафик. В пределах системы InfiniBand соответствующий протокол позволяет сочетать низкую латентность с невысокими требованиями к ресурсам процессора. Эти свойства делают InfiniBand серьезной альтернативой Gigabit Ethernet в кластерных и межпроцессорных коммуникационных приложениях.

Как уже упоминалось, сегодня для доступа к разнообразным платформам хранения данных используется отдельный интерфейс на каждый сервер. Такая структура характеризуется высокой ценой, недостаточной масштабируемостью и сбалансированностью, создает сложности, связанные с аппаратным и программным обеспечением, а также требует привлечения опытных кадров для развертывания и поддержки этой среды.

По мнению экспертов из компании Aberdeen Group (http://www.aberdeen.com), топология структуры («фабрика»), на которой строится InfiniBand, стала предпочтительной архитектурой для сетевых систем хранения. В структуре «фабрики» используется конфигурация на основе коммутаторов, объединяющая различные топологии в единую сеть, которая теоретически может состоять из миллионов устройств. Это позволяет создать высокопроизводительную систему, число каналов ввода-вывода в которой фактически не ограничено, и всем этим каналам доступна полная пропускная способность, обеспечиваемая данным типом связи.

Эксперты ожидают, что в мире сетевых систем хранения появится множество новых протоколов. При этом будет очень важно найти такую технологию маршрутизации, которая обеспечит обмен данными между несопоставимыми протоколами ввода-вывода. В простейшем случае это могут быть продукты на основе InfiniBand, действующие как мосты между параллельным SCSI-интерфейсом, Fibre Channel, а позже и другими устройствами на основе InfiniBand. В идеологии InfiniBand заложена совместимость с современной структурой классов устройств ввода-вывода, предусмотрены и возможности в будущем удовлетворить требования расширенных протоколов распределенных сетевых систем хранения.

Большинство сегодняшних систем для взаимодействия серверов с системами хранения в инфраструктуре устройств ввода-вывода используют параллельный протокол SCSI. Подключение этих устройств к сетевой архитектуре InfiniBand требует коммутатора или маршрутизатора для преобразования трафика SCSI или Fibre Channel в сетевой протокол. Данный подход дает пользователям возможность защитить вложения в имеющееся оборудование — предприятия могут начать переход к архитектуре InfiniBand с минимальными сложностями, одновременно готовя свои информационные центры к новым, сетевым системам хранения данных.

Параметры различных интерфейсов

Масштабирование и консолидация

InfiniBand предусматривает масштабирование серверов в недоступном ранее диапазоне, и на горизонте уже появились новые серверные архитектуры такого класса, в частности, кластеры и модульные серверы. Обе архитектуры выиграют от использования технологии InfiniBand даже на уровне самого сервера. Для высокопроизводительных кластерных систем, ориентированных на оптимизацию мощности, InfiniBand обеспечит значительное расширение полосы пропускания и уменьшение латентности в прохождении сообщений, в результате чего стоимость таких кластеров будет ниже, а пропускная способность — значительно выше. Кластеры высокой готовности, ориентированные в первую очередь на безопасность данных, предусматривают перемещение с сервера на сервер очень больших объемов информации о состоянии резервируемых приложений. И здесь широкая полоса пропускания и низкая латентность архитектуры InfiniBand в значительной степени понизят требования к запасу производительности кластера. Это позволит все большему числу предприятий переводить приложения на круглосуточный режим высокой готовности.

Современные микропроцессоры и плотный дизайн компонентов позволяют разместить модульный сервер в конструктиве размером с обычную книгу, но корпус, в который устанавливаются модульные серверы, может вместить лишь пару накопителей, поэтому коммуникации и кабели ввода-вывода создают большие проблемы при конфигурировании десятков модулей в объединительном стоечном корпусе. Более того, если эти модульные серверы должны взаимодействовать друг с другом в рамках кластерной архитектуры, полоса пропускания для коммуникаций между серверами и время латентности становятся основными ограничивающими факторами.

Использование в пределах шасси сервера коммутатора InfiniBand решает проблему полосы и латентности, устраняя при этом и путаницу кабелей. Каждый процессорный модуль имеет один или несколько разъемов HCA, соединяемых с коммутатором (избыточным) InfiniBand, расположенным в пределах шасси. Каждый модуль здесь требует только одного кабеля питания. Создание серверных шасси очень высокой плотности становится возможным и рентабельным. Обратите внимание, что с помощью структуры InfiniBand очень легко конфигурировать модульные серверы специально для конкретной задачи — вычислений, ввода-вывода или обработки протоколов коммуникаций.

InfiniBand в информационном центре

Итак, по мере появления новых стандартов межсоединений ввода-вывода системы на основе InfiniBand и PCI какое-то время будут соседствовать. Внедрение архитектуры InfiniBand может проходить поэтапно; при этом нарушения, вносимые процессом модернизации в среду, минимизированы. Исследования, проводимые на предприятиях, начавших внедрение InfiniBand, показывают, что снижение совокупной стоимости владения для кластеров базы данных составило порядка 50%, а снижение затрат на управление достигает 70%. Кроме того, уменьшается число общих точек сбоя, сокращается число отказов оборудования, упрощается конфигурирование полностью резервированных систем, обслуживание и поддержка, а также замена компонентов. Управляемость улучшается из-за уменьшения числа необходимых патентованных технологий.

По данным Aberdeen Group, первые 100 тыс. долл., которые будут потрачены на технологию InfiniBand, могут окупиться менее чем за шесть месяцев благодаря повышению эффективности использования сервера и сети. Для большинства крупных информационных центров прямые затраты на оборудование InfiniBand в течение первых двух лет пятилетнего плана не превысят 500 тыс. долл., а стоимость самого оборудования будет амортизирована в последующие годы. Таким образом, миграция в сторону InfiniBand становится все более привлекательной. Однако эта миграция не произойдет мгновенно — она требует тщательного планирования и формирования эволюционного подхода.

Архитектура InfiniBand имеет все шансы стать предпочтительной транспортной платформой для сетей серверов с межпроцессорными коммуникациями и кластерами, поскольку эта инициатива получила широкую поддержку в компьютерной индустрии в качестве открытого стандарта транспорта сообщений системы ввода-вывода. В условиях роста требований к емкости систем хранения данных важное значение имеет тот факт, что архитектура InfiniBand позволяет экономично осуществлять поэтапное наращивание емкости и производительности.