Недавно довелось беседовать сразу с несколькими руководителями крупных российских машиностроительных заводов, серьезно занятых проблемами автоматизации. На вопрос, есть ли у них центры обработки данных, ответом было печальное молчание. Вот крупный холдинг добывающей промышленности, распределенная структура предприятия, центральный офис в Москве, несколько филиалов по всей Сибири, внедрена ERP-система. Задаю тот же вопрос. Ответ: "Да, у нас есть главный сервер в Москве. Один. Скоро будем закупать второй". Конечно, не везде ситуация такова.

Мировые тенденции красноречивы: удвоение объема ЦОД в 2004 году, рост этого сектора рынка на 12% в ближайшие годы. По оценкам IDC, каждый год объем корпоративных данных увеличивается примерно на 70%, что требует новых подходов и новых средств работы с ними. Корпоративные ЦОД создаются и в России. Все чаще можно услышать: "мы хотим, чтобы у нас все было по мировым стандартам". Поэтому было интересно побывать в центре обработки данных одного из крупнейших английских банков - HSBC. К сожалению, мы не имели возможности выяснить все подробности этого ИТ-проекта, но и детали показались достаточно информативными.

Дом, который построил банк

ЦОД расположен в Лондоне, в 44-этажном небоскребе, принадлежащем банку. Здание построено недавно, в нем работает 9,5 тысячи человек. В проектировании самое непосредственное участие принимали ИТ-руководители, причем их мнение во многом было решающим. Типичной такую ситуацию не считают и сами англичане. Они с гордостью рассказывают, что при определении высоты потолков учитывались, кроме мнения архитекторов, еще и требования ИТ-службы к уровню фальшполов и пространству для прокладки кабелей. Что неудивительно: этого просто требует масштаб. Общее число линий в офисе - 187 тысяч. "Это здание практически строилось вокруг кабельной системы" - говорят ИТ-менеджеры банка. Для всей сетевой "начинки" здания использованы кабели и сетевое оборудование ITT NS&S. Имеется собственный электрогенератор, две шины размещены в противоположных углах здания и обеспечивают независимое питание двух дублирующих электросетей.

Внутреннее пространство офисов организовано так, чтобы можно было быстро и просто перемещать сотрудников и менять конфигурацию помещений. Каждое рабочее место имеет подводку от двух независимых систем электропитания, и можно легко переключиться от одной к другой. Два блока с сетевой и электрической розетками есть у каждого стола для обеспечения избыточной доступности рабочих мест. Весь пол представляет собой ячейки, которые в любой момент можно открыть, достать из них такие же блоки для нового рабочего места, ненужные убрать.

При этом помещение "упаковано" сотрудниками достаточно плотно - на одного человека приходится всего полтора квадратных метра офисной площади. Сотрудники ИТ-отдела (всего их 280 человек) сидят локоть к локтю. Зато у некоторых есть два или даже три ЖК-монитора.

Где живут данные

Сам ЦОД занимает отдельный этаж, на котором нет рабочих мест, только оборудование. Лифты здесь не останавливаются, пройти можно только по лестнице. Доступ строго ограничен электронной пропускной системой. Установки кондиционирования и пожаротушения находятся вне самого центра, чтобы обслуживающие их сотрудники не имели доступа к серверам. Телефония и спутниковая связь также размещены изолированно. Отдельный тамбур оборудован для доставки техники, и персонал, занимающийся доставкой, тоже не имеет доступа в помещения центра.

Допуск в ЦОД имеют лишь 20 сотрудников, каждый раз указывающих при получении пропуска, для проведения каких работ они туда направляются. Сквозной проход в помещение невозможен, вход выполнен в виде системы последовательно открывающихся дверей, перед которыми лежат липкие коврики, оставляющие на себе пыль. В каждом блоке поддерживается своя температура воздуха, чистота практически идеальная. Стены в помещении центра глухие. Одна, с той стороны, откуда наиболее вероятен, по мнению проектировщиков, бомбовый удар, имеет особое усиление. Они прекрасно понимают, что защищать только одну стену особого смысла нет, но все же…

Помещение центра разделено на четыре зоны. В двух из них размещено оборудование, для обслуживания которого привлекаются специалисты сторонних фирм. Только в эти отсеки они и могут войти. В две другие зоны разрешен вход лишь сотрудникам банка. Каждая из четырех зон - помещение площадью примерно 50 на 15 метров, полностью заставленное рядами серверных шкафов и накопителями систем хранения (предусмотрены возможности увеличения мощностей центра еще на 25-30%). Присмотревшись, можно заметить знакомые логотипы вендоров, в общей сложности более дюжины, практически всех ведущих поставщиков техники.

Пары зон расположены симметрично, и работающие в них системы друг друга дублируют. Питание каждой пары идет от независимых источников. Конечно, это только "первая линия" резервирования. Этот центр далеко не единственный у HSBC, и совсем не самый крупный. Ближайший, побольше, расположен в нескольких километрах, в черте Лондона, другой, много крупнее, - в сотнях километров, на севере Англии. Остальные разбросаны по всему миру, от Брюсселя до Шанхая, и связаны оптоволоконными сетями. Между ними установлены процедуры реплицирования.

Как управляют кабельной системой

При таком числе сотрудников и линий управление кабельной системой требует высокой дисциплины. Поэтому ИТ-отдел состоит из подразделений, имеющих узкую специализацию в целях снижения числа ошибок и возможно более точной их локализации. Каждый месяц приходится перемещать или создавать заново около 500 рабочих мест. С этой работой справляются пять инженеров по кабельным системам. При этом все виды работ строго распределены. Тот, кто тянет кабель и обжимает на нем разъем, в порт его не вставляет. Тот, кто подключает линию, не имеет права трогать коммутатор.

Кабельная система банка создавалась внешним подрядчиком, системным интегратором. Одновременно с монтажом была создана и база данных, описывающая все элементы СКС. Конечно, обслуживание такого большого кабельного хозяйства силами пяти инженеров было бы невозможно без средств управления. HSBC использует систему анализа соединений LANSense, продукт компании ITT, основанный на технологии iTRACS. LANSense позволяет проводить инвентаризацию ресурсов, мониторинг соединений в реальном времени, генерацию нарядов на работы и отслеживание выполнения, собирать статистику с фильтрацией по датам, портам и т. п., регистрировать и уведомлять о несанкционированных действиях в СКС, в том числе о попытках подключения устройств, вирусной активности и других подобных событиях. В состав системы входят три основных элемента: панели с датчиками и специализированными коммутационными шнурами, анализаторы и управляющее программное обеспечение. При этом использование LANSense возможно не только с рабочего ПК оператора, но и при помощи КПК в любой точке офиса, что позволяет инженерам и быстро получать все необходимые данные, и сразу на месте вносить изменения.

По словам представителей HSBC, эффект от использования LANSense есть, и весомый. Известно, что при таком числе портов применение интеллектуальной системы управления инфраструктурой удорожает проект приблизительно на 20%. До внедрения расчеты менеджеров HSBC показывали, что LANSense окупится за пять лет. По словам ИТ-менеджеров банка, теперь уже ясно, что это произойдет за три с половиной года или даже быстрее. Отметим еще, что ITRACS изначально разрабатывалась для применения без привязки к продукции конкретного производителя элементной базы СКС, все ее аппаратные компоненты реализованы в форме внешних по отношению к контролируемым объектам устройств.

Человеческий фактор

Как бы угрожающе технологично ни выглядел банковский небоскреб, работают в нем живые люди, которые делают ошибки и с которыми происходят иногда пренеприятнейшие события. Увы, как бы тщательно ни планировали помещения, все же над комнатой аналоговой АТС этажом выше оказался туалет. Он засорился, АТС залило. Теперь точно под тем местом, где случилась протечка, под потолком установлен мощный, но аккуратный поддон и труба для сброса "паводковых вод". Значительно серьезней были проблемы, когда из-за строительных ошибок на крыше полностью залило пять верхних этажей (такое и в Англии случается). Всю кабельную систему на этих этажах пришлось менять.

Но такие форс-мажоры приключаются нечасто. Значительно более распространены ситуации класса "инженер случайно нажал не ту кнопку". Иногда подобные действия приводят к достаточно дорогостоящим последствиям. В HSDC простои за счет таких случаев практически равны времени, которое нужно, чтобы спуститься на один этаж вниз и поправить ошибку.