Лучшие проекты по созданию центров обработки данных

Традиционно, как и в прошлогоднем спецвыпуске "Серверы и системы хранения данных", мы представляем лучшие российские проекты в области создания центров обработки данных.

Мировая статистика четко показывает, что задачи, решаемые ЦОД, все усложняются, а мощности центров все возрастают. Так, постоянно раздувающиеся объемы данных требуют все более сложных решений по их хранению. Сегодняшние терабайтные проекты по системам хранения данных требуют тысяч устройств хранения, а в некоторых случаях и десятков тысяч. Вот данные о требованиях к крупным БД, которые Winter собирала начиная с 1997 года (см. рис.). Размер средней крупной БД независимо от назначения - DSS или OLTP - с 1997 года вырос в 3,5 раза. Рост этого показателя свидетельствует, что потребность в вычислительных ресурсах становится все больше. Работа с данными такого объема требует объединения под одной крышей широкого диапазона продуктов, платформ, возможностей и уровней производительности. Именно поэтому мы уделяем такое внимание проектам по построению ЦОД.

Площадка для мега-издания

В 2002 году в рамках работ по созданию единой системы электронных библиотек для нужд высших учебных заведений России, проводимых Министерством образования РФ, был начал проект по формированию ядра системы - Центральной библиотеки образовательных ресурсов (ЦБОР). Основными задачами этого федерального проекта являются: объединение и накопление электронных версий учебных пособий, автоматизация процесса создания каталогов, систематизация печатных и электронных образовательных и методических ресурсов, обеспечение доступа к электронным библиотечным ресурсам для пользователей (студентов и преподавателей высших учебных заведений) через ресурс www.edulib.ru.

Разработка программного комплекса ЦБОР

Предтечей ЦБОР стал проект Public.ru - один из крупнейших электронных архивов российского Интернета. В фондах этого проекта хранятся публикации около 1000 центральных и региональных периодических изданий. Кроме того, он предоставляет своим пользователям возможности поиска как по каталогу, так и по содержанию (наиболее частая и сложная задача в подобных системах).

Когда Министерство образования РФ приняло решение о создании электронной библиотеки образовательных ресурсов, именно программное обеспечение проекта Public.ru, реализованное на базе электронной архивной системы Convera RetrievalWare, легло в основу прототипа ядра нового проекта. На протяжении нескольких лет разработчики проекта Public.ru по заказу Министерства образования занимались развитием программного комплекса системы, отработкой технологий библиографической обработки, накоплением и оцифровкой фондов.

В 2002 году основной объем работ начального этапа проекта был выполнен, и встал вопрос ввода электронной библиотеки в эксплуатацию, т.е. подбора технологической площадки для размещения программного комплекса и электронных библиотечных фондов, организации доступа пользователей по сети Интернет, обеспечения соответствующего уровня технической поддержки и обслуживания читателей. По вопросу организации хостинга Министерство образования РФ обратилось к компании "Вектор-Инфо" - технологическому партнеру и сетевому провайдеру проекта Public.ru.

Выбор платформы

"В России аналогов такой библиотеки нет, да за рубежом подобных систем не так уж много, - говорит генеральный директор "Вектор-Инфо" Георгий Смирнов. - Поэтому быть первооткрывателем, с одной стороны, почетно и интересно, а с другой - очень не просто. Можно сказать, что в основном пришлось опираться на наш собственный опыт работы над проектом Piblic.ru, при создании которого мы, в свою очередь, учитывали тот факт, что поисковый движок Convera RetrievalWare используется в крупнейших электронных архивах, в том числе в Национальной Библиотеке Конгресса США".

Решая задачу, как с наименьшими затратами и с наилучшим качеством создать инфраструктуру комплекса электронной библиотеки, компания "Вектор-Инфо" провела длительные и тщательные испытания. В частности, были созданы два стенда: один на основе оборудования Sun и базы данных Oracle, второй - на основе Intel-серверов и базы данных Microsoft SQL. "Надо сказать, что в своей деятельности "Вектор-Инфо" использует операционную среду Windows и Intel-серверы, - отмечает г-н Смирнов. - Тем не менее, мы пошли на сравнение двух разных платформ, и для тестирования связки Sun/Oracle пригласили специалистов "ТехноСерв А/С", имеющих компетенцию в этой области". Задача заключалась в том, чтобы оценить производительность платформ, исследовать как возможности поиска по базе данных, так и полнотекстового поиска с использованием поисковой машины Convera RetrievalWare. Результат тестирования, по словам г-на Смирнова, показал, что средняя производительность системы на платформе Intel-Microsoft в 2-3 раза выше, чем производительность на Sun-Oracle, при том, что стоимость почти в два раза ниже. "Это связано со спецификой структуры данных, используемых в системе поиска, - комментирует начальник отдела эксплуатации "Вектор-Инфо" Александр Перехватов. - Наличие множества "коротких" транзакций в независимых сессиях очень хорошо соответствует возможностям MS SQL. В то же время, для сервера Oracle это оказалось неудачным режимом работы, поскольку вызвало слишком большие накладные расходы, что не могло не сказаться на его производительности". Кроме того, эффективность работы поисковой машины Convera RetrievalWare зависит не столько от разрядности процессора, сколько от тактовой частоты. На момент тестирования скорость Intel-процессора составляла около 2,8 ГГц, сейчас уже - 3,2 ГГц, Sun же смог предоставить максимально 1 ГГц. "Конечно, в отношении надежности и стабильности работы системы наши выводы не были столь однозначными, но в данном случае эти показатели были не главными", - продолжает Георгий Смирнов. - "Основной задачей проекта является охват максимального количества пользователей и предоставление им услуг за разумные деньги. Поэтому пропускная способность и экономичность системы стали для нас решающими при выборе платформы Intel".

Определившись с платформой, "Вектор-Инфо" приступила к выбору исполнителя, способного взять на себя реализацию всего комплекса работ, связанных с разворачиванием информационно-вычислительной и коммуникационной инфраструктуры проекта. Им стала компания "ТехноСерв А/С", которая не только предложила грамотные технические решения, развила первоначальные идеи по внедрению, но и обеспечила наиболее оптимальные финансовые условия. "По объему хранимых и обрабатываемых данных проект ЦБОР можно отнести к классу Mid-Range, но требования по производительности, масштабируемости и информационной безопасности, выдвинутые заказчиком, были достаточно жесткие", - рассказывает менеджер "ТехноСерв А/С" Михаил Афонин. Например, как и для любого другого Интернет-проекта, для электронной библиотеки очень критична постоянная готовность и доступность информационных ресурсов для пользователей.

Серверной платформой проекта были выбраны Intel-серверы НР серии Proliant c ОС Windows. Отказоустойчивость поисковых серверов и серверов базы данных Microsoft SQL Server была обеспечена за счет объединения в кластер с помощью Microsoft Cluster Server нескольких серверов HP Proliant DL740. Для реализации отказоустойчивой конфигурации web-серверов использованы блейд-серверы HP Proliant BL20p, объединенные в "ферму" под управлением Cisco Content Switching Module. Ядром системы хранения информационных ресурсов проекта стал дисковый массив ЕМС CLARiiON CX600, емкость которого в стартовой конфигурации составила 2 ТБ, но по мере развития проекта может гибко наращиваться до 35 ТБ.

"Масштабируемость рассматривалась нами в качестве ключевой характеристики решения, - продолжает Михаил Афонин. - "Хотя начальный фонд библиотеки не очень велик (в этом году его объем не превысит 500 GB), однако динамика его роста весьма значительна - в расчете на планируемый ежегодный прирост в среднем на 20 тыс. наименований уже к 2006 году объем хранимых данных проекта достигнет 4 TB. А число Интернет-читателей библиотеки по прогнозам составит 3 миллиона". Конфигурация оборудования, поставленного на первом этапе проекта, рассчитана на удовлетворение нужд заказчика в течение ближайших двух лет. Архитектура системы позволяет при необходимости наращивать ее мощность простым добавлением дисков в системы хранения или включением дополнительных серверов в состав "ферм" и кластеров.

От поставок к эксплуатации

Для Министерства образования было важным, чтобы основной объем работ по созданию технологической площадки был сделан до конца 2003 года. "Практически срок создания системы был сопоставим со сроком поставки", -- вспоминает Александр Перехватов. - Оборудование включалось в состав решения фактически "с колес" (монтировалось, тестировалось, настраивалось)". Работ по настройке было достаточно много -нужно было настроить ОС, кластерное ПО, базу данных MS SQL, систему резервного копирования и восстановления. А главное, требовалось решить задачу развертывания Convera RetrievalWare на 3-х узловой кластерной конфигурации. Это был первый проект такого рода в России.

Обучения в классическом понимании этого слова не проводилось. Параллельно с работами по инсталляции шла практическая стажировка эксплуатационного персонала непосредственно на поставляемых экземплярах оборудования и программного обеспечения. "На самом деле это получилось даже эффективнее, чем прослушивание лекций, - говорит Георгий Смирнов. Наши сотрудники имели возможность сразу же задавать любые вопросы, возникающие по ходу освоения новой техники и технологий, и получать на них конкретные ответы. Такой тренинг - хорошо сбалансированное сочетание теории и практики".

К декабрю 2003 года технологическая площадка была собрана и готова к опытной эксплуатации. К инфраструктуре ЦБОР для проведения проверки функциональности системы и удобства работы с ней были подключены ограниченные группы пользователей из 18 российских вузов. Кроме того, были проведены дополнительные нагрузочные тестовые испытания, показавшие полную готовность системы к промышленной эксплуатации. В апреле 2004 года первая версия проекта, содержащая несколько тысяч наименований наиболее востребованных электронных изданий, стала доступна пользователям Интернет.

Результат

Фонды электронной библиотеки организованы как единая электронная книга, хранящая полнотекстовые версии учебных и учебно-справочных материалов в форматах html и gif. Кроме того, библиотека включает унифицированную систему библиографических описаний, единое оглавление, интегрированный справочный механизм, обеспечивающий тематические рубрики словарно-энциклопедической информацией. Единицами хранения в фондах ЦБОР являются не книги, а "главы нижнего уровня", т.е. ее разделы, главы, параграфы и другие подразделы. Сегодня в фондах библиотеки находится свыше 470 тысяч единиц хранения - это 7350 полнотекстовых версий книг. К ЦБОР подключено более 100 вузов, распределено более 300 тысяч ключей доступа. Это означает, что более 300 тысяч пользователей - студентов, преподавателей, научных сотрудников вузов, в настоящее время имеют свободный интерактивный сетевой доступ к электронным фондам ЦБОР.

Обслуживание всего сложного инфраструктурного "организма", поддерживающего деятельность электронной библиотеки, обеспечивают специалисты из штата "Вектор-Инфо": круглосуточно работающий дежурный администратор, администратор по безопасности, как минимум два сменных системных администратора и мастер сопровождения - специалист по поисковой машине Convera RetrievalWare и всему программному комплексу. Интересно, что часть эксплуатационного персонала не состоит в штате "Вектор-Инфо". Министерство образования РФ является собственником информационных и программных ресурсов библиотечного комплекса и поэтому именно его сотрудники занимаются их сопровождением - администрированием баз данных и управлением пользователями.

Интересна и сама система управления пользователями. Во-первых, несмотря на то, что ЦБОР является жесткой централизованной структурой, система управления пользователями организована по децентрализованной схеме, т.е. каждый вуз отвечает за определенный пул пользователей. "Сейчас ежедневно к системе подключаются примерно 450 новых пользователей, и до конца текущего года планируется охватить еще не менее 350 вузов, - объясняет директор ЦБОР Елена Бунь. - Обеспечить выполнение этих планов без децентрализованной системы подключения и мониторинга пользователей было бы невозможно". Во-вторых, ЦБОР достаточно жестко требует регистрации пользователей. "Нам нужна статистика использования библиотечных ресурсов, - продолжает г-жа Бунь. - Прежде всего, она нужна Министерству образования, поскольку позволяет формировать приоритеты по приобретению литературы для вузовских библиотек и используется для определения очередности оцифровки источников".

Планы развития

Технические и технологические решения, положенные в основу проекта, позволяют ему развиваться в различных направлениях. Одним из возможных направлений, к примеру, является полнофункциональное использование возможностей модуля ведения статистических данных. В настоящее время он позволяет получать статистику как на уровне конкретного пользователя, который может в любой момент времени посмотреть количество своих посещений библиотеки и число прочитанных книг, так и на уровне конкретных институтов и всей библиотеки. Обработка и анализ этих данных могла бы дать довольно точную картину, характеризующую интенсивность и тематико-типологическую структуру спроса, состав и активность различных категорий пользователей, динамику формирования фонда и т. д. Безусловно, это потребует дополнительных ресурсов. Так, по подсчетам специалистов компании "Вектор-Инфо", только для накопления и хранения статистической информации за три года по всем пользователям необходим дисковый массив, объем которого будет сопоставим с объемом самого библиотечного фонда.

"Мы, безусловно, готовы к тому, чтобы проект ЦБОР мог не только жить, но и развиваться в любую сторону с учетом тех конкретных требований, которые нам предъявит заказчик, - говорит Георгий Смирнов. - Этот вопрос касается всех аспектов проекта, начиная от мощности вычисления, количества пользователей, объема хранения и т.д. Единственно на что мы не можем повлиять, но что может стать "бутылочным горлышком" этого проекта в техническом плане -- это каналы связи". Подключение пользователей в Москве, Петербурге, Новосибирске и других крупных университетских городах идет достаточно активно. А вот для удаленных регионов, как правило, не имеющих развитой телекоммуникационной инфраструктуры, это "больной" вопрос. "Складывается парадоксальная ситуация, - отмечает г-жа Бунь. - Чем дальше от центра живет студент, тем нужнее для него ресурсы электронной библиотеки, но тем сложнее получить к ним доступ".

Однако участники проекта не теряют оптимизма. По прогнозу развития сети Интернет, к 2007 году российская Интернет-аудитория удвоится, причем 80% прироста придется на регионы.

Распределенная сеть хранения банка

Повышение динамики бизнеса одного из крупнейших банков России и усложнение решаемых им задач потребовали серьезных изменений в его ИТ-инфрастуктуре. Таким образом, для банка стали актуальны следующие задачи: модернизация процессингового центра, создание высокоскоростной сети доступа к данным, объединяющей три территориально распределенные площадки вычислительной системы банка, а также построение распределенного хранилища данных, которое обеспечивало бы консолидацию ресурсов хранения и максимальную защиту данных в случае отказов.

Модернизация ИТ-инфраструктуры

До старта проекта ИТ-инфраструктура банка включала в себя около 10 серверов приложений под управлением операционных систем HP-UX, Novell Netware и Microsoft Windows NT/2000, резервные и архивные серверы под управлением Novell Netware, дисковый массив HP SureStore XP512, подключенный к серверам с использованием оптического коммутатора HP FC Switch 16B, а также ленточные библиотеки HP SureStore Tape Lib 2/40 и ADIC, подключенные по интерфейсу Fibre Channel к оптическому коммутатору.

Процессинговый центр был одним из основных функциональных элементов существующей ИТ-инфраструктуры банка. К моменту внедрения проекта в основе его вычислительной платформы использовались два сервера NCR4300 фронт-офиса и сервер HP9000 L1000 бэк-офиса.

Выбор аппаратной платформы НР для модернизации ИТ-инфраструктуры банка был предопределен его давним сотрудничеством с этой компанией. Вопрос заключался лишь в том, кому поручить выполнение проекта. С этой целью был проведен закрытый тендер, по результатам которого исполнителем проекта была выбрана компания "Ай-Теко".

В соответствии с требованиями банка для модернизации процессингового центра специалисты "Ай-Теко" предложили систему из двухузлового кластера на основе многопроцессорных серверов HP rp7410 и дискового массива HP StorageWorks XP1024. Централизованный интерфейс управления дисковыми массивами обеспечивался с помощью ПО CommandView XP. В состав подсистемы резервного копирования была включена ленточная библиотека HP StorageWorks MSL 5026, подключенная к серверам через сеть хранения SAN в режиме разделения ресурсов. Централизованное управление резервным копированием осуществлялось с помощью программной платформы НР OpenView Data Protector (Omniback II), позволяющей реализовать динамическое резервное копирование основных СУБД, функционирующих под управлением UNIX. Инфраструктура сети хранения SAN была построена на основе технологии 2Гб Fibre Channel с использованием оптических коммутаторов HP SAN Switch 16B и SAN Switch 32B с резервированными для надежности блоками питания. При этом для повышения надежности системы было предложено использовать на каждой из трех площадок по два независимых оптических коммутатора. В целях обеспечения максимальной доступности данных оптические коммутаторы всех трех площадок были объединены в две независимые конфигурации. В результате были созданы два "плеча" территориально распределенной SAN, что обеспечило требуемую надежность и производительность корпоративной сети передачи данных.

Новые решения

Главной особенностью рассматриваемого проекта стала архитектура территориально распределенной SAN, включающая два независимых "плеча" единой корпоративной сети хранения данных. Решение такого уровня сложности с использованием оборудования от НР предлагалось впервые и было сертифицировано компанией НР уже в ходе внедрения. Известно, что риск присутствует в любом техническом решении, и в данном случае он был достаточно высок. По словам специалистов "Ай-Теко", успех зависел от правильно созданной рабочей схемы и от учета всех факторов, влияющих на эффективность работы системы, включая расстояние между площадками. "Вообще говоря, концепция территориально распределенной SAN не нова, - говорит менеджер по системам хранения компании "Ай-Теко" Александр Щербинин. - Многие ведущие производители ИТ предлагают свои решения по ее реализации. Проблема в том, чтобы максимально корректно оценить факторы, влияющие на работу системы в реальных условиях. Поэтому задача технического проектирования является одной из ключевых, требующих детальной проработки до этапа практического внедрения. К примеру, достаточно сложно прогнозировать задержки, рассчитывая, как они будут сказываться на работе приложений для данных расстояний между площадками. В целом предварительные расчеты наших специалистов оказались верными, и мы получили прогнозируемый результат".

В части организации доступности данных банку было предложено два варианта: полнофункциональный (распределенный кластер с восстановлением работоспособности приложений в автоматизированном режиме) и рациональный (с восстановлением приложений в ручном режиме). Оба варианта были основаны на использовании технологии аппаратной репликации данных между удаленными дисковыми массивами. Заказчик остановил выбор на рациональном варианте. Таким образом, теперь в случае "падения" кластерного узла на основной площадке специалисты банка вручную могут перезапустить приложения на удаленной площадке, где в любой момент времени существует целостная копия данных. Репликация данных при этом реализуется аппаратно с помощью технологии НР Continuous Access XP.

Специалисты "Ай-Теко" также предложили внедрить систему распределенного резервного копирования. "Можно было организовать территориально распределенное удаленное резервное копирование, - продолжает Александр Щербинин. - Технологии НР OpenView Data Protector позволяют централизованно управлять резервным копированием с нескольких площадок. Идея была правильная, но не воплотилась в жизнь". Поэтому схема резервного копирования, по сути, осталась прежней - выделенная резервная площадка (одна их трех), куда периодически "сбрасывались" рабочие данные.

Ход проекта

Внедрение проекта выполнялось поэтапно, в течение полугода. Важнейшим этапом стала разработка технического проекта (реально было заключено два договора - на разработку технического проекта и на его реализацию). При этом на первую часть проекта было потрачено даже больше времени, чем планировалось. "При подготовке технического проекта мы вышли за сроки, указанные в договоре, - говорит руководитель проекта от компании "Ай-Теко" Петр Рудаков. - Поэтому пришлось уточнять сроки, подписывая дополнительное соглашение. Но именно благодаря тому, что на этапе проектирования были детально проработаны возможные нюансы внедрения и разработана комплексная методика испытаний системы, сократились сроки самого этапа реализации. А ведь, как правило, именно на этапе тестирования в проектах подобного рода существует большая вероятность не уложиться в отведенные сроки". Например, к моменту поставки оборудования банк смог модернизировать серверное помещение в соответствии с предложениями "Ай-Теко", разработанными на этапе технического проектирования.

"Хочется отметить то, что мы модернизировали рабочую систему, - добавляет Петр Рудаков. - В этом была и сложность проекта, и его особенность. Остановок в работе "боевой" системы практически не было. Существующая система модернизировалась в процессе ее эксплуатации. Сначала все прорабатывалось, сохранялось текущее состояние системы. Затем вносили изменения и проверяли, как все работает. Если не работало, то все возвращалось в исходную точку".

Реализация проекта выполнялась совместной группой специалистов, при этом со стороны банка участвовали сотрудники двух его департаментов - по работе с клиентами и собственно ИТ-отдел. Обучение работе с новой ИТ-инфраструктурой было "боевым", то есть шло по ходу проекта. "У заказчика очень грамотные специалисты, -говорит Александр Щербинин. - К примеру, совместно с ними велись работы по подключению серверов Novell в сеть хранения SAN".

В результате выполнения проекта "Ай-Теко" создала программно-аппаратную платформу для эффективного решения задач банка. Миграцию самих банковских приложений осуществляли специалисты банка после завершения проекта. Сегодня вопросами эксплуатации системы занимается порядка 20 технических специалистов банка. Кроме того, в рамках проекта компания "Ай-Теко" предоставляет трехлетнюю системную поддержку. Поддержка выполняется совместно с НР, которая берет на себя "тяжелую" часть (серверы и массивы). "На плечах" "Ай-Теко" лежит поддержка прикладного программного обеспечения, созданного специалистами компании, - скрипты и утилиты для внедрения ПО и организации дублированных каналов от серверов Novell.

Система, спроектированная "Ай-Теко", рассчитана на решение не только текущих, но и перспективных задач, имеет достаточный "запас" производительности. С учетом этого, по словам специалистов "Ай-Теко", в течение как минимум пяти лет банк может не планировать модернизацию системы. Тем не менее по просьбе заказчика "Ай-Теко" разработала предложения по дальнейшему развитию информационной системы банка с учетом повышения ее надежности, масштабируемости, производительности и т. д. Этот документ помогает заказчику планировать развитие своей ИТ-инфраструктуры и учитывать в бюджете средства на дальнейшее развитие системы. В настоящий момент банком запланированы работы по развитию системы мониторинга и ИТ-управления.

Строя уникальную сеть НТЦ

Резкий рост проектов нефтяной компании "Сиданко", связанных с моделированием и разведкой месторождений, повлек накопление большого количества разнородной информации (графической, цифровой, аналитической), которую необходимо было обрабатывать и хранить, при этом обеспечивая интерактивный доступ к данным. В связи с этим перед "Сиданко" встала задача модернизации аппаратной платформы, в частности, создания системы хранения данных. К реализации данного проекта была привлечена компания "Гелиос компьютер", поскольку "Сиданко" уже работала с этой компанией по другим проектам.

Выбор решения

Нефтяная компания принимала в рассмотрение решения различных производителей, а именно Sun, Silicon Graphics и HP. Специалисты "Сиданко" изучили аналитические материалы по системам, более того, напрямую общались с вендорами, а также знакомились с примерами реализации того или иного решения в других организациях.

На тот момент сеть научно-технических центров компании "Сиданко" состояла из трех узлов - ижевский, саратовский и московский филиалы (в последнем не велись вычисления, а осуществлялся мониторинг и отслеживание процессов). Сегодня эта сеть влилась в сеть ТНК ВР. "Что касается ижевского филиала "Сиданко", то в этом случае было решено остановиться на компромиссном варианте, поскольку требовалось не только достичь требуемого функционала, но и "вписаться" в бюджет, - рассказывает руководитель департамента "Нефть и газ" компании "Гелиос компьютер" Александр Федотов. - К тому же в компании уже стояла техника Sun. Наращивая свои вычислительные мощности, она решила подключать системы хранения данных того же производителя".

В результате прикладное программное обеспечение, СУБД Oracle и система резервирования в ижевском научно-техническом центре "Сиданко" были перенесены на восьмипроцессорный сервер Sun Fire V880. Данные расположены на внешнем дисковом массиве Sun StorEdge 3510, подключенном по интерфейсу Fibre Channel. При этом емкость дискового массива может увеличиваться до 5,2 ТБ. На сервере установлено программное обеспечение резервного копирования данных Veritas NetBackup, данные резервируются на ленточную библиотеку Sun StorEdge L100, оснащенную двумя приводами LTO2 (можно установить до шести), которая подключается к серверу при помощи интерфейса SCSI. Для обеспечения работы системного администратора используется рабочая станция Sun Blade 2000.

В саратовском филиале для решения задач обработки данных был развернут кластер от Silicon Graphics. Кластер состоял из двух четырехпроцессорных серверов SGI Origin 300 и дискового массива SGI InfiniteStorage TP9100, подключенного к серверам по сети хранения SAN через Fibre Channel коммутаторы Brocade SilkWorm 3250. Коммутаторы Brocade оборудованы восемью портами Fibre Channel, что позволяет подключать к сети хранения серверы, дисковые массивы и ленточные библиотеки. Емкость хранилищ существующих систем от Sun была увеличена установкой двух дисковых массивов Sun StorEdge 3510, подключенных по интерфейсу Fibre Channel. Один из дисковых массивов Sun StorEdge 3510 был также успешно подключен к сети хранения кластера SGI. Серверы SGI работали со своим разделом дискового массива Sun, что продемонстрировало возможность обмена данными по высокоскоростной сети хранения.

Реализация проекта

Проект в ижевском филиале развивался по классическому сценарию. Сначала был определен функционал программного обеспечения, и после этого исполнитель приступил к предложению типовых решений по аппаратной части. "У каждого из программных модулей существуют свои требования к технике и ее возможностям, - поясняет Александр Федотов. - В данном случае основное требование заказчика заключалось в том, чтобы программное обеспечение, которое работало раньше, так же (без изменений чего бы то ни было) работало на новой технике с повышенной пропускной способностью, производительностью и отказоустойчивостью".

В общей сложности данный проект занял около года (с начала работ по предложению решений), а собственно поставка оборудования, настройка и тестирование заняли полгода. Существенных проблем, по словам представителей "Гелиос компьютер", в ходе выполнения проекта не было. Единственная трудность, с которой пришлось столкнуться, возникла во время монтажа. "На мой взгляд, это обычная ситуация для России, когда ИТ-служба заказчика считает, что самостоятельно может реализовать проект любой сложности, - говорит Александр Федотов. - На самом деле при монтаже подобных систем необходимо с самого начала обсудить каждую деталь. Это касается типа розетки, ее расстояния от сервера или дискового массива, необходимой мощности кондиционера и прочего и прочего". Со стороны "Сиданко" были выполнены все необходимые для монтажа условия, подготовлено серверное помещение в соответствии с рекомендациями компании-исполнителя. Но тем не менее ряд вопросов пришлось решать уже после того, как техника пришла. В любом случае, как отмечает г-н Федотов, это были совсем незначительные трудности, с которыми без труда справились по ходу работы.

Во многом беспроблемной реализации способствовали изначально четкое проектирование, а затем одновременная поставка основной части техники, что позволило сразу все подключить и запустить. "Мы решили предоставить конфигурацию и сделать проект, максимально приближенный к рекомендациям производителя. Заказчик согласился с этим подходом и пошел нам навстречу. Благодаря этому у нас практически не было ничего нестандартного, - говорит технический директор "Гелиос компьютер" Александр Михайлов. - Нам не пришлось терять много времени, чтобы выяснять какие-то тонкости и хитрости. Мы сделали так, как предполагает производитель, и тем самым упростили и максимально ускорили ввод в эксплуатацию".

Естественно, для работы с новой техникой было проведено обучение специалистов "Сиданко", которое позволит им в случае возникновения каких-либо проблемных ситуаций или сбоев самостоятельно проводить диагностику, отправлять данные вендору и пользоваться гарантийным обслуживанием. Что касается последнего, то "Сиданко" было предложено закупить дополнительные гарантийные пакеты, предполагающие телефонную поддержку (горячую линию), условия по времени реагирования, наличию запчастей (этим будут определяться сроки ремонта). "Закупка расширяющих пакетов оправдала себя, поскольку благодаря им центры не простаивают. В результате не требуется резервных центров", - объясняет Александр Федотов. По словам специалистов "Гелиос компьютер", "Сиданко" смогла сэкономить на этом. Кроме того, в качестве резервного центра могут выступать другие филиалы сети ТНЦ, то есть все три центра могут дублировать друг друга. Но пока такой необходимости не возникло, поэтому данная возможность не была реализована.

Уникальный проект

По самой своей сути проект создания сети научно-технических центров нефтяной компании уникален. "Я встречаю первого такого заказчика в России, который поставил перед собой настолько масштабно и комплексно задачу построения сети научно-технических центров, - говорит Александр Федотов. - В России эти задачи не реализованы ни в одной другой нефтяной компании. "Сиданко" очень серьезно подошла к реализации проекта, что позволило ей отстроить сеть, близкую к идеальной".

Модернизация общеминистерского центра обработки данных Министерства экономического развития и торговли Российской Федерации

С 2001 года в Министерстве экономического развития и торговли Российской Федерации ведется проект по модернизации информационной системы. В терминологии министерства главный объект информационной системы называется Общеминистерским центром обработки данных (ОЦОД).

Проблемы

До начала модернизации центр обработки данных представлял собой множество разрозненных серверов разных производителей. В основном это были серверы на базе Intel-платформы, работавшие под управлением операционных систем Microsoft. Для некоторых задач использовали ОС Solaris на платформе Intel (в частности, такой задачей была система делопроизводства "Дело-96").

Однако при модернизации информационной системы министерства требования к вычислительным системам существенно возросли. Так, достаточно сказать, что количество сотрудников, включенных в сеть, увеличилось в четыре раза. Если до 2001 года к центру обработки данных подключались только те сотрудники, что работали в здании на Тверской-Ямской (около 500 человек), то теперь к сервисам ОЦОД обращаются 1500 сотрудников центрального аппарата министерства, работающие в четырех различных зданиях. В связи с подключением всех сотрудников министерства к одной сети возрастала нагрузка на серверы. Поэтому было принято решение перевести все основные вычислительные ресурсы ОЦОД на более мощную платформу, которая бы при необходимости легко масштабировалась. Эта работа была поручена компании "Тауэр-сети", давнему партнеру Министерства экономического развития и торговли. Компания осуществила для министерства уже несколько проектов.

Решение

На первом этапе проекта был установлен сервер Sun Fire 4800 в четырехпроцессорной конфигурации. "Помимо масштабируемости этой системы причиной выбора данной платформы была поддержка технологии многодоменной структуры, - говорит технический директор "Тауэр-сети" Алексей Вахмистров. - Это когда в рамках одного сервера можно выделить независимые виртуальные серверы, на которых запускаются разные задачи. При выходе из строя одного из виртуальных серверов остальные продолжают работу, то есть можно эффективно перераспределять нагрузку между этими серверами". В комплекте с сервером была установлена система хранения данных Sun StorEdge Т3 емкостью 200 Гб.

На втором этапе модернизации вычислительной системы хранения данных была организована выделенная отказоустойчивая сеть хранения данных на базе технологии Fibrе Channel с установкой центрального коммутатора и подключения основных серверов. В качестве центральной системы хранения данных была выбрана Hitachi Data System Thunder 9200 емкостью около 2 ТБ. К этой системе были подключены: центральный сервер Sun Fire 4800, система Sun StorEdge Т3, а также серверы, которые использовались для корпоративного портала министерства. Далее в 2002-2003 годах модернизировали систему хранения данных: была увеличена ее емкость, повышена отказоустойчивость. Чтобы добиться этого, в центре установили второй коммутатор сети Fibre Channel, произвели отказоустойчивое подключение всех центральных серверов к сети хранения данных. При отказе любого из компонентов системы функционирование ее не прекратится. При этом использовалось программное обеспечение Veritas Volume Manager.

Сейчас развитие системы продолжается, поскольку в Министерстве экономического развития и торговли внедряется система электронного документооборота. В рамках этих работ практически все документы переводятся в электронные форматы. В связи с этим нужно увеличить емкость системы хранения данных и повысить скорость работы с ней. Как рассказал Алексей Вахмистров, ресурсные возможности поставленной ранее системы Hitachi Data System Thunder 9200 были исчерпаны, и пришлось установить систему следующего поколения. Это Hitachi Data System 9570, являющаяся логическим расширением системы 9200, и на начальном этапе ее емкость составила около 5 ТБ (эта емкость практически вся отведена под электронное хранилище документов). Таким образом, на сегодняшний день общая емкость системы хранения данных составляет порядка 7 ТБ (2 ТБ на системе 9200 и 5 ТБ на 9500).

Для обслуживания и сопровождения системы ОЦОД привлекаются специалисты "Тауэр-сети". "В министерстве постоянно находится группа наших сотрудников, которые обслуживают вычислительные ресурсы, а именно занимаются сопровождением телекоммуникационной системы и всех центральных ресурсов", - говорит г-н Вахмистров.

Параллельный проект

Параллельно развитием с этой части интегрированной информационно-вычислительной системы Министерства экономического развития и торговли в рамках федеральной целевой программы "Электронная Россия" была поставлена задача по созданию информационно-телекоммуникационного центра. Он будет обеспечивать информацией не только сотрудников министерства, но и пользователей внешних организаций. Предназначен он для размещения приложений, связанных с портальными решениями в области экономики, госзакупок, мониторинга госпредприятий, поддержки малого бизнеса. Эта вычислительная система представляет собой стандартную трехуровневую систему: серверы баз данных, серверы приложений и серверы web-приложений непосредственно для работы с пользователями. На всех уровнях использовалось оборудование Sun: сервер баз данных - Sun Fire 3800 (многопроцессорный), серверы приложений - Sun Fire 4480, web-серверы - Sun Netra120. Все серверы приложений и баз данных также объединены в сеть хранения данных, к которой была подключена система класса Sun StorEdge 9970.

Интересно, что опыт, полученный на одном проекте, активно использовался на другом. Так, в 2002 году в Министерстве экономического развития и торговли Российской Федерации установлена система бесперебойного электропитания APC InfraStruXure типа B. Это комплексное решение по построению инфраструктуры вычислительного центра, которое включает в себя инженерное оборудование для размещения в стандартных промышленных стойках и систему бесперебойного питания, включая ИБП, батареи, систему распределения питания по шкафам в вычислительных центрах. Решение работает в режиме избыточной отказоустойчивости.

Система была установлена в информационно-телекоммуникационном центре, ее общая мощность на первом этапе составляла 20 кВт, сейчас она увеличена до 40 кВт. После удачной эксплуатации системы в течение двух лет было принято решение установить такую же систему типа В мощностью 40 кВт в ОЦОД. Данное внедрение APC InfraStruXure стало первым внедрением в вычислительных центрах органов государственной власти России.

Распределенный центр обработки данных

Одной из особенностей проекта было то, что во время проведения работ по модернизации ОЦОД министерства в здании на Тверской-Ямской велся капитальный ремонт. Поэтому для обеспечения беспрерывной работы в том же здании выделили помещение, куда были подведены все необходимые коммуникации, установлено необходимое инженерное оборудование. На момент проведения строительных работ и подготовки инфраструктуры основного вычислительного центра его функции взял на себя резервный центр. После того как был завершен ремонт и в главный вычислительный центр перевели все вычислительные устройства, резервный вычислительный центр продолжил функционирование. Таким образом, была реализована архитектура распределенного ОЦОД, включающего в настоящее время два вычислительных центра министерства. "Нельзя сказать, что это полностью отказоустойчивое решение, - говорит Алексей Вахмистров. - Сейчас в случае выхода из строя всей инфраструктуры главного вычислительного центра не произойдет быстрого перехода на мощности резервного центра. Но работы в этом направлении ведутся". В настоящее время в резервном центре сосредоточены в основном не критичные приложения, работавшие до момента модернизации.

Помимо этого в комплексе зданий министерства на Овчинниковской набережной подготовлено и оснащено всей необходимой инфраструктурой помещение, где будет построен филиал общеминистерского центра обработки данных для размещения приложений, относящихся к работе департаментов расположенных, в этом здании. Развертывание удаленного вычислительного центра позволит в будущем внедрять инфраструктурные катастрофоустойчивые решения.

Планы

Сегодня ОЦОД обеспечивает работу таких приложений и сервисов, как: корпоративный интернет-портал и сайт министерства в сети Интернет, базы данных организации и ее подразделений, корпоративная электронная почта, система электронного документооборота, IP-телефония, многоточечная видеоконференцсвязь, система управления серверами, телекоммуникационным оборудованием, резервное копирование и др.

В целом, по словам специалистов компании "Тауэр-сети", установленное оборудование должно удовлетворять требованиям министерства еще довольно продолжительное время. Для модернизации Intel-платформ министерство в основном использует самые последние модификации серверов (Hewlett Рackard), ввиду чего сейчас они работают с нагрузкой только 20%. "Я думаю, что вычислительных мощностей этих серверов хватит еще на длительный период, - комментирует Алексей Вахмистров. - Ведь, например, система корпоративной электронной почты, которая в настоящее время используется всеми сотрудниками министерства, загружает сервер не более чем на 20-30%. Поэтому даже в пределах установленной аппаратной базы потенциальные возможности системы еще достаточно велики".

Тем не менее, по словам Алексей Вахмистрова, в перспективе решения будут направлены на наращивание существующих мощностей, что можно обеспечить, повышая емкость систем хранения данных, увеличивая производительность главных серверов баз данных (система SuFire4800 может наращиваться до 12 процессоров). Также в настоящий момент не используется особенность Sun Fire 4800, заключающаяся в эффективном использовании многодоменной структуры.

К концу текущего года должны завершиться работы по созданию отказоустойчивой системы резервного копирования на базе ПО Computer Associates. "Здесь мы подключаем отказоустойчивое решение, предусматривающее две независимые библиотеки с большим объемом хранения данных, - рассказывает Алексей Вахмистров". Завершаются работы по созданию единой диспетчерской - командного пункта по обслуживанию всей инфраструктуры. Это тесно связано с развитием систем управления. В настоящий момент близятся к концу работы по улучшению обслуживания пользователей (системы HelpDesk) на базе решений Computer Associates. Все заявки пользователей будут централизованно направляться в единую диспетчерскую.