Департамент финансов и налоговой политики Новосибирской области осуществляет исполнительно-распорядительную деятельность в сфере областных финансов, обеспечивает проведение единой финансовой, бюджетной, налоговой политики и осуществляет общее руководство организацией финансов Новосибирской области, а также обеспечивает ведение лицевых счетов всех бюджетополучателей областного бюджета. Решением всех ИТ-задач для департамента занимается ГАУ НСО «Агентство ресурсного обеспечения». Прерывание работы информационной системы даже на короткий промежуток времени может оказаться очень критичным, что ставит перед агентством задачу обеспечения катастрофоустойчивости центра обработки данных (ЦОД).
До начала проекта реорганизации ЦОДа в агентстве ситуация с обеспечением доступности и непрерывности работы серверов была далека от идеальной. Обеспечение бесперебойного питания и контроль за тепловыделением основывались на весьма приблизительных расчетах. Батареи в устройствах бесперебойного питания давно исчерпали срок службы, в результате чего время работы серверов при отключении электроэнергии составляло не более четырех минут. Охлаждение осуществлялось с помощью обычных бытовых кондиционеров. Их использование не обеспечивало требуемых параметров в Сибири, где зимой температура часто опускается ниже –30 градусов Цельсия: зачастую оборудование в серверной комнате перегревалось и не могло обеспечивать нормального выполнения задач.
Все эти факторы, а также необходимость усилить вычислительные мощности и сделать их доступнее привели к решению о необходимости реорганизации дата-центра. Проект включал в себя создание двух территориально распределенных центров обработки данных, резервирующих друг друга.
Для организации серверных комнат решено было использовать уже существующие помещения, что создавало определенные ограничения в площади и электропитании. По этой причине в организации пришлось отказаться от использования фальшполов и фальшпотолков. Это же во многом повлияло и на выбор решений для построения ЦОДов. В проекте старались использовать компактное оборудование, которое могло бы легко масштабироваться при необходимости. В качестве серверов наиболее подходящими оказались блейд‑системы, а для обеспечения бесперебойной работы оборудования и контроля тепловыделения было выбрано комплексное решение APC InfraStruXure.
Изначально при выборе оборудования для охлаждения дата-центра рассматривались три класса решений. Во-первых, из соображений экономии денежных средств заманчивым казалось использование тех же обычных, но более современных, бытовых кондиционеров. Однако от этого варианта быстро отказались, так как посчитали, что системы такого уровня для охлаждения ЦОДов не подходят. В качестве еще одного варианта рассматривалось охлаждение на уровне зала с применением промышленных кондиционеров. Такое решение казалось привлекательным, потому что обеспечивало также и увлажнение воздуха. Но промышленные устройства оказались слишком громоздки для небольшой серверной комнаты — кроме больших габаритов у них были свои требования по монтажу, в частности довольно существенное расстояние от стен и т.д. Поэтому единственно верным для агентства выбором оказалось применение нишевых решений для центров обработки данных. «Ключевым фактором при выборе решения для нас стал интегрированный подход компании APC by Schneider Electric к построению систем обеспечения деятельности ЦОДов, — рассказывает Кирилл Мищенко, руководитель ИТ-отдела ГАУ НСО «Агентство ресурсного обеспечения». — Существуют отдельные устройства, превосходящие аналогичные от APC в своем классе, но архитектура APC InfraStruXure, благодаря своей комплексности и масштабируемости, показалась нам наиболее современной. Я считаю, что будущее именно за такими решениями».
Чтобы найти подрядчика по ведению проекта, агентство провело конкурс, в результате которого был выбран один из системных интеграторов, представленных на региональном рынке. По условиям конкурса системные интеграторы должны были представить расчеты по обеспечению теплового баланса и бесперебойного электропитания. Но, по словам Кирилла Мищенко, представленные ими данные настолько различались, что в итоге рассчитывать необходимые параметры пришлось собственным специалистам организации.
Все работы по реализации проекта велись в режиме тройственного взаимодействия «заказчик — подрядчик — производитель». Основной задачей интегратора было обеспечение координации в проекте всех участников — заказчика, производителя, субподрядных организаций. Все проектно-изыскательские работы и комплексная интеграция всех подсистем ЦОД проводились сотрудниками системного интегратора, специалисты APC осуществляли консультирование подрядчика и заказчика, а также участвовали в работах по вводу в эксплуатацию оборудования АРС.
Кирилл Мищенко советует внимательнее относиться к выбору субподрячиков, производящих, казалось бы, рутинные работы. Ряд проблем, затруднивших ведение проекта, возникал из‑за низкого профессионализма субподрядной организации, что существенно отодвинуло сроки окончания проекта и привело к смене субподрядной организации.
В итоговой конфигурации для обеспечения бесперебойного питания был использован ИБП APC Symmetra PX мощностью 64 кВт со встроенным блоком распределения питания, на котором в случае отключения электроэнергии ЦОД может работать около 40 минут. В случае необходимости существует возможность нарастить мощность ИБП до 160 кВт путем добавления дополнительных модулей. Оборудование монтировалось в пять телекоммуникационных шкафов APC NetShelter SX. Для контроля за тепловыделением были установлены четыре кондиционера с воздушным охлаждением на уровне рядов APC InRow RD. Рассматривались также системы с гликолевым охлаждением, но их применение в данном проекте оказалось нецелесообразным. Отдельно стоит сказать о системе мониторинга окружающей среды для серверных комнат APC NetBotz, использованной в решении. В агентстве решено было интегрировать ее в общую систему мониторинга, уже функционирующую в организации. Предполагалось, что персонал первой линии ИТ-поддержки сможет самостоятельно выявлять проблемы и устранять инциденты в работе ЦОДа. Для этого нужно было решить ряд задач, таких как возможность сквозной аутентификации пользователей Active Directory с соответствующими правами через сервер Radius, управление устройствами ЦОДа по протоколу SNMP. Интеграцией системы мониторинга АРС и существующей системы мониторинга в силу нетривиальности задачи занимались не только сотрудники компании АРС, но и специалисты агентства.
Несмотря на ряд сложностей, возникших в ходе реализации проекта, агентство высоко оценивает преимущества, которые получила организация в результате выполнения проекта по созданию нового ЦОДа. Заложенные сейчас возможности масштабирования ЦОДа в будущем наверняка еще не раз подтвердят свою эффективность.
Роман Шмаков,
территориальный менеджер по Сибири и ДВ компании APC by Schneider ElectricКомпания APC by Schneider Electric отнеслась к проекту построения ЦОДа для агентства как к интересной и важной задаче в силу особого назначения этого ЦОДа и высоких требований к его безостановочной работе. Техническая реализация данного ЦОДа примечательна тем, что специалистам АРС by Schneider Electric приходилось решать ряд задач, связанных с высокими требованиями заказчика и ограничениями помещения. Так, например, ЦОД находится на одном из верхних этажей здания, что потребовало особенного внимания при расчете нагрузки на перекрытия и расчета распределения веса оборудования по площади помещения ЦОДа. Учитывая жестко ограниченный размер помещения, в котором должно было находиться оборудование ЦОДа, требования к дальнейшему наращиванию нагрузки, а также высокие расчетные показатели мощности на стойку, инженерам АРС пришлось провести множество расчетов для того, чтобы предложить комплексное решение, полностью удовлетворяющее высоким требованиям заказчика.
Хочу заметить, что ЦОД, построенный для агентства, является одним из инновационных ЦОДов, реализованных в Сибирском федеральном округе, которые отвечают всем современным требованиям. Он способен обеспечить заказчику непрерывную работу и доступность всех нужных приложений.
