Проблемы в работе ЦОДов часто бывают критичны для бизнеса, но когда речь идет об одном из важнейших процессов в стране — выборах, важность обеспечения бесперебойной работы оборудования не требует объяснения. Мы беседовали с Александром Поповым, начальником Управления эксплуатации и развития ГАС «Выборы» ФЦИ при ЦИК России.

Intelligent Enterprise: Технологическая поддержка выборов — это большая ответственность, ведь процесс должен четко контролироваться, и даже самая малая ошибка может привести к значительным последствиям. Расскажите о том, как решается эта задача.

Александр Попов: Сегодня мож­но говорить о создании Государственной автоматизированной системы Рос­сийской Федерации «Выборы» как о важном научно-техническом и общественно-политическом событии. Вопросы обеспечения прозрачности и доступности информации о ходе выборов, оперативного представления информации об итогах с учетом масштабов нашей страны с более, чем 100 миллионами избирателей в 11 часовых поясах невозможно было бы решить без мощной технологической базы, без автоматизации процессов подготовки и проведения вы­боров.

Созданная Указом Президента Российской Федерации в 1994 году, ГАС «Выборы» в декабре 1995 года впервые использовалась на выборах депутатов Государственной Думы Федерального Собрания Российской Федерации второго созыва. Последующие годы были связаны с постоянным совершенствованием системы. За время своего существования она изменилась коренным образом, практически при каждой ее модернизации создавалась новая система.

Сегодня ГАС «Выборы» представляет собой многоуровневую территориально распределенную информационную систему, которая обеспечивает технологическую и информационную поддержку деятельности комиссий на всех уровнях, позволяет автоматизировать трудоемкие информационные процессы. Ведь избирательная кампания, в соответствии с законом, включает в себя далеко не только день выборов. Она начинается за 90, а в некоторых случаях и за 110 дней до дня выборов. В процессе подготовки необходимо обеспечить планирование избирательной кампании, то есть процессы выдвижения кандидатов, участие различных партий в выборах, вопросы контроля финансирования (как самой кампании, так и всех кандидатов) и т. д. — это объемный и многогранный процесс.

Отдельной большой задачей является представление оперативной и полной информации о ходе и итогах голосования. Современные информационные технологии, реализованные в системе, позволяют обрабатывать большие массивы информации и оперативно представлять ее широкой общественности. Функция общественного контроля обеспечивается технологиями Интернет-портала ГАС «Выборы». При подготовке и проведении федеральных выборов и в единые дни голосования в ЦИК России формируется Информационный центр, главная задача которого — оперативное информирование общественности о ходе и предварительных результатах выборов. В Информационном центре ЦИК России в режиме реального времени транслируются данные выборов, поступающие с 96 тысяч избирательных участков.

С момента создания и вот уже на протяжении 15 лет поддерживается работоспособность и высокий технологический уровень системы, в этом процессе задействованы ведущие ИТ-организации страны. Сегодня ГАС «Выборы» охватывает 83 субъекта Российской Федерации, 2747 территориальных избирательных комиссий. В обслуживании системы задействовано более 3000 человек и 13 сервисных центров на территории страны.

Одной из актуальных задач обеспечения устойчивого и надежного функционирования компьютерной техники и, в особенности, серверного оборудования является обеспечение гарантированного бесперебойного электропитания, эффективного отвода тепла.

Как создавался ЦОД Центральной избирательной комиссии? Какие факторы были наиболее важны при выборе его архитектуры?

В самом начале создания ГАС «Выборы» была принята структура, которая повторяет структуру избирательной системы Российской Федерации. Комплексы средств автоматизации были развернуты на трех уровнях: центральном (КСА ЦИК Росси), региональном (КСА избирательных комиссий субъектов Российской Федерации) и территориальном (КСА территориальных избирательных комиссий). Конечно, количество серверов, автоматизированных рабочих мест и их технические характеристики того периода несравнимы с нынешней техникой и применяемыми технологиями. Сейчас это современные серверы типа «блейд» с высокими техническими данными, это современная системы управления базами данных СУБД ORACLE, это созданные новые подсистемы ГАС «Выборы» — «Интернет-портал», «Регистр избирателей», «Контроль финансирования политических партий» и другие.

С ростом числа и сложности задач нам нужно было обеспечить требуемые производительность и надежность ЦОДа. Особенно остро этот вопрос встал после того, как на законодательном уровне была поставлена задача в течение суток предоставлять данные в Интернет, кроме того, потребовалось обрабатывать и представлять данные практически в режиме реального времени. Необходимо было обработать большой поток данных в течение короткого промежутка времени. Каждая, даже самая небольшая, задержка могла привести к невыполнению других требований. Для решения этой задачи нами были созданы два вычислительных центра, находящиеся в разных зданиях ЦИК России, — основной и резервный, в каждом из которых, в свою очередь, также предусмотрено полное резервирование по кластерной схеме.

Конечно, мы понимали, что в дальнейшем нам может понадобиться дополнительное наращивание производительности ЦОДа, поэтому использовали решения, которые достаточно легко масштабировать. При этом, как известно, появляется и проблема доступной площади ЦОДа. Чтобы частично снизить ее остроту, мы перешли на blade‑серверы, что позволило повысить плотность размещения оборудования, но, как следствие этого, ужесточились требования к системам охлаждения и электропитания серверных стоек.

Здесь нужно оговориться, что как у нас, так и, насколько мне известно, во всем мире существует следующая проблема — в то время как линейки серверов постоянно обновляются, инженерное обеспечение ЦОДов зачастую отстает в технологическом плане и не может обеспечить требуемую эффективность по параметрам гарантированного электроснабжения и отвода тепловых потоков. Поэтому мы старались обеспечить возможность роста производительности не только основных средств, но и сопутствующих систем. Так, электропитание с необходимым запасом мощности было подведено в ЦОД от двух разных вводов. Но даже при этом мы не были уверены в достаточной защищенности от проблем отключения электроэнергии или ее качества.

Наверняка многие запомнили долговременное отключение электроэнергии во всей Москве в мае 2005 года, когда случилась авария на одной из подстанций. Поэтому мы решили и здесь подойти комплексно, установив объектовый источник бесперебойного питания, обеспечивающий резервным электропитанием и защитой от скачков напряжения не только ЦОД, но и все автоматизированные рабочие места в ЦИК, а их у нас более 700. Для решения этой задачи была выбрана система APC Symmetra MW. Выбор производился в рамках конкурса, и это был не первый случай, когда лидером по соотношению «цена/качество» в нашем конкурсе становилась компания APC.

Сейчас на каждом уровне имеется комплекс средств автоматизации (КСА), который по своему функциональному назначению соответствует функциям центра обработки данных (ЦОД).

Сейчас в ЦИК России используется около 70 серверов различного назначения, на уровне субъектов Федерации — минимум по два сервера, а на уровне территориальных избирательных комиссий, как правило, устанавливается две рабочие станции, одна из которых используется как сервер.

С компанией APC by Schneider Electric мы сотрудничаем практически с момента создания ГАС «Выборы». Тогда использовались отдельные источники бесперебойного питания для каждого рабочего места, каждого сервера, каждой стойки. И сейчас автономные источники бесперебойного питания APC обеспечивают работу компьютеров на всех избирательных участках страны и в случае отключения электроэнергии они обеспечат работоспособность компьютеров на время до 20—30 минут.

Кроме того, мы одними из первых в России применили решение APC InfraStruXure, когда ЦИК России необходимо было обеспечить бесперебойную работу больших экранов, отображающих информацию во время выборов. Причем эта система не раз доказала свою эффективность. Были и скачки напряжения, и кратковременные отключения электропитания — она не подвела.

Что касается охлаждения, то здесь мы используем полупромышленные кондиционеры, как минимум два в каждой серверной комнате — один основной и один резервный. Конечно, с ними есть определенные проблемы как летом, когда слишком жарко, так и зимой, когда стоят морозы. Поэтому мы рассматриваем возможность перехода в будущем на более подходящие для наших задач устройства.

Расскажите подробнее о проекте внедрения системы бесперебойного питания. Как устанавливалось оборудование, каковы его параметры и возможности, какие проблемы возникали в ходе проекта?

Работа по установке системы бесперебойного питания производилась в рамках концепции развития ЦОДов 2005—2008 годов. Она была выделена в отдельный подпроект, реализованный в 2006—2007 годах.

Для создания новых ЦОДов у нас имелись достаточно просторные помещения, но проходы в них были нестан­дартными, поэтому, чтобы поставить туда оборудование, нам приходилось их расширять. Ведь стойки достаточно высокие, и по условиям производителя наклонять их нельзя. Это и было практически единственной проблемой в ходе проекта. В остальном же все укладывалось в рамки обычных монтажных и пуско-наладочных работ.

Установленная для обеспечения бесперебойного питания ЦИК России система APC Symmetra MW обладает мощностью 400 кВА и позволяет обеспечивать работу всех подключенных к ней устройств в течение как минимум 50 минут, а с учетом того, что мы можем отключить от нее часть потребителей, — до нескольких часов. В случае необходимости за счет наращивания числа модулей возможен прирост мощности системы еще на 20%, но пока этого не требуется (даже напротив — так как задействованы не все серверы, часть персонала в отпуске и т.д., потребление может составлять лишь 30—40% от номинального). Поэтому мы можем себе позволить также подключать к системе кондиционеры для обеспечения требуемого температурного режима в ЦОДе, даже несмотря на то, что они потребляют значительную часть ёмкости заряда батарей. Еще одно существенное достоин­ство заключается в том, что мы можем менять модули системы без ущерба ее работоспособности, так как для этого реализовано резервирование по схеме «n+1».

Для отслеживания работоспособности системы используется специализированное программное обеспечение, которое интегрировано в нашу общую систему мониторинга, отображающую данные обо всех технологических помещениях — температурные параметры, энергетическую нагрузку и т.  д. За всеми этими параметрами постоянно следит дежурный спе­циалист.

Как осуществляется техническая поддержка решения? Какое участие в ней принимают специалисты APC by Schneider Electric и ваши собственные?

Мы продолжаем взаимодействовать с APC в рамках сопровождения системы обеспечения бесперебойного питания. АРС является соисполнителем по договору на сервисное обслуживание Symmetra MW. В его рамках, во‑первых, существует система предупредительных осмотров и ремонтов, которая позволяет выявлять и устранять возможные проблемы еще до их возникновения. Во-вторых, в случае, если проблемы все‑таки возникают, к нам в течение двух часов с момента обращения прибывает специалист APC. Время на устранение тех или иных неисправностей в зависимости от их сложности может составлять от одного дня до недели. В зависимости от сложности задачи, которую нам выдает сама система мониторинга, мы определяем, требуется ли привлечение специалистов APC или мы справляемся собственными ресур­сами.

Оправдывает ли текущая работа системы ваши ожидания? Каковы планы по развитию ЦОДа?

Опыт показывает, что оборудование достаточно современное и надежное. Надеюсь, оно позволит без проблем выполнить задачи федеральных выборов уже 2011—2012 годов. Поэтому сейчас, когда вопросы финансирования довольно сложны, развитие ЦОДа предполагается в рамках разработанного Технического проекта на развитие ГАС «Выборы» до 2012 года в пределах бюджетных ассигнований. Наша главная задача в сложившихся условиях — обеспечить устойчивое и надежное функционирование ГАС «Выборы» и успешно обеспечить федеральные выборы 2011—2012 годов. Решение о дальнейших направлениях развития системы в целом и ЦОДа в частности будет приниматься после 2012 года, с учетом технологического прогресса как в области информационных технологий, так и в инженерном обеспечении.

Юлия Двойнова,
руководитель направления по работе с корпоративными заказчиками APC by Schneider Electric, направление «Госсектор»

Для нас очень важно, чтобы предлагаемые решения для наших заказчиков не только были технически грамотными, но и грамотно эксплуатировались, что позволит гарантировать длительную эксплуатацию оборудования. Как любое технически сложное оборудование, оно требует высокого уровня сервиса. Сервисный контракт, заключенный с ЦИК России, разрабатывался с учетом всех нюансов, связанных с работой самой ЦИК России и ГАС «Выборы»: время реагирования и устранение возможных неисправностей в течение максимально сжатого времени, наличие на локальном складе комплекта запасных частей, зарезервированных под этот проект, ежеквартальные профилактические визиты, дежурство на объекте инженера во время проведения выборов. Все это позволяет быть уверенными в высокой отказоустойчивости оборудования инженерной инфраструктуры ЦОДа для объектов такого класса.