«Системный оператор Единой энергетической системы» (СО ЕЭС) — это центральная координирующая и системообразующая компания энергетической отрасли. Шесть с половиной тысяч работников СО ЕЭС и 62 филиала круглосуточно обеспечивают надежную работу Единой энергосистемы России и энергосистем 82 регионов страны. Компания внедряет самые современные технологии и мощные программно-аппаратные комплексы для повышения эффективности работы. Технологическое обеспечение функционирования рынка электроэнергии — одна из основных задач СО ЕЭС. О том, какое оборудование помогает решать стоящие перед энергетиками задачи, мы попросили рассказать заместителя директора по информационным технологиям ОАО «СО ЕЭС» Дениса Азерникова.

Intelligent Enterprise: После реформирования РАО ЕЭС какие функции выполняет ваша организация?

Денис Азерников: Открытое акционерное общество «Системный оператор — Центральное диспетчерское управление ЕЭС» было выделено из структуры РАО «ЕЭС России» и существует как самостоятельное предприятие с 17 июня 2002 года. В феврале 2008-го зарегистрировано новое название компании — ОАО «Системный оператор Единой энергетической системы». Предприятие имеет трехзвенную структуру: центральный аппарат, которому подчиняется семь объединенных диспетчерских управлений, или ОДУ, и затем региональные диспетчерские управления — их порядка пятидесяти.

Основная наша задача — оперативное управление режимом энергосистемы, а также долго-, средне- и краткосрочное планирование энергетических режимов по всей стране. После реформирования РАО ЕЭС к нам перешло много новых функций. Это и технический контроль над субъектами (генерация, сети), и стратегическое планирование развития энергоотрасли в рамках макроэкономики, и обеспечение параллельной работы ЕЭС России с энергосистемами зарубежных стран, а также контроль над деятельностью организаций, которые берут на себя обязательства перед государством по строительству энергетических объектов (качество работ, соблюдение сроков и технологических параметров).

Функций добавилось, и нам стало тесновато в привычных стенах нашего помещения в Китайгородском проезде. Возможности аппаратно-программной платформы позволяли успешно решать те задачи, которые стояли перед Цент­ральным диспетчерским управлением раньше, касавшиеся, в частности, технологического обеспечения функционирования оптового рынка электроэнергии. Но сейчас ситуация изменилась, более сложными стали режимы энергосистемы, развивается сам рынок электроэнергетики — и всё это потребовало существенной модернизации аппаратного комплекса, который мы будем размещать уже в новом здании.

В каком состоянии сейчас находится проект?

Сейчас идет фаза проектирования и геодезические работы. Зданий будет несколько в ближайшем Подмосковье по Киевскому шоссе — сейчас там чистое поле. По сравнению с обычным офисным зданием наши объекты проектировать гораздо сложнее, потому что они в большей степени будут начинены различными инженерными системами, специфической техникой. У нас, например, должны быть такие обязательные компоненты, как ЦОД, мощный узел связи, диспетчерский пункт, а соответственно — системы климат-контроля, гарантированное электроснабжение, СКС и т. д. Такие здания мало кто умеет проектировать. Типовые технические требования по технологическому оснащению мы разрабатывали сами. Это было несколько лет назад, когда пришлось строить здание для одного из региональных диспетчерских управлений. Сейчас этот документ активно используется: у нас строится большое количество филиалов, и очень удобно, когда все проекты в основе имеют одни и те же технические требования. Но и здесь не всё так просто: для строительства региональных диспетчерских управлений наши технические типовые требования подходят, а для ОДУ, которых в структуре СО ЕЭС семь, — уже нет; хорошо, что такие проекты случаются не так часто.

Проектированием кроме Московского архитектурного центра, который является генеральным проектировщиком, занимаются компании «Оптима», BAC и «Микротест». Затем, конечно, потребуется много времени, чтобы все эти системы установить, настроить, запустить в промышленную эксплуатацию. Однако мы рассчитываем, что через четыре года всё будет готово.

В новом здании, как я уже сказал, мы будем строить центр обработки данных. У нас за много лет накоплен большой опыт построения ЦОДов во всех наших филиалах. Первый ЦОД начинали оснащать еще в советские времена машинами ЕС ЭВМ. Сегодня здесь в основном многопроцессорные серверы на платформе Intel. Так как для нас велика значимость накопленной информации, мы планируем создать два территориально разнесенных ЦОДа — сделать отказоустойчивую систему. Узел связи в новом здании будет включен в волоконно-оптическое кольцо, прокладываемое сейчас в Москве для связи энергетических объектов. Филиалы компании, расположенные по всей стране от Хабаровска до Калининграда, уже объединены корпоративной сетью связи.

В обязательном порядке новый объект будет оснащен комплексной системой безопасности, начиная от физической защиты и заканчивая современными средствами информационной безопасности. Сейчас всё это проектируется одновременно с проектированием стен и фун­дамента.

Год назад в вашей компании запущен в промышленную эксплуатацию уникальный вычислительный комплекс. Что он представляет собой с технической точки зрения?

Комплекс состоит из двух серверов IBM System x3950 и дисковой подсистемы EMC CLARiiON, объединенных в кластер. Каждый сервер содержит 32 двуядерных процессора Intel Xeon MP Tulsa и 64 Гбайт оперативной памяти. Стоимость комплекса составила более 17,5 миллиона рублей. Устанавливать и настраивать оборудование нам помогали специалисты компаний «Крок» и IBM.

Кластер установлен в здании СО ЕЭС в Китайгородском проезде. Дело в том, что у нас постоянно ведется модернизация оборудования, чтобы поддерживать необходимый уровень предоставляемых сервисов всех ЦОДов. Хотя через четыре года запланирован переезд в новое здание, мы не можем прекратить вкладывать средства в эту площадку, потому что еще довольно долгое время она будет функционировать, причём останется для нас основной. На новую площадку это оборудование мы переносить не станем — это невозможно, так как нельзя останавливать бизнес-процесс, в котором задействован кластер. У нас режим работы 24×7. Придется заново создавать полностью работающую систему. Потом эти две площадки какое-то время будут работать параллельно. Даже после того, как новая площадка заработает в полную силу и перенос данных будет завершен, здешняя ещё продолжит существование некоторое время во избежание всяких рисков.

Для решения какой задачи создавался кластер?

Кластер предназначен для работы в составе автоматизированной системы, используемой для расчета объемов и цен балансирующего рынка электроэнергии. В системе рассчитывается математическая модель энергосистемы и определяются текущие цены на электроэнергию в каждом ее узле.

На балансирующем рынке покупаются и продаются объемы отклонений фактического производства или потребления электроэнергии от плановых значений. Эти объемы, а соответственно и цены определяются каждый час, однако режим энергосистемы изменяется непрерывно, и чем чаще будет производиться расчет математической модели балансирующего рынка, тем точнее рассчитанные объемы отклонений будут торговаться на рынке и тем более обоснованной будет цена на них и для продавца, и для покупателя.

Перед нами стояла задача чаще производить расчет балансирующего рынка в течение суток. Одно из узких мест составлял синтезированный расчет по модели всей энергосистемы — по времени он обычно составлял пятьдесят минут. Чтобы сократить время расчета, решили использовать мощную вычислительную систему. Принято считать, что производительность вычислений — это прежде всего мощность процессора и, быть может, отклик некоторых окружающих его компонентов. К сожалению, при этом часто забывают о подсистеме ввода-вывода, производительность которой как минимум не должна стать узким местом вычислительного комплекса. И коль скоро на сегодняшний день в сфере высокопроизводительных вычислений серверные платформы и платформы хранения являют собой различные решения (порой даже производимые различными вендорами), результирующая, цельная вычислительная платформа должна быть, если угодно, идеально гармонизирована по ресурсам. В принципе, если учесть все нюансы, это весьма непростая задача, и не каждая комбинация решений может оказаться приемлемой в конкретной ситуации.

Наша ситуация безусловно представляет собой пример высокопроизводительных вычислений, но в отличие, скажем, от научных задач или моделирования эксплуатации промышленных изделий фактор реального времени доступности мощностей и данных играет для нас еще более важное значение. Поэтому функционирование отдельных компонентов аппаратного решения (как по отдельности, так и в связке друг с другом) должно быть практически идеальным. Прежде чем приобрести оборудование, мы должны были провести тестовые испытания. Сделать это на точно такой же конфигурации было невозможно, поэтому производительность самого расчетного ядра проверили на похожих серверах IBM System x3950 предыдущей модели. Тестирование проводили в московском центре инноваций IBM. Результат нас устроил, тем более что серверы новой модели в связке с высокопроизводительной дисковой подсистемой EMC CLARiiON, обладающей пропускной способностью 4 Гбит/с, с успехом решили эту задачу. Теперь расчет балансирующего рынка длится всего пять минут и производится каждые четыре часа. Это, в свою очередь, позволяет системному оператору чаще производить расчет диспетчерского графика, а значит, и более точно формировать диспетчерские команды. В результате повышается точность планирования режимов и как следствие — надежность функционирования всей энергосистемы.

Хочу уточнить, что этот расчет — не единственный в бизнес-процессе. Регламентное время включает фазу сбора данных из филиалов, которые сначала верифицируются: идет агрегация расчетной модели, и только потом она передается на счет. Но сокращение времени, которого мы добились, позволяет весь бизнес-процесс ускорить.

Кластер в СО ЕЭС почти год находится в полностью боевом режиме. Мы очень довольны. Серверы IBM вместе с дисковой подсистемой EMC CLARiiON, ёмкость которой без труда может быть масштабирована до 83 Тбайт, показали хороший результат и по производительности, и по надежности. Этот комплекс в полной мере использует возможности 64-разрядной архитектуры вычислительной системы для параллельного проведения всех основных математических вычислений и операций ввода-вывода данных. То есть архитектура позволяет оптимально распределять нагрузку между компонентами вычислительной системы при обработке крупных массивов данных, что положительно сказывается на производительности всей системы.

Новый аппаратный комплекс предусматривает также возможность раздельного хранения данных: для такой цели могут быть созданы две географически разнесенные площадки. Это позволит за счет резервирования баз данных повысить живучесть системы, обеспечить ее надежное функционирование и предотвратить сбои в работе при различных нештатных ситуациях.