«Шестая генерирующая компания оптового рынка электроэнергии» (ОГК‑6) была создана в 2005 году и на тот момент объединила шесть регионально удаленных станций, являвшихся самостоятельными организациями, и управляющую компанию в Москве. В единое предприятие ОГК-6 была реорганизована в конце сентября 2006‑го. Несмотря на относительно небольшой срок существования компании, сегодня по ее корпоративной сети передачи данных (КСПД) кроме стандартного для любой КСПД трафика, генерируемого корпоративными информационными системами и пользовательскими приложениями (почтовыми клиентами, браузерами и т. п.), передается большой объем видео- и аудиоданных. В первом случае речь идет об учебных семинарах и производственных совещаниях, участники которых могут видеть на экране не только друг друга, но и происходящее на стройках компании. Во втором — об IP-телефонии и голосовых селекторных совещаниях, постепенно уступающих свое место видеоаналогам. О том, как создавалась и работает мультисервисная сеть компании, нам рассказал руководитель дирекции по информационным технологиям ОГК-6 Андрей Моничев.

Создание сети ОГК-6

Прежде всего после организации компании встала задача обеспечения взаимдействия между станциями. В результате был инициирован проект создания КСПД, охватывающей все филиалы компании. На тот момент каждый филиал уже имел канал доступа в Интернет, но их пропускная способность не соответствовала текущим потребностям бизнеса. И первое, что было сделано, — увеличена пропускная способность каналов до 2 Мбит/с и организована виртуальная частная сеть (VPN) через Интернет. Выбор VPN отчасти был обусловлен соображениями безопасности передачи данных.

Внешняя подрядная организация привлекалась только для разработки системного проекта. В задачи этой компании входило провести предварительное обследование телекоммуникационной инфраструктуры ОГК-6, а также определить пропускную способность и технологию организации каналов связи до филиалов. В итоге было предложено решение, которое учитывало возможность постепенного наращивания пропускной способности и вполне устроило заказчика. Не каждый филиал обладал оборудованием, позволяющим в качестве оконечной точки поставить маршрутизатор для организации VPN. В таких случаях организацию виртуальной частной сети обеспечивали выделенные UNIX-машины и установленное на них ПО. В некоторые филиалы для организации IP-телефонии были дополнительно поставлены маршрутизаторы или платы цифровых интерфейсов телефонных станций.

По мере ввода в эксплуатацию каналов связи от исполнительного аппарата до филиалов заключались дополнительные соглашения с оператором. Как и в большинстве случаев, основной проблемой являлась организация «последней мили». Часть филиалов имела в своем распоряжении все необходимое, для остальных организация «последней мили» возлагалась на оператора связи. Все работы по подключению филиалов компании через VPN-соединения заняли около трех месяцев. После их окончания был начат системный проект и осуществлен плавный переход на выделенную MPLS-сеть (мультипротокольная коммутация по меткам — механизм передачи данных, эмулирующий свойства сетей с коммутацией каналов поверх сетей с коммутацией пакетов) оператора «Синтерра». В итоге связь со всеми филиалами планируется организовать по двум разнесенным на логическом и географическом уровнях каналам с автоматическим переключением между ними. Основным каналом является MPLS-сеть с пропускной способностью 2 Мбит/с в каждом направлении, в качестве резервного используется VPN, проложенная через сеть общего доступа (Интернет).

Взаимодействие с операторами связи и зоны ответственности

Для удовлетворения своих потребностей в передаче данных ОГК-6 использует каналы с приоритизацией трафика. Кроме того, с оператором «Синтерра», предоставляющим основной канал связи, заключено соглашение об уровне сервиса (SLA) для обеспечения необходимого качества услуг. Сотрудники компании постоянно следят, как оператор исполняет SLA, а в случае нарушения направляют заявку в его службу поддержки. В соглашении указано, какой трафик и с каким приоритетом он обязан обеспечить компании. Например, может быть прописано, что при менее чем пятидесятипроцентной загрузке канала должна проходить передача голосового трафика в режиме реального времени. Если это перестает устраивать ОГК-6, компания заключает новый договор, скажем, на аналогичное условие при семидесятипроцентной загрузке. В случае нарушения договоренности оператор принимает заявку компании через свою систему Service Desk и отрабатывает ее. Был проведен ряд тестов для каналов связи с полной нагрузкой, и по их результатам проходила настройка согласно требованиям специалистов ОГК-6: где-то существовала проблема «последней мили», где-то «бутылочное горлышко» оказывалось у местных операторов; таким образом все заявленные договоренности были соблюдены. Существуют варианты организации «последней мили» через радиорелейные каналы, через радио-Ethernet, но в целом компания везде старается переходить на специально проложенные до операторов связи волоконно-оптические линии.

Определена зона разграничения ответственности между оператором и ОГК-6 — оконечный порт оборудования в исполнительном аппарате и филиалах. Что касается обслуживания узлового оборудования КСПД, то в основном всё управление маршрутизаторами лежит на одном человеке, который находится в московском офисе исполнительного аппарата. Он имеет доступ ко всему оборудованию и со своего рабочего места центра­лизованно настраивает его. Постепенно проходят обучение сотрудники филиалов, но поскольку находятся они главным образом в небольших городах, а чаще даже в поселках — спутниках станций, то с кадрами здесь существуют определенные проблемы. Кроме обучения предусматривается денежная мотивация, но пока, тем не менее, больше надежды возлагается на централизованное управление сетью. Отчасти поэтому было принято решение создавать центры обработки данных (ЦОД) именно в Москве, где значительно проще обеспечить поддержку и сопровождение серьезных систем, организовать каналы связи хорошего качества.

Виртуальный и реальный каналы

Как говорит Андрей Моничев, в начале строительства сети будущий объем передаваемой по ней информации посчитать невозможно. Но дело в том, что в зависимости от полноты использования пропускной способности канала стоимость эксплуатации MPLS может быть как выше, так и ниже стоимости выделенного канала. Мультипротокольная коммутация по меткам и была выбрана среди прочего потому, что на начальных этапах каналы загружены не полностью, и такое решение было более привлекательным по стоимости. Но объем передаваемых по сети данных растет, а поскольку именно по этому параметру (считается объем трафика) определяется оплата MPLS-канала, то в планах ОГК-6 — отойти от его использования, как только оплата обычного выделенного канала окажется дешевле. Таким был изначальный план, и соответствующая возможность сразу была заложена в настройках сетевого оборудования. Интерфейсы всех оконечных маршрутизаторов позволяют в случае превышения пороговой стоимости трафика перейти на использование выделенных каналов. Что и будет сделано при достижении определенного порога — при предоставлении выделенного канала оператора не интересует объем передаваемых данных, и его стоимость постоянна. Рассчитывая это пороговое значение, специалисты компании пришли к выводу, что пока по каналу ежемесячно передается менее 200 Гбайт информации, выгоднее использовать MPLS.

Виды трафика и загрузка каналов

При анализе загрузки канала учитывается и приоритизация трафика. Сейчас управление передачей данных в ОГК-6 реализовано с использованием QoS (quality of service — качество обслуживания). Каждому виду трафика назначается свой приоритет. Наивысший присваивается видеоконференцсвязи и голосовым данным, задержки в передаче которых недопустимы. В компании, как правило, ежедневно проходит два селекторных совещания, в том числе только голосовых. Видеоконференции проводят генеральный директор и главный инженер, используются они при обучении и общих встречах. Вторым после видео- и аудиоданных приоритетом обладает менее критичная к задержкам информация АСКУЭ (автоматизированная система коммерческого учета энергии и мощности). Сейчас для передачи голосовых данных используется шесть IP-каналов, связывающих телефонные станции. Поскольку выход на городские и междугородные автоматические телефонные станции нужно обеспечить через цифровые интерфейсы, специалисты компании стараются «последние мили» делать цифровыми и отходить от аналоговых технологий.

В филиалах эксплуатируются подключенные к MPLS-каналам конверторы IP-телефонии, при этом там есть как IP-номера, выделенные через конверторы IP-телефонии руководителям, так и прямые выходы на телефонные станции. MPLS-сеть также используется для передачи данных видеоконференцсвязи, которая дает возможность общаться восьми абонентам, находящимся в исполнительном аппарате или в филиалах ОГК-6. Кроме того, дополнительный трафик дает то, что в московских ЦОДах находятся серверы баз данных, с которыми работают все филиалы, используя для подключения к ним эти же каналы. Теоретически возможна ситуация, когда пропускная способность всех каналов будет использоваться на сто процентов.

Например, при одновременной передаче голоса и видео с дополнительным содержимым. Видеоконференцсвязь позволяет одному из собеседников (или нескольким, что применяется реже) параллельно со своим изображением передавать для других участников дополнительную информацию. Это может быть презентация, изображение с какого-то внешнего видео­источника, например, с камеры наблюдения за стройкой. Дополнительное содержимое используется и для видеообучения. Если в компании внедряется новая система, то совсем не обязательно для того, чтобы научить работать с ней, собирать сотрудников в Москве. Для них в ходе сеанса видеоконференцсвязи либо показывается презентация, либо в реальном времени демонстрируется работа в новой системе. Вот в этот гипотетический момент полной загрузки почтовый трафик или доступ к базам данных компании согласно правилам приоритизации трафика ограничиваются. Но поскольку доступ к низкоприоритетным с точки зрения QoS системам ОГК-6 организован через тонкие клиенты (веб-браузеры), подобная ситуация не сильно отразится на работе пользователей. По опыту компании такие всплески бывают не часто.

По тем же каналам передается технологическая информация коммерческим диспетчерам. В режиме реального времени к ним поступают данные системы обмена телеметрической информацией и автоматизированной системы диспетчерского управления. Чтобы не передавать весь объем этих данных, специалисты ОГК-6 сначала реализовали терминальный доступ к перечисленным системам, а затем доступ через веб-интерфейс.

Мониторинг и безопасность

Хотя в компании рассматривался проект по созданию системы мониторинга сетевой инфраструктуры на базе HP OpenView Operations, в конечном итоге ОГК-6 планирует перейти на другой продукт. Скорее всего это будет внутренний проект, в котором будет использоваться UNIX-приложение. Для контроля состояния устройств в данном решении планируется использовать стандартные сетевые протоколы (ICMP), проверяющие работоспособность маршрутизаторов, открытость того или иного порта и т. п. Все полученные данные соберутся в единую точку, а сигналы об определенных событиях на рабочем месте дежурного будут появляться в зависимости от выбранных критериев. Сейчас данное решение находится на этапе разработки, и описанная функциональность пока больше используется администратором системы, но постепенно будет передана дежурному инженеру.

Кроме того, в ключевых точках мультисервисной сети стоят альтернативные выходы через GSM. Таким образом в случае сбоев, во-первых, обеспечивается отправка SMS-сообщения специалисту, а во-вторых, администратор может получить альтернативный доступ к маршрутизатору для изменения через терминальный клиент его конфигурации, даже если по какой-либо причине нет доступа к ключевому маршрутизатору ни по интернет-каналу, ни по выделенному каналу ОГК-6. На станциях дежурный персонал находится в местах расположения коммуникационных центров, рядом с АТС, кроссовыми шкафами, в непосредственной близости от оборудования, и соответственно он тут же может принять те или иные меры для устранения неисправностей.

Безопасность передачи данных на ОГК-6 — отдельное большое направление деятельности, в котором подчиненная Андрею Моничеву дирекция является исполнителем требований подразделения безопасности. В частности, технологические производственные системы станций выделяются в отдельные подсети, в точках объединения которых с сетями общего доступа в обязательном порядке устанавливаются межсетевые экраны (firewall). Например, подсеть, организованная для телемеханики, может пользоваться общей физической сетевой средой предприятия, но обязательно существует межсетевой экран, отсекающий данные таким образом, что в эти подсети пользователи общей сети не имеют доступа.

Созданная телекоммуникационная инфраструктура в ОГК‑6 в настоящее время удовлетворяет все потребности в информационном обмене с филиалами, но эффективное ее использование для управления процессами внутри компании возможно только при условии грамотного эксплуатационного обслуживания и планомерного развития. Поэтому самый важный элемент телекоммуникационной сети — специалисты, которые обеспечивают круглосуточную работу всего комплекса оборудования.