Ученые Объединенного института ядерных исследований (ОИЯИ), расположенного в подмосковной Дубне, являются активными участниками исследований в рамках международного проекта «Большой адронный коллайдер» (LHC). Для хранения, обработки и анализа результатов экспериментов на LHC была разработана технология распределенных вычислений GRID и построена глобальная вычислительная инфраструктура Worldwide LHC Computing Grid (WLCG), объединяющая 140 вычислительных центров в 34 странах. При этом Лаборатория Информационных технологий ОИЯИ является одним из самых нагруженных центров обработки данных WLCG. Интенсивность обмена данными и потока данных между узлом обработки и источником данных требует очень широкой полосы пропускания. Тем более, что в ходе типового эксперимента на LHC происходит 4 миллиона только значимых событий за час, в результате чего порождается порядка 5 петабайт данных.
Директор ОИЯИ Алексей Сисакян так прокомментировал задачи проекта по созданию канала связи: «Для нашей работы очень нужны высокопроизводительные онлайн-системы как для «домашних» проектов, так и для крупных внешних. Естественно, при таких общих показателях нам нужен такой элемент, как глобальная GRID инфраструктура, без которой физикам и инженерам просто не обойтись при анализе сколько-нибудь крупного массива данных, полученных на LHC, а в дальнейшем и в результате других экспериментов, которые будут проводиться. Без этого об инновационном развитии, о котором так много сейчас говорят, не может быть и речи».
«Чтобы полноценно участвовать в обработке данных, полученных на LHC, требуется очень много условий. Сертификация даже для узлов TIER 2 требует обеспечения передачи данных со скоростью не ниже 20 Мбайт/с в течение суток. А значит, требуются высокоскоростные и надежные коммуникации. Высокие требования к каналам связи требуются и на других этапах сертификации» – подчеркнул Владимир Кореньков, заместитель начальника Лаборатории информационных технологий ОИЯИ.
В работах по созданию канала участвовали ФГУП «Космическая связь», Российский НИИ Развития общественных сетей (РосНИИРОС), а также интегратор «Инфосистемы Джет». Канал объединяет ОИЯИ с площадкой РосНИИРОС М9. Именно РосНИИРОС эксплуатирует RBnet, транспортную часть российского сегмента WLCG. В качестве кабельной инфраструктуры был использован волоконно-оптический кабель, принадлежащий ФГУП «Космическая связь». Специалисты компании «Инфосистемы Джет» выполнили работы по обследованию, анализу и выбору сетевого оборудования, запуску его в эксплуатацию.
Длина всей магистрали составляет более 200 км и состоит из трех узлов: «ОИЯИ Дубна», «Радищево» и «РосНИИРОС М9». При этом расстояние между «Радищево» и «М9» составляет более 130 км, что близко к предельной дистанции для оптоволоконного канала с данными характеристиками. Это потребовало тщательной настройки усилителей для достижения необходимого качества сигнала. Да и вся кабельная инфраструктура ФГУП «Космическая связь» эксплуатируется уже более 10 лет, и её характеристики со временем сильно изменились. Это потребовало тщательного измерения качества кабеля на всем промежутке Дубна-Москва, составления соответствующей спецификации оборудования, проведения тонкой настройки канального оборудования при его подключении.
Трудности и препятствия в ходе данного проекта Владимир Кореньков описал следующим образом: «Проект был очень сложен, как с организационной, так и с технической точки зрения, поскольку требовалось взаимодействие сразу с шестью организациями. Много трудностей было с размещением оборудования в 7 точках. Требовали определенного опыта работы по настройке оборудования уплотнения канала».
Магистральный канал в настоящий момент обеспечивает пропуск 2-х сигналов 10 Gbit Ethernet. Канальное оборудование позволяет объединять до 88 сигналов, несущей способностью 10, 40 и 100 Gbit/s. Для увеличения количества сигналов, передаваемых между узлами, достаточно будет нарастить конфигурацию оконечных узлов.
Таким образом, построенная линия связи обеспечит ОИЯИ многократный рост пропускной способности без замены оборудования, с помощью линейного наращивания. Итоги работ Алексей Сисакян подвел следующим образом: «Мы теперь долгие годы не будем иметь проблем с каналом связи до Москвы, причем не только для института, но и для всех предприятий-резидентов, которые базируются и будут базироваться в особой экономической зоне «Дубна»».
