Тимура Бекмамбетова, создателя нашумевших блокбастеров о дневном и ночном дозорах, а также комедийной мелодрамы «Ирония судьбы. Продолжение», российской публике представлять не надо. Возможно, во многом благодаря высококачественным спецэффектам и компьютерной графике его кинохиты стали известны и на Западе. Сейчас, когда именитый режиссер готовит к выходу новый фильм, снятый на студии Universal Pictures, и работа уже ведется в стадии «постпродакшн», в компьютерной обработке отснятого материала задействованы огромные мощности. О том, как готовилось используемое в процессе ИТ-решение, мы и расскажем в этой статье.

Что для работы над новым фильмом под названием «Особо опасен» (Wanted) необходима собственная новая производительная постпродакшн-студия, Тимуру Бекмамбетову стало ясно еще в сентябре 2006 года. Было очевидно, что новые идеи в возможности оборудования, использовавшегося в «Дозорах», уже не вмесить, а услуги голливудских студий обошлись бы на порядок дороже. Для реализации решения команда создателей фильма выбрала Intel, где в свою очередь посоветовали обратиться к компании Kraftway как к своему доверенному партнеру. В результате был заключен договор о сотрудничестве, в соответствии с которым студии «Базелевс» было передано оборудование общей стоимостью более миллиона долларов США.

«Когда мы готовили эту студию, — рассказывает технический директор студии “Базелевс” Дмитрий Макаров, — мы обратились в Kraftway и познакомили её сотрудников с нашими задачами и пожеланиями. В результате Kraftway предоставила нам полный комплекс оборудования, необходимого для организации студии. Особенно хочу отметить дисковые массивы Kraftway-Hitachi и серверы Kraftway Express, это то ядро, которое обеспечивает нашей студии надёжную и быструю работу над фильмом».

Жилищный вопрос

По словам Александра Дорошенко, начальника отдела технического консультирования Kraftway, наиболее существенными проблемами при формировании решения были ограниченная площадь отведенной под ЦОД комнаты и невысокая прочность межэтажных перекрытий, поэтому значение имели объем, масса и тепловыделение оборудования — они должны были быть минимальными. Чтобы обеспечить требуемую производительность и отказоустойчивость при заданных условиях, специалистам Kraftway пришлось серьезно поломать голову. На момент расчета всей системы выпуск четырехъядерных процессоров Intel только ожидался, а использование этой технологической новинки в решении было весьма критичным — ведь это вдвое увеличивало количество ядер на юнит, что с учетом хорошо поддаю­щихся распараллеливанию задач графической обработки создавало весьма ощутимое преимущество и позволило бы понизить энергопотребление системы по отношению к вычислительной мощности.

Созданный компанией Kraftway серверный комплекс включал в себя 32 одноюнитовых сервера, в каждом из которых было установлено по два четырехъядерных процессора Intel Xeon 5320 Quad Core, 8 Гбайт оперативной памяти и жесткие диски по 160 Гбайт. Кроме того, студии было передано пятьдесят графических станций того же производителя.

Дмитрий Макаров добавил, что в качестве компактного решения рассматривались и блейд-серверы, но даже их использование не позволяло уместить большее количество ядер в том же ограниченном объеме. «Серверная ферма — это система, в которой в любой момент что-то может выйти из строя, — говорит он, — и для нас важна была открытость решения, отсутствие специфических деталей. В выбранном оборудовании стоимость запчастей ниже, меньше проблем нам и сервису».

Что касается обеспечения серверной комнаты электропитанием, то здесь, что называется, «горсвет» не подвел — студия находится на бывшей территории завода по производству пластиковых изделий, который был очень энергоемким предприятием, и требуемая мощность в 150 кВт с легкостью была обеспечена. Объемы затрат на электроэнергию ярко иллюстрирует тот факт, что вся студия за период своего существования «намотала» более 200 МВт.

Переход на следующий уровень

Дмитрий Макаров рассказывает, что сравнительный анализ производительности новой техники в сравнении с той, на которой создавался фильм «Дневной дозор», конечно же проводился. По его словам, на старой студии для обработки визуальных эффектов использовалось сорок серверов с одноядерными процессорами AMD 3200+, и понятно, что скорость работы возросла существенно: теоретически она увеличилась в шесть раз, а практически — в четыре, так как часть времени занимает передача данных на ферму. О технике, на которой создавался «Ночной дозор», с высоты нынешнего положения и говорить смешно: это были восемь серверов с процессорами Intel P4 с частотой 3 ГГц, позже к ним добавилось еще столько же, то есть весь фильм «считался» на шестнадцати хостах, которые все вместе равны двум нынешним.

Необходимость обмена данными с голливудской студией и с российскими аутсорсерами потребовала создания развитой коммуникационной составляющей. Компания использует канал связи с гарантированной пропускной способностью 30 Мбит/с. О важности обеспечения такого взаимодействия говорит впечатляющий объем переданных за время работы студии данных — 14 Тбайт.

Обеспечить прикрытие

Рассказывая о том, как обеспечивалась непрерывность работы серверного комплекса, Дмитрий Макаров отметил, что благодаря распараллеливанию задач на множество узлов и независимости от каждого из них в отдельности резервировать серверы не пришлось. Выход из строя одного сервера в годовом цикле ничего не значит, да и в течение суток потеря трех процентов мощности незначительно отразится на скорости обработки заданий. Продолжая разговор о надежности, он отметил, что за восемь месяцев существования в студии засбоила лишь одна деталь сервера, которую менее чем за сутки заменили сервисные специалисты. Не потребовало чудес и создание системы охлаждения: в серверной комнате нет фальшпола и криогенных систем — обошлись двумя кондиционерами мощностью 16 кВт каждый.

Чтобы серверный комплекс не ушел несанкционированно в сумрак, бесперебойное питание обеспечивают три ИБП производства компании APC, которые позволяют автономно обеспечить работу основных сервисов в течение двух часов, причем система настроена так, чтобы автоматически отключать оборудование согласно приоритетам: до самого конца обеспечиваются доступ в Интернет и работа файл-сервера.

Ну и, конечно, нельзя обойтись без системы резервирования данных. Здесь используется ленточная библиотека Tandberg с картриджами по 400 Гбайт, в которую раз в сутки сбрасывается «бэкап», причем его среднесуточный объем составляет около 500 Гбайт, и архивные данные хранятся в течение месяца.

Дневной и ночной дозоры

«Проектируя работу студии, мы исходили из того, что люди должны работать днем, а оборудование — ночью», — рассказывает о принципах выполнения задач Дмитрий Макаров. Серверный комплекс настроен так, что в течение рабочего дня приоритетной является обработка пользовательских заданий в оперативном режиме. Понятно, что те задачи, расчет которых даже на мощной графической станции пользователя занял бы не одни сутки, на ферме считаются несколько часов, а то и минут. И это даже при том, что обычно для решения оперативных задач выделяется не более пяти машин на человека.

Каждый вечер на студии производится сбор заданий, и ферма показывает, сколько времени она будет обрабатывать их с определенным количеством серверов. Постановка задач в целом ведется специально выделенными для этих целей сотрудниками — супервайзерами, которые разделяют их так, чтобы каждая могла быть рассчитана за ночь. При этом параллельно ведется обработка нескольких заданий, и если выполнение какого-то из них необходимо ускорить, то ему просто выделяется максимальный приоритет.

Не с первого раза открываются тайны

Отвечая на вопрос о том, какие выгоды дает киностудии новое высокотехнологичное решение, глава технического отдела «Базелевс» не скрывает, что никакого количественного расчета не производилось: «Компания занимается делом, и наша задача сделать высококачественный продукт, а не рассчитывать сокращение расходов. Но именно с точки зрения качества важность для нас новых производственных мощностей переоценить сложно — это дает немалый простор для творчества. Если раньше ты получал результат через два дня и понимал, что получилось что-то не то, а переделывать уже нет времени, то сейчас художник может “поиграть” с визуальными эффектами. Основной кадр нового фильма мы переделывали раз пятьдесят, прежде чем получили то, что хотели, — настоящее бьющееся стекло, летящий человек. Причём сейчас она считалась около двадцати часов, на старой ферме на нее ушло бы два-четыре дня, а на одной рабочей станции — четыре месяца. В результате мы остановились бы на менее проработанном варианте или вообще не стали бы делать эту сцену».