Блейд-серверы, виртуализация, Linux в последние годы проникают в ИТ-системы очень активно, в том числе и для работы с критически важными приложениями вроде ERP-систем. Специально для их развертывания разработаны такие решения, как FlexFrame компании Fujitsu Siemens Computers. О его внедрении мы беседовали с Сергеем Комиссаровым, директором департамента информационных технологий группы компаний СНС, эксклюзивного диситрибьютора British American Tobacco в России.

Intelligent Enterprise: Давайте начнем разговор с проекта внедрения SAP R/3. Какие модули задействованы, какая часть ваших подразделений вовлечена в проект и какая уже перешла на новую систему?

Сергей Комиссаров: Проект внедрения SAP R/3 идет уже больше года -- с августа 2006-го. С нынешнего июня управляющая компания, логистическое подразделение и два филиала, в Твери и Коломне, уже работают в SAP R/3. На данный момент у системы около 150 пользователей, при пиковой нагрузке одновременно их может быть 60--80. Вообще у нас существует три типа филиалов, эти градации мы вывели исходя из количества сотрудников и задействованных там бизнес-процессов. Для каждой такой группы мы разработали мастер-проект, по которому и будет проходить внедрение. К середине следующего года планируем завершить внедрение во всех филиалах, и пока всё идет по плану. Мы хотим делать всё сами, и можем это -- у нас есть своя экспертиза по SAP, так что в этом отношении мы не сильно зависим от подрядчика.

И перед вами встала задача выбора аппаратной платформы для SAP R/3?

Именно так. Мы выбирали аппаратную платформу в течение трёх-четырёх месяцев, причем дебаты шли весьма бурные. На первом этапе этого тендера было довольно много участников, но большинство их быстро отсеялось. В результате из серьезных игроков остались HP (как интегратор), КРОК и «Техносерв А/С». Им были предоставлены все данные для определения характеристик будущей системы (сайзинга), и перед каждым была поставлена задача предложить лучшее, оптимальное с их точки зрения решение для поддержки SAP R/3 в нашей компании.

Что предложила HP, думаю, понятно. КРОК предложил решение на оборудовании семейства IBM System p. Предложение «Техносерв/АС» состояло в решении на архитектуре FlexFrame от Fujitsu Siemens Computers, которое на тот момент было для нас абсолютно неизвестным. Сначала у нас даже возник вопрос, предлагается ли оно всерьез, или это лишь средство повлиять на других поставщиков с целью снизить цену.

В процессе выбора мы рассматривали многие параметры. Сначала подробно изучали технические особенности каждой системы, и в результате я сделал вывод, что на любой их них SAP будет работать практически одинаково. Надо лишь грамотно подобрать конфигурацию платформ и провести сайзинг системы. Далее мы стали рассматривать такие параметры, как объем инвестиций и расходы на эксплуатацию, какие ресурсы нужно для этого привлекать, т. е. все то, что скрывается за словами «общая стоимость владения». И тут архитектура FlexFrame опережала конкурентов по всем параметрам.

Сдерживали меня лишь два обстоятельства. Первое: система новая, и опыт её внедрения в России пока еще очень небольшой -- до нас архитектуру FlexFrame выбрали только «Белгородэнерго» и Siemens. И второе: в третьей версии FlexFrame применяется только система хранения данных типа NAS, которая, на мой взгляд, имела ряд недостатков в сравнении с SAN-системами. Так что пришлось опираться лишь на опыт внедрения Flex Frame в Германии, а также на аналитические данные. Директор по развитию ERP-проектов представительства Fujitsu Siemens Computers Вадим Золотарев меня буквально засыпал ими, и я сам проводил расчеты. В итоге получалось, что расчетное TCO у FlexFrame на 64% ниже, чем у классических систем, цифра весьма внушительная, при том, что с технической точки зрения система FlexFrame построена очень грамотно, проблем с ней быть не должно. И в итоге мне пришлось переформулировать свой вопрос так: почему же я должен выбрать не решение от Fujitsu Siemens Computers, а что-то другое.

Соотношение цена/производительность у системы FlexFrame также оказалось выше, чем у конкурентов. Чтобы это понять, я свел в таблицу основные характеристики предлагавшихся решений и рассчитал, каких денег стоит обеспечение 1000 SAPS производительности системы на каждой из них. Кроме того, я оценил, сколько будет стоить добавление одного процессорного ядра с необходимым объемом оперативной памяти. Второй параметр необходим, потому что конструктивы у всех систем разные, и в некоторых из них для того, чтобы добавить лишний ЦП, необходимо вставить целый блок из нескольких процессоров с внушительной стоимостью. И тут расчет опять был в пользу архитектуры FlexFrame. Кроме того, пообщавшись с инженерами и администраторами, которые эксплуатируют SAP R/3 на разных системах (от Sun, HP и IBM), я понял, что администрирование классических кластеров в такой ситуации существенно более ресурсоемко, чем на системе FlexFrame.

Вот так и было выбрано FlexFrame от Fujitsu Siemens Computers. Кроме того, его TCO ниже еще и потому ,что ОС Linux проще, чем промышленные Unix-системы, а значит, легче найти необходимых специалистов. Мы, например, просто переучили системного администратора, который раньше обслуживал Windows-системы и чей опыт работы с Linux ограничивался только домашними экспериментами. Второй администратор уже работал с HP-UX. Нескольких занятий с инженерами из Fujitsu Siemens Computers им обоим оказалось достаточно для того, чтобы поддерживать весь комплекс (конфигурирование серверов проводили сами инженеры поставщика системы). Система у нас эксплуатируется уже четыре месяца, и то, что я о ней ничего не слышу в плане возникающих проблем или необходимости каких-то дополнительных действий, -- лучший показатель. Я, наверное, даже скоро забуду, кто ее администрирует.

Очень часто компании привязывают себя к продукции какого-то вендора, скажем, выбором соответствующего корпоративного стандарта. Как вы относитесь к подобной стандартизации и играло ли это какую-то роль при выборе аппаратной системы для ERP?

Мы никогда не привязывали себя к какому-то производителю. Выбирая оборудование, мы всегда отталкивались в первую очередь от задач, которые с его помощью предстояло реализовать, и от стоимости приобретения и эксплуатации. Кроме этого для нас немаловажно, сможем ли мы его поддерживать собственными силами. Так что у нас, как и у многих, существует самый настоящий «зоопарк», но каждая вещь в нем на своем месте. Например, серверы HP Proliant обслуживают систему IP-телефонии от Cisco. Модели серверов других производителей, которые рекомендует использовать Cisco, попросту обошлись бы нам дороже. Любая закупка в компании СНС сопровождается мини-тендером, в ходе которого и подбирается оптимальное решение по соотношению цены и качества. Хотя бывают случаи, когда нужна унификация. Например, у нас есть ферма блейд-серверов, обслуживающая систему автоматизации торговли. Конечно, из-за того, что она собиралась в течение довольно длительного времени, полного единообразия добиться не удалось из-за использования разных процессоров, установленных объемов памяти, но тем не менее и сама платформа, и средства управления ею были унифицированы.

Какова конфигурация системы на настоящий момент?

У нас работает в целом стандартный для системы FlexFrame набор: шесть блейд-серверов Fujitsu Siemens Computers Primergy BX630 на процессорах AMD Opteron 885, из которых три -- продуктивные, по одному серверу выделено для систем разработки и тестирования и еще один находится в резерве. Два стоечных сервера Fujitsu Siemens Computers Primergy RX300 выделены для управления всей системой. Все они работают в среде SUSE Linux Enterprise Server -- эта ОС поддерживается как Fujitsu Siemens Computers, так и SAP. Ну и наконец система хранения данных типа NAS от Network Appliance.

При этом у нас заложен довольно большой запас по производительности. Кстати, когда смотришь таблицы быстродействия блейд-серверов Fujitsu Siemens Computers Primergy BX630 на сайте SAP и сравниваешь их с другими, то эти цифры поначалу вызывают недоверие. Например, исходя из них система FlexFrame, состоящая из шести блейд-серверов стандартной архитектуры работает производительнее, чем решения других участников тендера в предложенных нам конфигурациях.

В качестве одного из преимуществ архитектуры FlexFrame называют снижение TCO. Вы сказали, что расчетное TCO этого решения оказалось на 64% ниже по сравнению с классическими системами. Оправдываются ли такие оценки на практике или об этом пока рано говорить?

Прежде всего, ввиду общей невысокой стоимости систем FlexFrame и само это решение оказалось для нас относительно недорогим. Реальная цифра затрат на эксплуатацию -- то, что мы платим в рамках договора по сервисному обслуживанию. Другая цифра, с которой можно было бы сравнивать, -- во что мне обошлось бы такое обслуживание при выборе оборудования других производителей. По моим оценкам первая величина втрое-впятеро ниже второй. И это за счет того, что используется оборудование стандартной архитектуры, которое намного дешевле в обслуживании. Инженеры и администраторы могут купить сервер-лезвие, установить его в стойку, инсталлировать ПО и включить в работу. В случае RISC-серверов с промышленными Unix-системами так просто, без вызова сотрудников сервисной службы, проделать аналогичную процедуру, думаю, не получится, и процесс восстановления займет существенно больше времени. Плюс к тому -- стоимость специалистов. При выборе Unix-системы мне пришлось бы искать двух подготовленных и совсем не дешевых человек. Выбрав архитектуру FlexFrame, я обошелся имеющимися у меня ресурсами, просто два администратора прошли переподготовку.

Каково критическое время восстановления сервисов ERP-системы для вашей компании? Снижает ли использование архитектуры FlexFrame простои?

У системы FlexFrame очень высокая живучесть. Всё зарезервировано, и вероятность выхода полного комплекса из строя крайне низка, практически близка к нулю. Даже одновременный сбой трех «лезвий» из шести не приведет к деградации производительности продуктивной системы. Конечно, техника есть техника, но все же вероятность того, что прервется связь или произойдет отказ электропитания во всем здании намного выше.

Как показали результаты специально проведенного анализа, для нас некритичен трёхчасовой простой ERP-системы. Что касается времени восстановления сервисов, прерванных в результате сбоя, то оно не превышает двух минут. Такова оценка инженеров компании SAP, проведённая ими при установке системы FlexFrame.

Кроме того, архитектура FlexFrame обладает новым качеством, не присущим кластерным системам: любой сервис может быть перемещен с одного сервера на любойдругой. А в кластере мы держим в резерве точно такую же систему, куда перемещаются приложения при отказе основной. При этом на какой-то третий сервер они переместиться уже не смогут. Да и однократный отказ приводит к серьезным проблемам. А мы экспериментировали, имитируя четырехкратный отказ. Но пока функционирует ядро системы, она сохраняет работоспособность. Инженеры компании SAP впервые инсталлировали SAP R/3 на такую систему, и многие поначалу не верили, что приложение само будет перемещаться с сервера на сервер. И их, и наш интерес был удовлетворен в полной мере. К тому же архитектура FlexFrame позволяет проводить все регламентные работы -- обновление ПО, установку всевозможных программных «заплаток» и т. д. без полной остановки системы. А на такие плановые остановки приходится от 30 до 40% всего времени простоев.

Одним из важных преимуществ систем, использующих триаду «виртуализация -- консолидация -- автоматизация», является гибкая балансировка нагрузки в кластере виртуальных машин. Как это повлияло на эффективность использования серверов? Можно ли говорить о каком-либо выигрыше в осязаемых показателях (снижение количества физических серверов, занимаемых площадей, затрат на электроэнергию)?

Пока мы не сталкивались с перегрузками системы, так что придется рассуждать в теории. При использовании виртуализированных сред серверы жестко не привязаны к приложениям или модулям, которые должны работать на них. При традиционной схеме, когда одно приложение работает на выделенном для него сервере, перенести нагрузку на другой практически невозможно. В результате утром, когда сотрудники входят в систему, Enterprise Portal перегружен, в то время как другие модули практически простаивают. Кроме того, мощность серверов рассчитывают исходя из пиковой нагрузки. А, например, HR-модулю пиковая производительность требуется лишь два дня в месяц, когда сотрудникам начисляют заработную плату, остальное же время он практически не загружен. Но при использовании виртуализации перебросить ресурсы на другую задачу не представляет больших трудностей. Мы динамически управляем производительностью, причем автоматически, с помощью компонента ACC из состава SAP NetWeaver.

Выигрыш в площадях также был заметный. Так, например, системе на базе серверов семейства IBM System p понадобилось бы три стойки (c учетом системы хранения). Система FlexFrame в нашей конфигурации заняла всего две, да еще осталось место для увеличения производительности системы более чем в два раза.. А учитывая ежемесячную стоимость размещения стоек на арендованных площадях в аутсорсинговом ЦОДе, это будет прямая экономия.

Много говорится о снижении затрат на администрирование системы. Насколько архитектура FlexFrame позволяет решить эту задачу?

Как я уже говорил, мне не пришлось брать на работу дорогостоящих сотрудников, а специалисты по промышленным Unix-системам не только дорого стоят, но их сложно найти. Плюс к тому существуют общие проблемы с адекватностью ИТ-персонала: очень много тех, кто считает себя весьма подготовленным, но найти среди них реального специалиста и при этом еще и адекватного, крайне тяжело. Те, кто на самом деле что-то знает и умеет, уже где-то работают. Так что скорее всего мне пришлось бы перекупать такого сотрудника у другой компании. А это значит, что ему необходимо предложить заработную плату выше среднерыночной либо дать какой-то дополнительный стимул. Вот из-за этого, наверное, заработная плата ИТ-специалистов и поднялась. При их недостатке все друг у друга перекупали персонал, и в результате заработная плата рядового ИТ-сотрудника теперь находится на уровне финансового менеджера среднего уровня, а то и выше. Так что я не знаю, сколько стоил бы мне специалист по Unix, но проблемы у меня были бы весьма серьезные. И потратили бы на него если не в разы, то на десятки процентов больше точно.

А в нашем случае я просто перевел на другую должность одного администратора, наиболее подготовленного в плане Linux, а на его место взял другого. Обычного администратора Windows, которых больше и которые намного дешевле. Ему пришлось пройти обучение, но на это ушло лишь несколько занятий. Хотя знаний, которые он получил, хватает для администрирования и оперативного управления системой, но их недостаточно для ее конфигурирования или развертывания, по крайней мере пока мы набрались опыта. По этой причине мы и заключаем сервисный договор. В результате, выбрав систему на базе Linux, мы убрали целый ряд вероятных издержек и приобрели опыт по работе с еще одной системой, которой у нас до этого не было.

Каковы планы на дальнейшее развитие вашего ЦОДа? Планируется ли его расширение?

Наша компания является территориально-распределенной, у нас 103 филиала по всей России от Калининграда до Петропавловска-Камчатского. Все они объединены в единую сеть, и все будут работать в SAP R/3. И чтобы еще более снизить вероятность простоя, мы уже практически закончили переговоры о создании резервного ЦОДа. Канал связи до основной системы также будет зарезервирован. Сейчас идет выбор площадки, а с этим в Москве довольно сложно. Это будет первый в России проект по внедрению системы FlexFrame с резервным ЦОД.