Геофизическими расчетами приходится заниматься любой геологоразведочной компании, специализирующейся на поиске и разведке месторождений нефти и газа. Но сама суть расчетных задач накладывает определённые требования к системам хранения данных, которым большинство универсальных СХД не соответствует. Хотя есть и исключения. Именно это стало предметом нашего разговора с ведущим экспертом компании «Башнефтегеофизика» Булатом Зулкарнеевым.
Intelligent Enterprise: В чем специфика деятельности вашей компании? Какие требования к оборудованию она накладывает?
Булат Зулкарнеев: Наша компания является одним из крупнейших игроков на рынке геофизических услуг в России, и не только. Она давно вышла за пределы Башкирии.
Специфика геофизических расчетов состоит в обработке больших объемов данных. Причем они постоянно растут. В 2011 году мы обрабатывали порядка 110 терабайт данных, в
Когда объем входных данных составлял несколько гигабайт, это обстоятельство не вызывало больших проблем. Нам вполне хватало локальных накопителей серверов и СХД начального уровня. Мы попытались перейти к централизованному решению на базе оборудования одного из производителей, но с появлением новых крупных проектов, в частности Имилорского месторождения, которое занимает площадь 1,5 тыс. кв. км, ситуация кардинально изменилась. Объем входных данных по такой территории должен составить порядка 15 Тбайт, которые породят как минимум 600 Тбайт, а скорее всего намного больше. И это не единственный наш проект, хотя он является крупнейшим в России в области сейсморазведки. А данные по проекту необходимо хранить все время, пока над ним идет работа. В итоге системы от другого производителя хватило ровно на год и она также перестала справляться с нагрузками. В нее просто не помещался весь объем данных, а между тем все резервы по модернизации были полностью исчерпаны. Да и с производительностью были проблемы.
Всё это накладывает довольно противоречивые требования к СХД. С одной стороны, необходимо хранить большие объемы данных, обращаться к которым приходится не слишком часто. Перенести их на ленты невозможно, так как обратный перенос потребует больших временных затрат. Но при этом СХД в момент обработки должна обладать очень высокой производительностью как при потоковом, так и при случайном чтении и записи. Требуется также как файловый, так и блочный доступ. Такова специфика ПО, которое используется для геофизических расчетов. Но при этом совершенно не востребованы такие новомодные технологии, как перемещение информации по уровням хранения, thin provisioning, дедупликация. Они в наших задачах практически не работают, а их реализация стоит заметных денег.
Как и почему было выбрано оборудование для работ по проекту?
Был проведен тендер, в котором участвовали все основные производители СХД среднего уровня. По совокупности показателей выбрали оборудование Hitachi Data Systems. Немалую роль здесь сыграло и то, что эта СХД сертифицирована для использования с применяемым нами ПО. И наконец, СХД HUS VM, на которой мы остановились, отличает простота в настройке и эксплуатации. Уже на стадии пилотного проекта мы смогли использовать данный комплекс для продуктивных задач, хотя до этого не имели значительного опыта работы с СХД такого уровня. А активное использование технологий SSD-накопителей позволило разрешить все противоречия в наших требованиях по производительности. При этом фирменные FMD-модули HDS имеют лучшее на рынке соотношение емкости, производительности и цены. В итоге мы не сталкивались с такой проблемой, типичной для высокопроизводительных вычислений, как существенные просадки производительности при одновременном обращении к ресурсам хранения. А раньше эта проблема возникала регулярно. Сейчас же при том объеме лицензирования геофизического ПО, который мы имеем, она полностью снята. Хотя это не означает, что не надо работать над повышением производительности ввода-вывода.
Каковы планы по дальнейшему развитию ваших систем?
Мы предполагаем активное развитие решений по архивированию. Думаем над внедрением некого программно-аппаратного решения для централизованного хранения таких данных, которые пока хранятся разрозненно. Но взрывной и даже шокирующий рост данных, с которым мы столкнулись в 2013 году, существенно осложняет работу в этом направлении. Однако с помощью HDS и ее партнеров проблема решается.
