Интересно, как по мере возникновения новых задач появляются ранее неизвестные средства их решения, а с появлением технологий возникают достойные сферы их применения. Флэш-память, бизнес-аналитика и большие данные как раз такую ситуацию и демонстрируют. В последнее время флэш-память корпоративного назначения, применяемая в серверах и системах хранения, стремительно дешевеет — на 50% в год в течение трех лет, под данным IDC. Это приводит к быстрому расширению сферы применения устройств, основанных на такой памяти.

Джефф Янукович, руководитель научно-исследовательских работ (твердотельные накопители и технологии оптимизации) в компании IDC, отмечает, что если в 2011 году сегмент корпоративных флэш-устройств составлял 5 млрд. долл. США, то в 2014-м, по прогнозу IDC, этот объём превысит 10 млрд. долл. Использование флэш в корпоративных сегментах становится мейнстримом. Большие данные и бизнес-аналитика — вот те направления, где флэш-технологии востребованы в первую очередь. Пропорционально изменению спроса меняются и акценты производителей. Наше издание в январском номере, посвященном технологическим направлениям рубежа 2012—2013 годов, также называло использование флэш-памяти как одну из ключевых тенденций в области хранения корпоративной информации. В частности, нами отмечалось, что одним из признаков ее «корпоративности» является то, что данная технология именно за последнее время перестала быть исключительно предметом разработок компаний-стартапов. Ею в промышленном масштабе занялись ведущие вендоры. В качестве примера мы называли вполне конкретные инициативы таких компаний, как EMC, IBM и NetApp.

Компания NetApp, известная как вендор дисковых СХД, постоянно анонсирует новые модели на флэш-технологиях, а в феврале 2013 года на специально организованном в ее штаб-квартире пресс-форуме global media event сообщила о выводе на рынок новой линейки FlashRay. В ней будут применены самые дешевые флэш-носители, такие же, как используются в смартфонах и подобных им гаджетах, но будет устранена одна из хорошо известных слабостей флэш — быстрый износ, зависящий от интенсивности использования. Диски, разумеется, могут выходить из строя, но момент, когда это произойдет, не будет зависеть от того, сколько раз до этого имел место цикл чтения/записи на диск. В настоящее же время эта особенность флэш-устройств накладывает определенные требования в том числе на алгоритмы приложений. В линейке FlashRay NetApp рассчитывает уйти от этой проблемы, обеспечив пятилетний срок жизни устройства при любой интенсивности использования.

Для успешного и повсеместного распространения на рынке, подчеркивает г-н Янукович, флэш-массивы должны быть не просто средством повышения производительности. Они должны обеспечивать надежность системы, готовность данных и возможность технической поддержки. Новые инициативы NetApp он считает революционными.

Брайн Павловски, старший вице-президент NetApp и бывший Chief Technology Officer, один из авторов новой разработки, отмечает, что появление быстрых систем хранения может существенно изменить корпоративные архитектуры. Если раньше «узким горлом» было быстродействие СХД, то теперь, когда оно резко возрастет, возникнут другие проблемы. Таким «узким» местом станут сети и сами приложения. Компания, переходящая полностью на флэш-СХД, должна будет довести пропускную способность сетевой инфраструктуры до 40 Гбит/с.

Бета-версии продуктов FlashRay будут ограниченно доступны в середине 2013 года. В 2014-м линейка будет полностью выведена на рынок. Она изначально разрабатывалась для увеличения окупаемости систем на основе флэш-компонентов. Продукты FlashRay — очередной этап воплощения стратегии NetApp по созданию интеллектуальной комплексной инфраструктуры, полностью оптимизированной для использования флэш-технологий.

Чтобы планировать подобные серьезные инфраструктурные трансформации, компания должна иметь веские основания. Обычно поставщики решений называют «большими» данные объемом в сотни терабайт. В этом смысле в большинстве российских компаний больших данных не существует. Но есть и «относительные» определения, когда «большими» считаются такие объемы данных, которые могут вывести из строя действующую инфраструктуру организации, нарушить её нормальную работу. При этом предполагается, что накопление данных идет более-менее монотонно до определенного момента. Затем начинается взрывной рост и возможны два сценария: либо ИТ-системы «захлебываются» потоком информации и продуктивность компании фатально падает, либо, если поток данных освоен и используется адекватно, продуктивность стремительно растет. Точка ветвления не зависит от абсолютного объема: и 100 Гбайт могут вызвать крах, если к их появлению компания не готова, и коснуться это может кого угодно.

Поэтому то, что происходит в более зрелых с точки зрения ИТ странах, возможно, не так и далеко от нас. В ноябре прошлого года компания NetApp совместно с аналитическим агентством Vanson Bourne провела исследование в восьми странах Европы и Израиле и получила ответы на некоторые общие вопросы от 1400 CIO и лиц, ответственных за ИТ.

Нужно ли принимать решения быстрее, чем раньше? Большинство респондентов (78%) считают, что скорость принятия решений растет. При этом в Израиле так думают 97% опрошенных, в Германии — 66%. А 80% уверены, что сбор данных и фактов для принятия стратегических решений не должен занимать более одной недели. Чем грозит промедление, запаздывание в принятии решений? Ответы распределились так: потерей прибыли (23%), потерей потенциальных клиентов (22%); 20% опасаются, что в этом случае их сочтут «опоздавшими», 18% боятся потерять существующих клиентов, 17% — уступить позиции конкурентам.

Какие технологические инвестиции считаются полезными для поддержки бизнеса? Более половины респондентов уверены, что это облачные решения и доступ к корпоративным данным в любой момент из любой точки, с любых устройств. Способ хранения данных влияет на то, как они используются в компании, считают две трети опрошенных. К барьерам в принятии решений 54% относят сложность хранимых данных, 46% — их объем, 33% — стремление отдельных департаментов строить собственные «облака».

Что еще нужно клиентам? Абсолютная надежность инфрастурктуры, без простоев вообще, и неограниченная масштабируемость. Третье желание — «экстремальная эффективность». Волшебная палочка не прилагается, к сожалению. Несмотря на смелость такой триады, в компании NetApp совершенно серьезно рассматривают ее как реальную потребность своих клиентов уже в 2017 году, а средством реализации всех трех желаний называют кластеризацию. Для компании, которая активно разрабатывает операционную систему Data ONTAP 8 для управления кластерами систем хранения, это логично. Но судя по информации из многих других источников, ставка на кластеры может действительно оказаться самой выигрышной в ближайшие годы.

Hadoop на слуху и у российских специалистов, но когда узнаешь, что есть американские ИТ-фирмы, которые полностью строят свой бизнес на проектах, связанных с переходом на эту технологию, становится ясно: ни незрелость рынка, ни относительно малый масштаб бизнеса не спасут нас от кластеризации. Одни Facebook и Google такой спрос создать не могут при всем желании. Во всяком случае Игорь Литвинов, руководитель бизнес-направления аппаратно-программных комплексов компании «Микротест», считает, что NetApp активно отбирает у конкурентов долю рынка в России, так как оказалась в нужное время в нужном месте с нужным продуктом. «Практически все крупные “облачные” ЦОДы сейчас используют СХД NetApp, и эта тенденция развивается, поскольку технологии, которые давно развивались в СХД NetApp, оказались очень востребованы в “облаках”», — полагает Литвинов.

Решения NetApp используются в CERN, для хранения и обработки данных большого адронного коллайдера, но есть и более «приземленные» примеры, непосредственно связанные с бизнесом. Один из них — производитель косметики Revlon. Эта корпорация работает в частном облаке, в виртуализированной среде, где используется более пятисот приложений и происходит более 15 000 их переносов в месяц. Требуемая доступность СХД NetApp — 99,9999% времени.

Revlon создала новую модель обработки и организации 3,6 Пбайт данных, вырабатываемых в результате обработки информации о 660 миллионах товарных единиц ежемесячно. С помощью продуктов NetApp стало возможно внедрить глобальную эталонную структуру, которая помогает компании размещать актуальную информацию о товарах на мобильной платформе бизнес-анализа независимо от устройств и уровня сложности операций. Revlon сообщает, что при использовании решений NetApp расходы на электроэнергию сократились на 72%, площадь ЦОДа была уменьшена более чем на 50%, а расходы на ИТ сократились на 70 млн. долл. США. С 2007 года Revlon смогла увеличить количество успешно внедренных ИТ-проектов на 425%, сократить время их внедрения на 70%, причём 99,6% проектов было внедрено вовремя и в рамках бюджета. Почему энергопотребление упало — вполне понятно и ожидаемо, почему площадь ЦОДа сократилась — тоже. Но процент успешно внедренных проектов явно никак не может быть связан с продукцией определен­ного вендора, скорее это следствие каких-то более глобальных изменений в организации управ­ления ИТ.

Один из давних клиентов NetApp, активно применяющих флэш-решения, — компания Gracenote, в последние пять лет принадлежащая Sony. У нее необычный бизнес: медиа-распознавание и информационный сервис. Если вы вставляете CD без маркировки в проигрывающее устройство и хотите узнать, что же это за запись, вы можете обратиться к онлайн-сервису Gracenote и за скромную сумму получить название всего CD и каждого трека и даже данные об исполнителе. Это возможно потому, что каждый CD снабжен невидимой человеку маркировкой, содержащей все эти данные, и каждый отдельный трек тоже имеет информационный блок. Так же можно распознавать записи на Blue Ray, DVD-дисках, радиозаписи, записи, полученные из сети. Все эти типы распознавания основаны на разных технологиях, но основа бизнеса Gracenote — база данных, хранящая информацию о записях и исполнителях.

Метью Лидс, вице-президент по операциям Gracenote, рассказывает, что софтверные модули фирмы встроены в проигрывающие устройства многих вендоров, в том числе они есть в автомобильных медиацентрах, ведь число машин, постоянно подключенных к сети, быстро растет. У Gracenote около миллиарда пользователей и столько же устройств, регулярно обращающихся к базе. Сервис работает в режиме 24×7×365. Каждые сутки проходит около полумиллиарда обращений. «Если бы мы были поисковой системой, у нас трафик был бы больше, чем у Google. Тринадцать лет назад, когда я только пришел в компанию, обращений было около миллиона в день», — говорит Лидс.

Объемы данных тоже велики: кроме собственно информации о записях — а новые данные загружаются ежедневно, — Gracenote работает с владельцами прав на звукозапись по всему миру, хранит логи, информацию по запросам: откуда пришел запрос (с очень подробной детализацией), каким он был, что ответили.

База Gracenote написана на Oracle, это собственная разработка. С самого начала она была сделана в расчете на кластеры. СХД с флэш-памятью применяются для ускорения работы баз данных. Данных — петабайты. На них основана весьма развитая бизнес- и операционная аналитика. Для быстродействия обработки запросов важно, какая часть информации хранится во флэш-памяти, а какая на дисках.

Применение флэш для аналитики, которая иначе занимает слишком много времени, имело бы экономический смысл, считает Лидс и поясняет: «Мы просчитываем экономическую эффективность всех своих вложений в ИТ. Частично обработку записей и подготовку внешней аналитики у нас выполняют люди, их десятки. Скорость обработки запросов критична для их производительности. На каждой встрече мы обсуждаем эффективность тех или иных вложений, эффект, который они могут дать, и прибыль, которую мы получим в результате внедрений. Если ты не можешь что-то измерить, то этого не существует. Мы не можем гадать, но этого не понимает финансовый директор. Мы имеем ясно измеряемые параметры работы ИТ-систем и их четкую связь с бизнес-показателями». Технологии меняются, но бизнес-подход к ним остается неизменным. Это подход «старой школы», считает Лидс.