Sybase IQ – универсальный ключ к новой эре «больших данных»

По некоторым оценкам в мире сейчас каждый день создается более 2.5 триллионов байт информации, а сколько на самом деле – никто уже оценить не в состоянии. Это так много, что 90% общемировых данных были созданы в течение последних 2 лет. Задумайтесь, порядка 90% данных за всю историю человечества было создано уже после того, как в прокат вышел фильм «Аватар»! Всё, абсолютно всё, что было до этого, составляет лишь 10% от мировых данных.

Как же такое возможно? Всё дело в том, что в мире становится все больше источников для появления данных. Данные поступают отовсюду – сообщения на сайтах социальных сетей, цифровые фотографии и видео, записи транзакций покупок в интернет-магазинах, данные о звонках абонентов сотовых сетей, информация с датчиков регистрирующих события на производстве и изменения климата, различные финансовые транзакции и многое другое. Этих данных очень много, они разнообразны и они растут с невероятной скоростью.

Именно эти три характеристики, применительно к данным, а именно – объем (Volume), разнообразие (Variety) и скорость (Velocity), по мнению ведущих мировых аналитических агентств Gartner и IDC и характеризуют как современный тренд «больших данных», так и те средства и решения, с помощью которых с этими данными необходимо взаимодействовать.

Что это означает в реальных бизнес-процессах предприятий?

Информация является ценным активом, особенно в условиях ужесточения делового климата в последние несколько лет, но ее объёмы могут расти так быстро, что сама по себе информация уже мало что значит, для такой информации даже существует устоявшийся термин – «сырые данные». Для того чтобы из таких данных извлечь реальную пользу, их необходимо «приготовить», очистить: избавиться от противоречивости и множественности, .

Как логичный шаг в такой ситуации, всё больше предприятий создают аналитические системы и системы поддержки принятия решений, чтобы повысить как качество управления предприятием в целом, так и с точки зрения оптимизации отдельных бизнес-процессов. Но результаты очень часто разочаровывают, в основном потому, что без надлежащих инструментов обработка больших массивов данных занимает весьма долгое время.

Это происходит потому, что стандартные средства отчетности и анализа имеют большой недостаток: в их основе лежат традиционные реляционные СУБД. Негибкие, ограниченные и дорогие в реализации и поддержке, эти системы не могут дать ожидаемой пользователями свободы, точности и быстродействия. В такой ситуации оказывается необходимым в срочном порядке идти на непредусмотренные расходы, чтобы повысить вычислительную мощность, усовершенствовать и оптимизировать систему. Эти изменения подрывают бюджеты, что приводит к сужению доступной пользователям функциональности.

Проблему решает создание хранилища данных. Но, рассчитанные на обработку определенных категорий запросов, традиционные СУБД пасуют при необходимости организовать в данных перекрестные ссылки по непредвиденным маршрутам. Часть запросов может быть учтена в схеме хранилища данных заранее, но по мере увеличения опыта пользователей, раскрытия ими всего потенциала используемых средств и определения требований к более глубокому анализу, формируются неструктурированые запросы. Неструктурированные запросы могут катастрофически сказываться на производительности базы данных: объем расчетов и операций поиска, выполняемых механизмом СУБД, бывает колоссален. И может так случиться, что некоторые запросы будет невозможно выполнить за разумное время, поскольку система окажется не в состоянии быстро найти требуемую информацию.

Можно ли создать систему бизнес-аналитики на основе традиционной СУБД, не проиграв в быстродействии? В некоторых случаях да — но лишь при условии значительных вложений в разработку и в аппаратные средства. Эти вложения — в создание агрегатов, кубов, разделов, сводок, материализованных представлений и других вспомогательных структур данных — нужны, чтобы преодолеть ограничения, налагаемые схемой традиционной базы данных и объемами обрабатываемой информации. И единственная цель всех этих действий — подготовить данные для специфических запросов и предварительно вычислить промежуточные результаты, но в итоге, как побочный результат мы получаем очередное и весьма существенное увеличение количества уже производных данных, которые также требуют места для своего хранения.

Есть ли другой выход в подобной ситуации?

Да, альтернатива есть и это Sybase IQ. В ней применяются новаторские технологии для преодоления ограничений традиционных СУБД и обеспечения выдающегося быстродействия для гибкого анализа в многопользовательских средах. Поэтому Sybase IQ — идеальное решение для высоконагруженных сред аналитической обработки данных и подготовки отчетности.

Рассчитанная на исключительное быстродействие при обработке любых объемов данных, система Sybase IQ — продукт-первопроходец, который за годы приобрел репутацию ведущего средства организации баз данных с поколоночным хранением. Новаторская архитектура Sybase IQ вызвала революцию в области многомерного анализа, форсирования интерактивности, свободы, точности и восприимчивости

Как очевидный результат, на данный момент свыше 1800 предприятий по всему миру уже выбрали Sybase IQ, а общее чисто инсталляций этой системы превысило 3100 экземпляров. 24 из 25 лучших мировых банков и 46 из 50 ведущих мировых банков и финансовых организаций являются клиентами Sybase.

Как же это работает?

Для хранения и обращения к данным в Sybase IQ используется колонко-ориентированный подход, в отличие от реляционных СУБД, хранящих данные построчно.

Почему разница столь значительна? Чтобы обработать бизнес-аналитический запрос, традиционная СУБД просматривает таблицу целиком, загружая большое число столбцов, не нужных при обработке данного запроса. В отличие от нее, Sybase IQ загружает лишь требуемые столбцы. В результате ограничения объема загружаемых данных сокращается число обращений к источнику данных, чаще всего это дисковая подсистема. Запрос выполняется быстрее, и экономятся вычислительные ресурсы. Кроме того, Sybase IQ индексирует каждый столбец с помощью патентованных алгоритмов. Для некоторых типов запросов это может означать увеличение быстродействия вплоть до 100 крат по сравнению с тем, что могут дать традиционные СУБД.

Кроме того, Sybase IQ использует алгоритмы сжатия данных, что непосредственно влияет на производительность. Сжатие сокращает число обращений к диску, требуемых для обработки запроса, а это влияет на скорость работы аналитической системы. Другой положительный результат в том, что благодаря снижению количества хранимой информации предприятие может сократить потребности в системах хранения в два, а иногда и более раз.

В целом, сочетание поколоночного хранения и сжатия, применяемые в Sybase IQ очень эффективны, так как простые алгоритмы сжатия отлично подходят для столбцов, содержащих структурно схожие данные, и в итоге ограничивается число физических обращений к дискам и кардинально сокращается время отклика системы.

В итоге там, где традиционным СУБД порой требуются часы на то, чтобы выдать результат (или даже сообщить о его отсутствии), системе на основе Sybase IQ, особенно с применением BI решений семейства SAP BusinessObjects, для выполнения запросов достаточно считанных минут, а иногда и секунд.

При всём этом, переход на Sybase IQ не слишком трудозатратен. Миграция выполняется с помощью традиционных средств ETL и инструментов построения запросов, а также такими механизмами Sybase IQ, как автоматическое индексирование и автоматическая массовая загрузка, что способствует ускорению проекта. Sybase также предлагает средства, помогающие сгладить процесс перехода, в частности PowerDesigner, позволяющий выполнить инвентаризацию метаданных и их быстрый перенос из исходной СУБД в Sybase IQ.

Но зачем всё это вам?

Как хорошо известно большинству предприятий, проблемы с быстродействием возникают значительно раньше, чем объемы данных достигают терабайтных значений. В особенности это касается систем бизнес-аналитики. И те затруднения, что еще вчера казались отдаленной перспективой, а сегодня, возможно, лишь являются поводом задуматься, в очень скором будущем могут стать источником настоящей головной боли для многих сотрудников организации.

Sybase IQ еще на этапе проектирования рассчитывалась на обеспечение наивысшего быстродействия вне зависимости от объемов данных. Время отклика системы значительно снижается уже после перехода границы в 100 Гбайт.

Таким образом, высокая масштабируемость Sybase IQ вместе с ее механизмами поколоночного хранения и сжатия гарантируют сохранение уровня производительности при непрерывном росте базы данных. Во всех сценариях бизнес-аналитики и вне зависимости от объемов данных Sybase IQ значительно превосходит в быстродействии традиционные реляционные СУБД, в особенности при обработке сложных неструктурированных запросов. Более того, поскольку производительность возрастает линейно по отношению к объемам данных, Sybase IQ обеспечивает значительную экономию для организаций, обрабатывающих большие объемы данных (1 терабайт или выше), одновременно позволяя без стеснения обрабатывать высокодетализированные данные.

Всё это вместе позволяет организациям создавать современные и высокопроизводительные системы бизнес-аналитики с легкостью и без особых затрат, даже в эпоху «больших данных».