Microsoft представила новые возможности Azure Data Lake для обработки больших данных

Компания Microsoft представила новую расширенную версию Azure Data Lake. Новинка поможет вендорам, специалистам по обработке данных и аналитикам надежно хранить информацию любого объема, а также обрабатывать и анализировать ее на любой платформе и на любом языке. В обновленную версию Azure Data Lake вошли: облачное хранилище больших данных Azure Data Lake Store, новый аналитический сервис, служба кластеров HDInsight для платформы Linux, интегрированные инструменты разработки на Visual Studio, а также новые приложения Hadoop ISV. Объявление стало частью глобальной стратегии Microsoft в области аналитики и больших данных.

«Microsoft уделяет много внимания развитию платформы для работы с большими данными. Мы создаем удобные инструменты обработки информации любого типа и объема, которыми наши заказчики могут воспользоваться как в облаке, так и в локальной инфраструктуре, – сказал Дмитрий Марченко, директор по продвижению облачной платформы Microsoft в России. – Наша цель – сделать технологии Big Data более простыми и доступными для максимально широкого круга пользователей – разработчиков, аналитиков, ученых и ИТ-специалистов. И мы надеемся, что обновление Azure Data Lake станет большим шагом к ее достижению».

Azure Data Lake Store – гибкое масштабируемое хранилище данных, которое позволяет работать с неструктурированной, полуструктурированной и структурированной информацией. Впервые с его помощью можно собирать информацию любого типа и размера, получать доступ к ней и анализировать ее, избегая сбоев в производственных процессах и поддерживая высокий уровень безопасности сети, что, например, критически важно для стабильной работы IoT-сценариев.  Платформа станет доступна пользователям в ближайшее время.

Azure Data Lake Analytics – новый сервис анализа данных, созданный на базе Apache YARN для работы в облаке. Azure Data Lake Analytics справляется с информацией любого масштаба, регулируя нагрузку на сеть. Модель предоставления сервиса предполагает, что клиенты будут оплачивать только те периоды, когда он использовался, а также поддержку Azure Active Directory. Это делает Azure Data Lake Analytics не только эффективным, но и экономически выгодным решением.

В новую версию Azure Data Lake также включен сервис Azure HDInsight, разработанный на базе Apache Hadoop. HDInsight позволяет раскручивать неограниченное количество узлов за считанные минуты. Как одно из наиболее быстро развивающихся решений в облаке Azure HDInsight предлагает пользователям широкие возможности экосистемы Hadoop в рамках легко управляемого сервиса, работу которого поддерживают специалисты Microsoft. Сегодня сервис стал доступен для пользователей платформы Linux. Корпорация ведет работу над версией для Ubuntu.

Стремясь создавать наиболее продуктивные ИТ-решения, компания Microsoft подготовила обновление инструментов разработки, отладки и настройки ПО Visual Studio. Azure Data Lake Tools для Visual Studio предлагают интегрированную среду разработки, доступную для работы с SQL and .NET. А поддержка U-SQL в Azure Data Lake для Visual Studio повышает производительность средств анализа и оптимизирует процессы на тысячах узлов.

Hadoop ISV – это пакет приложений для управления информацией, также вошедший в новейшую редакцию Data Lake. Он включает в себя средства непрерывной аналитики больших данных, такие как Datameer, технологии защиты и управления информаций – Dataguise и BlueTalon, – а также DataTorrent и инструменты визуализации AtScale и Zoomdata.