Microsoft Azure Synapse Analytics

Почему Microsoft Azure Synapse Analytics?

Сегодня самым большим двигателем прогресса является информация, а точнее — объем информации, растущий экспоненциально с каждым днем. Лавина неупорядоченных и разрозненных данных, которая каждый день обрушивается на компании и оседает в базах, вынуждает бизнес по-новому взглянуть на их получение, обработку и аналитику (modern data estate). Постепенно приходит понимание, что существование крупного и среднего бизнеса и его коммерческий успех напрямую зависят от наличия культуры работы с информацией (analytics culture) и зрелости их IT-инфраструктуры (infrastructure maturity).

Долгое время наземные хранилища данных — Data Warehouses (DWH) — были единственным возможным решением для сбора, консолидации и агрегации данных для последующего анализа, особенно если речь шла о BIG DATA. Однако, постепенно компании приходят к пониманию, что обслуживание наземной инфраструктуры при постоянно растущих объемах данных ведет к линейному возрастанию расходов на сбор и обслуживание DWH и серверов. Кроме того, проводить их аналитику стало достаточно сложно, потому что она тоже стала требовать дополнительных мощностей и трудовых ресурсов.

Как известно, каждый год данные среднестатистической компании увеличиваются почти вдвое, и наземные DWH просто не в состоянии справиться с такими потоками – они в принципе не рассчитаны на такой стремительный рост, объем и скорость, а также не успевают «реагировать» на появление большого количества новых типов данных.

В перспективе подобная ситуация ведет к информационному взрыву, который полностью «обездвижит» компанию из-за невозможности вести качественный учет и аналитику, и как следствие — лишит ее понимания того, как и в каком направлении развиваться.

Ответом на эту опасность стало появление принципиально новых подходов для работы с данными и новых решений, самым мощным из которых является аналитическая платформа Microsoft Azure Synapse Analytics, объединяющая несколько технологий в рамках одной службы — импорт данных из разрозненных источников в облачное масштабируемое DWH (Azure Data Lake Storage), создание информационных панелей описательной и диагностической — descriptive and diagnostic (Power BI), а также прогнозной и предписательной аналитики — predictive and prescriptive analytics, то есть построение моделей машинного обучения – AI/ML models (Azure Data Bricks, Azure Cognitive Service), и все это — на единой платформе.

Данные могут храниться в разных форматах, таких как структурированные (Relational DB, Business/Custom Apps), полуструктурированные (CSV, XML, JSON) и неструктурированные (AUDIO, VIDEO, TEXT). Для каждого формата данных платформа предлагает различные инструменты обработки (R, Python, SQL, пр.), которые позволяют упорядочить и агрегировать их так, чтобы выстроить аналитическую систему компании и создавать модели машинного обучения прямо в облаке.

Microsoft Azure Synapse Analytics открывает дополнительные возможности для IoT, одновременно снимая данные с множества различных устройств и мгновенно отображая их на информационных панелях (data stream) или размещая в Azure Data Lake Storage для последующей обработки, аналитики и построения AI/ML-моделей (trend analysis), а это, в свою очередь, обогащает аналитику компании и позволяет получить новую информацию, и как следствие — видение новых возможностей.

Структура Microsoft Azure Synapse Analytics

• Azure Blob Storage – промежуточное хранилище, в которое разнородные данные экспортируются из различных источников для подготовки к загрузке в Azure Synapse Analytics.
• Azure Data Lake Storage — озеро данных, вокруг которого выстроена вся IT-инфраструктура платформы. Построено на базе Azure Storage Blobs, в которое добавлено иерархическое пространство имен, что позволяет организовать хранилище по принципу каталога.
• Azure Data Factory — обеспечивает преобразование данных, собранных на предыдущем этапе, в общую однородную структуру в Azure Synapse, загружая данные в таблицы. Для ускорения процесса обработки данных в платформе Azure Synapse Analytics реализована технология Polybase, которая позволяет параллельно обрабатывать большие потоки информации и увеличить скорость обработки и пропускную способность. Сервис Azure Data Factory позволяет автоматически переносить данные в облачное масштабируемое SQL-хранилище, которое может содержать петабайты информации и предназначено для хранения и анализа больших наборов данных.
• Azure Data Bricks — программное решение для построения системы прогнозной аналитики моделей машинного обучения и AI-систем для решения ключевых задач бизнеса — ценообразование, прогнозирование (объемы продаж, спрос, трудозатраты, пополнение товарных/складских запасов, выход из строя оборудования), персонализация рекомендаций, оценка рисков и многие другие задачи, которые позволяют автоматизировать процессы и вывести бизнес на качественно новый уровень.
• Azure Cognitive Service – стандартный набор предварительно обученных моделей машинного обучения, которые можно применить для загруженных на платформу данных для реализации проектов, связанных с компьютерным зрением, анализом видео, текста, речи и пр. Данный сервис позволит бизнесу получить дополнительную информацию и учесть ее в принятии решений.
• Azure Analysis Services — содержит модели данных, которые обеспечивают простой и удобный способ для просмотра больших объемов данных и более подробного их анализа.
• Azure Active Directory — обеспечивает аутентификацию пользователей, которые будут подключаться к службе Analysis Services через Power BI.
• Microsoft Power BI Embedded — позволяет получить визуальное представление наборов данных через Analysis Services и вывести его на информационные панели (дашборды).

Важный момент: Azure Synapse Analytics интегрирован со всеми сервисами платформы MS Azure. Это значит, вы можете его использовать со всеми остальными модулями системы без дополнительных хлопот обеспечения совместимости.

Azure Synapse Analytics — лучший выбор, если:

• необходимо моментальное обновление данных (чаще чем 1 раз в сутки);
• наземные DWH не справляются с постоянно растущим объемом данных — недостаток мощностей, возрастающая потребность в вычислительных ресурсах, отказ оборудования;
• DWH и аналитические системы компании используются только в рабочее время или для решения узкого сегмента задач — тогда переход на облачные решения позволит экономить значительные средства, так как Azure Synapse Analytics дает возможность платить только за время пользования и потребляемые мощности;
• есть необходимость в масштабировании бизнеса и организации мобильного, многоуровневого доступа к информации различных подразделений и филиалов;
• компания хочет работать с данными в единой рабочей области — от импорта данных до визуализации;
• важна комплексная безопасность.