Строим аналитику с нуля

"Без данных вы просто еще один человек с собственным мнением". Уильям Эдвардс Деминг.

/ Первый шаг

Когда передо мной стоит задача создать аналитическую систему или расширить ее возможности, я использую двусторонний подход:

• определяю, какие задачи и вопросы перед нами стоят,
• выясняю, какие данные есть в источниках.

Для этого формирую список задач через интервью со всеми потенциальными потребителями информации, кого это может коснуться. Создавая архитектуру системы для пользователей, стараюсь получить ответы на вопросы:

• Какие метрики понадобится считать?
• Какие дашборды собрать?
• Какую информацию отправить в интерактивные системы?
• Будут ли задачи ML (машинное обучение)?

Это довольно сложный шаг т.к. потребители (заказчики) часто сами не представляют, какая именно информация им понадобится. И для того чтобы выстроить эффективную систему аналитики, мне нужно самому погрузиться в тот бизнес, который предстоит анализировать. Изучить бизнес-процессы, структуру, продажи, маркетинг и т.д.

Затем я начинаю изучать, какие данные у компании есть, какие нужно собирать и где эти данные находятся.
Во-первых, меня интересуют данные, которые помогут решать задачи бизнеса (мне важно увидеть не только схемы, но и живые примеры таких данных — строки таблиц и файлов).
Во-вторых, для меня важны те данные, которые есть, а применения им пока нет — какие задачи они могли бы решить?
К финалу этого этапа у меня уже есть:

• Список вопросов, которые покрываются текущими данными.
• Список вопросов без данных и понимание того, сколько усилий потребуется, чтобы их получить.
• Данные, которые пока не решают никаких актуальных задач.
• Источники данных и их примерные объемы.

И это только первая итерация. Далее этот список обсуждается с руководителем, корректируется и снова по тому же пути.
Выглядит как челночная дипломатия, но именно так и строится план проекта.
В итоге у меня есть:

• список требований к системе,
• список имеющихся данных,
• список задач, которые нужно выполнить, чтобы получить недостающие цифры.

Выглядит просто, но бывает, что на эти шаги уходят недели. Я не выгружаю бездумно все данные из хранилища, чтобы потом начать с ходу пытаться делать метрики и дашборды. Но пытаюсь решить эту задачу в уме. Это экономит силы, а бизнесу сбережет нервы. Заказчик заранее будет знать, что получится сразу, а что нет.

/ Второй шаг

На втором шаге, определяемся с технологиями.
Правильный технологический стек избавит от головной боли на несколько лет вперед.
Примерный список вопросов к технологиям звучит так:

• Собственное хранилище или облачное?
• Какую отчетную систему выбрать?
• Требуется ли где-нибудь скорость анализа, близкая к real-time?

Это самые базовые вопросы, но от них зависит многое. В том числе сколько придется инвестировать и как быстро запустится проект.

Развертывание технической части.
Я считаю, что проект на старте лучше сильно урезать по «хотелкам», чтобы получить на выходе работающую версию как можно быстрее. Лучше сначала запустить мнимально необходимый вариант.

На то есть несколько причин.

Во-первых, для организации, где ещё небыло аналитики, невозможно спроектировать сразу идеальную систему. Изначально заказчик не знает, что нужно и поэтому тяжело делать абстрактно на бумаге, конструируя сферического коня в вакууме. Плюс после появления первых цифр и отчётов в любом случае будут изменения в структуре, бизнес-процессах, логике, что отразится и на системе.

Во-вторых, после того как бизнес вживую поработает с системой, гораздо легче будет сформулировать, что действительно нужно.

В-третьих — драйв. Когда время течет медленно, у всех участников, постепенно угасает интерес. И на выходе мы уже получаем вымученный проект, которым заказчику уже не так сильно хочется заниматься.
В итоге получится система в стиле "растишка", которая растет и развивается вместе с бизнесом. И самое главное, что каждый последующий этап будет более осознанный и взвешанный, чем предыдущий.

Общая архитектура аналитической системы состоит из нескольких уровней:

• Физический — серверы и каналы связи между ними.
• Данные — хранилища данных.
• Приложения — программы, с помощью которых пользователи получают доступ к данным (BI).

Подробнее о составе системы, можно прочитать в соответсвующих разделах:

/ Для чего это все?

В 21 веке данные, это главный конкурентный актив. Ещё в 2001 году Билл Гейтс, сказал "то как вы собираете, храните, обрабатываете, используете данные, определяет победите или проиграете".

И я полностью согласен с этим утверждением, ведь на снове данных в компании происходят измерения эффективности, а если ты можешь измерить, значит ты можешь повлиять. Все измеримое хорошо монетизируется, но важно помнить, что монетизация данных возможна лишь тогда, когда мы принимаем на их основе правильные решения.

Что бы реализовать этот главный конкурентный актив самое первое, что нужно сделать, это настроить сбор, обработку и хранение данных (ETL). Это основа и начало цепочки аналитической ценности, которая помогает строить предиктивные бизнес-модели — от сбора данных и анализа до идей и конкретных обоснованных действий.

Современная бизнес-аналитика в сочетании с единым хранилищем данных открывает новые возможности для управления бизнесом.

Продуктом ситемы аналитики являются артефакты анализа данных. Артефакт аналитики, это осязаемый результат анализа данных, например, дашборды, метрики, отчеты.

Их можно разделить на три вида:

• артефакты бизнес-анализа данных (business intelligence);
• артефакты машинного обучения (machine learning);
• артефакты инженерии данных (data engineering).

Нас сейчас интересует бизнес-аналитика.
Бизнес-анализ, это бъединение контекста бизнеса и данных, когда становится возможным бизнесу задавать вопросы к данным и искать ответы. Первыми артефактами являются так называемые инсайты и гипотезы, вторыми — отчеты или дашборды, метрики и ключевые показатели.

Когда бизнес планирует масштабироваться, возникает необходимость информационной поддержки. Для этого нужно иметь доступ к высокоуровневой информации об операциях и эффективности внутри компании.
Но на этом этапе, многие предприятия обнаруживают, что их данные хранятся в разных отделах и системах, что лишает возможности устанавливать ключевые связи между наборами данных. Тут возникают вопросы:

• Как бизнес может извлечь смысл из данных, которые генерирует организация?
• Как превратить информацию собранную по всей компании и за её пределами в единую стратегию?

Решением является корпоративное хранилище данных. Это мощный стратегический инструмент, который использует бизнес для хранения и анализа больших объемов данных, интегрируя множество источников данных в единую централизованную систему.

Какие преимущества хранения данных в едином хранилище?
Без какого-либо единого механизма выявления закономерностей и тенденций бизнес упустит ключевую возможность собрать полную и целостную картину.

Главным преимуществом хранилищ данных является то, что они требуют стандартизации данных. Создание стандартизированных данных обеспечивает последовательную и точную интерпретацию и необходимо для проведения эффективного анализа данных, либо внедрения применения искусственного интеллекта (ИИ). Кроме того, когда данные стандартизированы, открывается возможность проводить сравнения и сравнивать с аналогичными компаниями и отраслевыми тенденциями. Затем бизнес может получить информацию, которая позволит принимать решения, ориентированные на действия. Например, определить, что компания тратит на материалы больше, чем региональные конкуренты, что стимулирует пересмотр поставщиков и максимизацию рентабельности инвестиций.

Хранилища данных играют решающую роль в бизнес-аналитике. Из-за большого количества данных, которые компании собирают и генерируют ежедневно, становится все труднее успевать за развитием и получать ценную информацию. Хранилище помогает разобраться в потоке информации, предоставляя единый источник достоверных данных о:

• предпочтениях клиентов,
• тенденциях рынка,
• финансовых показателях,
• операционной эффективности
• и многом другом.

В таком виде данные легче понять и ориентироваться в них. Руководители смогут выявлять тенденции, открывать новые возможности и конкурентные преимущества.
Например, в хранилище можно объединить информацию об истории покупок клиентов, уровне запасов, кадровом обеспечении, росте доходов в единую картину, которая дает представление о будущем компании, позволяя более активно принимать решения и помогая выявить симптомы и пути решения финансовых проблем.

Кроме того, позволяют руководителям бизнеса создавать витрины данных — специализированные подмножества данных, сосредоточенные вокруг конкретной бизнес-функции, например продаж или маркетинга. Витрины могут фильтровать информацию из хранилища, которая нужно только для конкретной области бизнеса или отдела.

/ Какими данными наполнять хранилище?

Руководитель аналитики в LinkedIn Ди Джей Патил (DJ Patil), рекомендовал:
"Собирайте все данные, какие только возможно. Вне зависимости от того, строите ли вы просто отчетную систему или продукт".

• Внутренние документы и отчеты компании: включают в себя данные из специализированного инструментария 1С, CRM, Сайт, все корпоративные документы, финансовые отчеты, данные о продажах, маркетинговые исследования, A/B тесты и т.д.
• Внешние данные: информация из открытых источников, таких как данные яндекс метрики, гугл аналитики, SAP, AX, Nav, Базы данных, Excel, Web, статистические данные, обзоры рынка, экономические данные и новости.
• Исследования клиентского опыта: данные, полученные в результате опросов и исследований, проведенных среди клиентов компании через различные точки контактов.
• Социальные медиа: информация, полученная из социальных сетей, включая данные о поведении пользователей, их интересах и предпочтениях.
• Данные от поставщиков и партнеров: информация, предоставляемая поставщиками и партнерами компании, например, о качестве продукции, сроках поставки и т. д.
• Данные с датчиков и устройств: показания различных устройств и датчиков, используемых в производственных процессах или для мониторинга окружающей среды, в off-line магазинах.
• HR-исследования: информация, собранная из опросов и интервью с сотрудниками компании, которая может помочь в улучшении организационной культуры и процессов.
• Конкурентные исследования: информация о деятельности конкурентов, их продуктах, ценах, рекламных кампаниях и т.д., полученная из различных источников, включая открытые данные и инсайдерские сведения, парсинг сайтов.
• Данные исследований рынка: иезультаты исследований рынка, проведенных специализированными компаниями или научными организациями.
• Информация из государственных и муниципальных органов: ианные из официальных источников, такие как статистика рождаемости и смертности, данные о населении, демографические показатели и т.п.

И всё это можно и нужно использовать в пользу бизнеса.

/ Инструменты взаимодействия сданными

Дашборды позволяют сделать сложные данные понятными и доступными для нетехнических пользователей. ИТ-специалисты могут создавать контент в качестве отправной точки, а бизнес-пользователи могут создавать и просматривать свои собственные дашборды.

Самообслуживание BI позволяет нетехническим пользователям взаимодействовать с данными. Визуализация данных на панели мониторинга может помочь выявить тенденции, предупреждать о положительной динамике, изолировать отрицательные тенденции и предлагать прогнозную информацию.

/ Резюме

Для того, чтобы ваш бизнес имел конкурентное приемущество, необходимо подробно и регулярно собирать данные.
Чем ближе анализ данных к точке принятия решений — тем лучше. Если вопрос возник у руководителя и у него есть полное понимание бизнес-контекста (какие события были и т. д.), а аналитическая система обладает хорошей интерактивностью, то большинство вопросов решаются на раз-два-три. До 80 % вопросов, если быть точным. В чем плюсы решения? Нет посредников — выше скорость! Пользователь даже может не иметь четко сформулированного вопроса. Для этого очень важно внутри компании «продавать» аналитический подход и регулярно обучать пользователей.

/ ПОЛУЧИТЕ КОНСУЛЬТАЦИЮ

Узнайте как бизнес-аналитика может оптимизировать ваш бизнес.

Нажимая на кнопку, вы соглашаетесь с политикой конфиденциальности.