Миграция аналитики в Yandex Cloud после отказа от сервисов Google

Миграция аналитики в Yandex Cloud после отказа от сервисов Google — кейс «Азбуки вкуса» и DataGo!

О том, как настроить сквозную аналитику в обычном e-commerce проекте, написано большое количество кейсов, и если изучить хотя бы некоторые из них, с этой задачей довольно легко можно справиться. Но задача сильно усложняется, если у вашего проекта сложная внутренняя инфраструктура: большое количество трафика, источников данных, целевых действий и других конверсионных метрик, необходимых для анализа маркетинговой активности.

В этом кейсе совместно с веб-аналитиком «Азбуки вкуса» Баходиром Сайфуллаевым мы расскажем, как бесшовно и безопасно мы провели миграцию аналитического проекта «Азбуки вкуса» из Google BigQuery в Yandex Managed Service for ClickHouse, сохранив все накопленные исторические данные и привычную структуру прикладных отчетов, и продолжили собирать качественные данные.

О DataGo!

DataGo! - платформа по оценке эффективности digital маркетинга.

Мы разрабатываем решения для построения data-driven маркетинга, которые помогают получать точные данные в digital, строить прикладные отчеты в удобном и прозрачном бизнесу формате, находить инсайты и принимать управленческие решения.

Про «Азбуку вкуса»

«Азбука вкуса» - частная российская сеть продовольственных супермаркетов (более 170 точек в Москве, МО и Санкт-Петербурге), развивающая несколько собственных направлений в рамках омникальной экосистемы: фуд-технологии и фуд-сервисы. Сегодня «Азбука вкуса» работает в формате высококачественной розницы, входит в число лидеров российского рынка по уровню товарооборота на квадратный метр площади магазина.

Причина миграции аналитического проекта

Во второй половине 2022 года стало известно, что продлить лицензию Google Analytics 360 будет невозможно, а использование аналитических сервисов Google грозило существенными рисками для многих российских компаний:

Потеря доступов для российских компаний ко всем аккаунтам Google;
Риск потери текущей архитектуры аналитических проектов;
Несоответствием требованиям безопасности работы с данными и др.

В случае потери исторических данных и невозможностью сбора веб-данных в привычных форматах станет невозможно объективно оценивать эффективность маркетинговых вложений и получаемых результатов. Как следствие, это приведет к потере доли рекламных бюджетов, отсутствию развития бизнеса и невозможностью обойти конкурентов.

"Когда данные растут и мир меняется, архитектура, которая вчера была оптимальной, завтра может стать препятствием. Сегодня способность команд к адаптации и пересмотру архитектурных решений — не просто гибкость, это необходимость".

Баходир Сайфуллаев, веб-аналитик компании «Азбука вкуса».

Единственным решением, которое стало доступно бизнесу, стала миграция на альтернативный безопасный стек с возможностью сохранения привычной структуры прикладных отчетов и исторических данных.

Стек «Азбуки вкуса» до задачи миграции для сбора и хранения данных:

Облачное хранилище для сбора и объединения данных — Google BigQuery;
Трекинг данных о поведении пользователей на сайте — стриминг OWOX BI;
Трекинг данных о поведении пользователей в мобильном приложении — AppsFlyer;
Импорт расходов из рекламных кабинетов — потоки OWOX BI.

*Аналитический проект до миграции

Задачи

Реализовать архитектуру на независимом аналитическом стеке, освободившись от сторонних коробочных аналитических сервисов;
Сократить время на переработку отчетов за счет сохранения передачи и сбора данных в привычной структуре;
Перенести накопленные исторические данные и обеспечить бесшовность в отчетах;
Учесть заявленные требования руководства ИТ-подразделения «Азбуки вкуса» и службы безопасности о принадлежности всех накопленных и собираемых данных компании без возможности доступа извне.

Решение

Перейти из Google BigQuery на Yandex ClickHouse

Специалисты DataGo! выбрали подходящую конфигурацию кластера ClickHouse на основе данных об использовании ресурсов Google BigQuery. Совместно с аналитиками и разработчиками «Азбуки вкуса» развернули кластер ClickHouse и настроили необходимую конфигурацию, соответствующую бизнес-задачам «Азбуки вкуса».

Настроить сбор данных с сайта с помощью DataGo! Web Streaming

Нашей задачей стало интегрировать сбор данных безопасным от возможных блокировок веб-трекером, при этом обеспечить максимально схожую структуру данных, привычную аналитикам для дальнейшей работы. Для реализации задачи использовали DataGo! Web Streaming на основе open-source трекера SnowPlow.

*DataGo! Streaming - Собирает хитовые и сессионные данные о поведении пользователей на сайте в Google BigQuery или ClickHouse. Это основной продукт DataGo!, так как такие данные лежат в основе любого аналитического проекта.

*DataGo! Pipelines - Импортирует данные о рекламных расходах из Яндекс.Директ, ВКонтакте, myTarget, сырые данные по событиям AppsFlyer и из др.систем. Объединив данные сайта, мобильного приложения и рекламных кабинетов маркетолог получает достоверную оценку рекламных усилий.

*Аналитический проект после миграции

Проверить качество данных

После проведения работ по интеграции веб-стриминга провели сверку качества данных. Необходимо было получить сходимость по количеству передаваемых событий, сеансов и уникальных пользователей, а также распределение трафика между каналами и рекламными кампаниями.

Ограничить доступ к данным

Аналитики успешно реализовали интегрированную архитектуру баз данных внутри одного кластера. Данными внутри первой БД управляли аналитики DataGo!, передавая данные во вторую, под управлением аналитиков и архитекторов "Азбуки Вкуса". Такой подход гарантировал безопасное хранение данных "Азбуки Вкуса" и исключал доступ контрагентов к данным компании.

Подключить импорт маркетинговых данных

Для более полного сбора данных подключили для “Азбуки вкуса” потоки Яндекс.Директ и поток сбора мобильных данных AppsFlyer.

*Отчет для контроля/сравнения репликации данных в финальную Базу Данных

Результат

Реализация задачи миграции аналитического проекта позволила «Азбуке вкуса»:

Сохранить исторические данные

Для выполнения этой задачи специалисты DataGo! разработали решение для переноса данных из Google BigQuery в Yandex ClickHouse. Инструмент необходим для синхронизации или переноса содержимого таблиц из GBQ в YCH без потери данных и с сохранением привычной структуры.

Использовать безопасный стек, не подверженный санкционным рискам и блокировкам

Технология DataGo! Streaming использует независимый трекинг для сбора “сырых” веб-данных о поведении пользователей на сайте, не подверженный блокировкам и санкционным рискам, что гарантирует объективную оценку результатов.

Использовать привычную структуру данных для создания и развития прикладных отчетов

После отключения Google Universal Analytics «Азбука вкуса» продолжает собирать актуальные данные в первичной структуре Google Analytics 360 с использованием уже существующей микроразметки Google Tag Manager.

Работая над амбициозными проектами, всегда есть моменты 'ожидания и реальности'. В партнерстве с DataGo! мы восхищались их профессионализмом и прозрачным подходом к решению задач. Что особенно ценно — их способность быстро адаптироваться к переменам и находить эффективные решения даже при неожиданных сложностях. Конечно, как в любой совместной работе, были моменты, требующие дополнительной координации и уточнения деталей, но благодаря открытому диалогу и совместным усилиям, все препятствия были преодолены. Мы благодарны команде DataGo! за их компетентность и профессионализм в реализации сложных вызовов

Баходир Сайфуллаев, веб-аналитик «Азбуки вкуса»

Планы на будущее

Настроить объединенную таблицу сеансов посетителей сайта на собранных событиях до периода миграции и после, обеспечив бесшовность в отчетах и возможность сравнивать метрики бизнеса “год к году”.
Интегрировать GA4 и настроить сбор несемплированных сырых данных с помощью DataGo! Web Streaming в формате GA4.

*DataGo! GA4 - веб-стриминг, позволяющий собирать данные в новой для рынка структуре GA4, но без ограничений и семплирования, что значительно повышает качество и точность данных.