EVENTS
Kiss My Stat: запилим свою сквозную аналитику
6 января 2019 в DigitalGod
Дима Родин
Препод Digital God
Несмотря на новогоднее похмелье, мы подготовили для вас большое мероприятие на целый день. Запилим кастомную сквозную аналитику на базе бесплатной и открытой платформы Rockstat. Проработаем Yandex Direct + Google Analytics + Google AdWords (через Google Analytics) + VK + FB + Pipedrive / AmoCRM. На мероприятии будет достаточно времени, чтобы в итоге получить полностью рабочее решение. Подходит как новичкам (приходят первыми), так и матерым автоматизаторам (следует приходить на час позже). Можно участвовать командой.
Цель мероприятия
В конце мероприятия у каждого будет собственное центральное хранилище маркетинговых и пользовательских данных на базе Rockstat + Clickhouse, размещенное в Google Cloud. Будут средства сбора данных по расписанию с Yandex Direct, Google Analytics, Google AdWords, VK, FB.

Всем новым пользователям Google предоставляет 300$ на тестирование облака в течение года. Этого хватит на ~ 6 месяцев работы сервера с Rockstat.
У кого уже имеется сервер с Rockstat достаточно пройти процедуру полного апдейта.

Интеграция с Pipedrive / AmoCRM будет по API, но процесс синхронизации будет запускаться при получении сигнального WebHook .

Будет разработан сервис объединения данных, причем каждый реализует собственную логику использования рекламных меток.
Обратите внимание! Вам не придется писать весь код, который вы увидите дальше, он будет предоставлен. Вам потребуется лишь сделать объединение по UTM меткам, а как именно это сделать и что делает предоставленный код мы предварительно изучим!
Получить данные из API достаточно просто, как правило это всего несколько строк кода. Ниже получение расходов из Yandex Direct до уровня ключевых слов.
Но основная задача - это сделать отказоустойчивый сервис, предусматривающий обработку данных данных как по расписанию, так и по входящим запросам, например обработка авторизации.
Кстати, можно посмотреть разницу подсчета 3-х систем веб-аналитики. В данном случае разница обусловлена блокировкой YM и GA всякими adblock и мошенническими расширениями.
Grafana отображает данные в реальном времени напрямую из ClickHouse. В самом конце мы соберем dashbord, содержащий ключевые метрики, которые определим прямо по ходу.
Расписание
2:00 PM - 3:00 PM
Территория новичков: суть сквозной аналитики, повторение основ питона

3:00 PM - 4:00 PM
Обзор Rockstat возможностей и сфер применения Rockstat

4:00 PM - 5:00 PM
Способ решения задачи сквозной аналитики, валидация подхода.

5:00 PM - 6:00 PM
Построение скелета итоговой системы аналитики

6:00 PM - 8:00 PM
Самостоятельная/командная работа.

8:00 PM - 9:00 PM
Заключительная доработка и подгонка получившейся системы

9:00 PM - 10:00 PM
Вопросы и презентации результатов (по желания), обсуждение нюансов

Проходим в формате дистанционного курса.
Подготовка
Чтобы извлечь из мероприятия максимальную пользу, потребуется подготовиться, а именно завести trial аккаунт в Google Cloud и запустить там Rockstat, который включает все необходимые технологии для разработки и запуска кода. Возможно это немного пугает, но с этим справились абсолютно все. Это легко сделать по видео-инструкции, ниже. Весь процесс занимает не больше часа.

1. Вводимые на видео команды
2. Документация Rockstat - процесс установки
3. Выполнить специфичную для Google Cloud конфигурацию или забить, если это тест.
4. Домен: использовать свой или попросить в чате, куда вас добавят перед мероприятием
Видео 1: регистрация учетной запись и запуск облачного сервера
Видео 2: еще раз запуск сервера, затем процесс установки Rockstat.