Сбор данных, атрибуция, сквозная отчетность на Python | Digital God

Курс для продвинутых digital-специалистов. Собрать данные из рекламных и аналитических систем, сохранить в ClickHouse / BigQuery, создать поведенческие модели атрибуции, построить end-to-end отчетность и dashboard-ы в Grafana и Metabase.

Сбор данных, атрибуция, сквозная отчетность на Python #3

16 занятий по 4 ак.ч. [ЧТ 19:30, ВС 17:00]

Старт ± 01 окт 2020, как наберется группа

г. Москва, м. Маяковская / Дистанционно

Data assembler

↖︎ Автомобиль марки ЗИЗ

Дмитрий Родин

Преподаватель

17 лет в программировании, из которых 10 в индустрии маркетинговых технологий. Создатель открытой CDP (Customer Data Platform) Rockstat, основатель Digital God. Ранее: CEO Xeteq (Linkprofit Group), CTO Блондинка.ру, Nectarin, CPO Adventum, CMO Plazius (Сбербанк).

Дима

Закончились времена тайных знаний прогерского ложа - технологии шагнули вперед, став доступными для освоения практически всем. Можно автоматизировать повторяющиеся действия, решать технические задачи и, хех, представьте, разговаривать с прогерами, понимая друг друга. Кстати, программированием владеют многие успешные люди...

Чему вы научитесь

Получать данные из рекламных кабинетов, аналитики и БД с продажами; определять настоящий вклад канала в покупку; управлять расписанием и запускать на сервере.

Атрибуция по действиям пользователей

Модель на основе вероятностного прохождения воронки или атрибуция по индексу вовлеченности

Превращать блокнот в программы

Представьте себе, ничего не нужно переписывать в чистый .py код, а взять и запустить блокнот

Отработанные подходы OAuth авторизации и API

Вы получите бесценный опыт работы с основными сервисами, а также знать подводные камни и нюансы интеграции

Запуск по расписанию

Настраивать старт в конкретное время и управлять последовательностью запуска

Сбор данных в DWH

Запись в специализированные хранилища - колоночные базы данных Google BigQuery и Yandex ClickHouse с доступом из BI

Привязать все к ClientId.

Узнаете, как передавать ClientId в систему аналитики и CRM для объединения истории пользователей

Программа курса

Цель на курс: получить данные с основных рекламных систем и двух аналитических сервисов, сохранить в колоночную БД ClickHouse и BigQuery, для дальнейшей обработки. Свести данные, рассчитывать атрибуцию классическими способами, а также построить модели основанные на поведении пользователей.

1. Данные рекламных и аналитических систем

Основная тема курса, здесь рассматриваем от начала и до конца весь процесс получения данных их сторонних сервисов, по расписанию, с логами и определенной последовательностью выполнения задач. Помимо этого уделяем внимание способам запуска кода, их особенностям. DevOps мы рассматриваем в отдельном модуле, а здесь мы даем конфигурацию и показываем как ее запустить.

Постановка задачи: определяем цели и шаги
Знакомимся с инструментами, которые будут использоваться
Освежаем в памяти необходимые теоретические аспекты работы с API и прохождению OAuth авторизацией
Регистрация приложений в VK,
Регистрируем приложения доступа к API в Yandex, GoogleНастройка Google Analytics для сбора данных в разрезе пользователя

Вспоминаем потоковую работу с файлами (с помощью чанков) и способы разбора CSV/TSV
Выбор стратегии и прохождение OAuth авторизации Yandex
Использование Logs API, выгрузка сессий
Получение информации о структуре; выбор счетчика
Потоковая запись в файлы
Самостоятельно: загрузка информации о хитах по выбранным параметрам

Виды систем управления базами данных (СУБД), их особенности
Колоночные БД: ClickHouse
Облачный ClickHouse и standalone версия на своем сервере
Типы хранилищ в ClickHouse
Специфика SQL в ClickHouse
Внесение изменений
Расчет дельты
Загрузка данных, полученных на прошлых занятиях

Как устроен BigQuery, сильные и слабые стороны
Специфика SQL в BigQuery
Подключение к BigQuery, выполнение запросов
Загрузка данных
Загрузка данных, полученных на прошлых занятиях

Способы авторизации для получения доступа к Google Analytics API
Сервисная авторизация
Авторизация обычных пользователей
Дробление запроса на подзапросы для обхода ограничения dimensions
Регистрация приложения Facebook, предоставление доступа к рекламному кабинету

Унификация запросов и передача токена авторизации
Получение структуры РК, поиск шаблона ссылки
Сбор статистики, потоковая обработка TSV
Запись в BigQuery и ClickHouse

Контейнеризация: что за зверь и чем может быть полезен. Использование Docker
Структура программ на python, устройство блокнотов
Запуск своего сервера в облаке, установка Docker
Запуск окружения с Jupyter, ClickHouse
Papermill для параметризации и запуска блокнотов
Создание расписания; цепочки обработки скриптов
ClickHouse на вашем сервере, как до него добраться

Программа уточняется

Особенности Facebook: пользователи, приложения, страницы, бизнес-аккаунты, рекламные кабинеты и тп
Виды токенов, запрос токена для доступа к рекламному кабинету, проверка токенов
Выполнение запросов к API: объявления, статистика
Получение статистики и запись в BigQuery / ClickHouse

2. Построение end-to-end отчетности ("сквозной")

Модуль про итоговое сведение данных, обработке сессий по каждому отдельно взятому пользователю, построению финальной суммарной статистики по каналам.

Пример получения данных из популярной CRM (вероятнее всего Amo, вообще их много и у всех разные)
Извлечение utm-ок из ссылок, дальнейшее объединение данных на основе совпадающих меток.
Обработка шаблонов ссылок, подстановка на основе имеющихся статистике данных

Запуск готовых Docker образов
Обзор, особенности, подключение к ClickHouse
Создание Dashboard-ов в Grafana с данными из ClickHouse
Использование Metabase
ClickHouse и Metabase
BigQuery и Metabase

Агрегированные и индивидуальные данные
Предобрабока данных по каждому отдельно взятому пользователю
Построение портрета каждого пользователя
Объединение событий в сессии

Суть модели
Подсчитываем индекс сессий в рамках каждого пользователя
Наложение индексов на статистику и вычисление финальных показателей

Суть модели
Определение проходимости воронки и расчет вероятностей
Наложение вероятностей на статистику и вычисление финальных показателей

3. Возможные опции и дополнения

Мы не хотим превращаться вас в программистов и уж тем-более сисадминов и в общей части курса дана рабочая конфигурация, но увы, она работает не для всех и не получается скрыться от DevOps. Мы постарались сделать материал модуля наиболее дружелюбны, а также подготовили набор практик и заготовок, которые не дадут вам утонуть в параметрах серверов.

Длительность: 3 типовых занятия по 4 ак. ч. / 3 аст. ч.

Занятие 16. Запись обновлений в BigQuery, способы обновления данных в ClickHouse

Обновление данных в BQ
Стратегии обновления данных в ClickHouse
Изменение через дописывание разницы

Занятие 17. [Undefined] title

Занятие 18. [Undefined] title

Если вы работаете над проектом и за время курса хотите запустить end-to-end отчетность для компании, именно тут вы сможете получить подсказки по вопросам выходящим за рамки курса. Если вы не делаете проект отчетности, то вам вовсе не стоит подавать заявку на курс. Также вы попадете в отдельную группу инкубатора Digital God, где где участники по мере возможностей помогают друг другу с проектами. Консультации проводит Дима.

Продолжительность: 4 консультации по 1 ак. ч., дата и время резервируется по необходимости.

На курсе все задачи решаются при помощи типовых общедоступных инструментов. Требуется много сил для запоминания и расширении конфигурации. Чтобы решать задачи маркетинга в реальном времени есть платформа Rockstat, созданная специально, чтобы быстро и легко создавать различные маркетинговые автоматизации, от сбора данных по расписанию до реактивных обработчиков событий пользователей. Отличный пример: персонализация контента в реальном времени. Главное - Rockstat изначально создавался для digital-специалистов, владеющих начальным уровнем программирования. Стоит заметить, что Rockstat - это открытая и бесплатная платформа также состоящая в основном их других Open Sourse разработок, собранных воедино, снабженных набором собственных сервисов и библиотек для решения маркетинговых задач, а также удобной системой установки "для обычных смертных".

Продолжительность: 4 типовых занятия (3 занятия по средам и по 1 ак.ч. после занятий по выходным)
Доход от модуля поступает в фонд разработки Rockstat

Важно: Apache AirFlow и других -flow на кусе не будет. Мы пробовали и пришли к выводу, что это только усложняет процесс построения системы отчетности и забивает голову. Мы покажем, как реализовать последовательность обработки и расписание легко и не забивая голову. Что касается AirFlow и подобных, они полезны, если задач тысячи и есть умелый DevOps, а у нас будет не больше 10.

Статус

Старт ± 01 окт 2020, как наберется группа

Расписание

ЧТ 19:30, ВС 17:00

Объем

16 занятий по 4 ак.ч.

Место

г. Москва, м. Маяковская / Дистанционно

Дистанционное участие

— Лайф трансляции занятий [пример]
— Занятия в группе, дистанционно
— Коммуникация с группой и преподавателями через чат
— Специальное приложение для комфортного участия
— Доступ к записям занятий и материалам без ограничений по времени

Стоимость

Статус: Старт ± 01 окт 2020, как наберется группа
Дни занятий: ЧТ 19:30, ВС 17:00
Место проведения: г. Москва, м. Маяковская / Дистанционно

Сбор данных (9 занятий) = 9

Атрибуция и отчетность (6 занятий) = 6

Выберите свою специализацию, при необходимости можно выбрать дополнительную

Опция: Основы DevOps (3 занятия)= 3

Опция: Использование Rockstat (4 занятия)= 4

Опция: Индивидуальные консультации (4 по 1 ак.ч.)= 1

Форма участия

Дистанционно = 2300

0 занятий

Расчетная стоимость

Возможна рассрочка 0% на 3 и 6 месяцев

0₽

Промокод

Будет учтен при обработке заявки

— Старт ± 01 окт 2020, как наберется группа [ЧТ 19:30, ВС 17:00]
— 64. ак. часа занятий с преподавателем
— Разговоры участников до начала занятия, после и в перерыве не передаются в трансляции и не записываются

Посетить урок

Мы приглашаем посетить один из наших уроков, чтобы вы могли прочувствовать дух Digital God. Напишите о своем желании в чатике и мы вас пригласим на ближайшее доступное занятие.
В ближайшее время не выйдет :(

Рассрочка на 3 или 6 месяцев

Беспроцентная рассрочка от банка. Все по честному, для банка это кредит, процент по которому мы берем на себя. Поэтому для вас это просто рассрочка. Предоставляется банком Тинькофф а, при наличии карты, решение принимается очень быстро.

Оплата частями

Для курсов продолжительностью более месяца, оплату можно разбить по месяцам. Например: оплату курса продолжительностью 2.5 мес за 75 тыс. руб, можно разделить на 3 части: 30 т.р., 30 т.р., 15 т.р. При оплате частями некоторые бонусы и скидки утрачивают силу.

Предоставим компьютер

Если ваш ноутбук здоровенный динозавр или его вовсе нет, мы предоставим компьютер для участия. Обязательно укажите в примечании к заявке, либо предупредите за несколько дней.

Специальный браузер

Без второго монитора смотреть записи
занятий/трансляции и пытаться повторять — настоящая пытка! Мы сделали специальный браузер, которой позволяет комфортно расположить все окна на одном экране. Демо.

Скидки увлеченным

Чем больше навыков вы получаете, тем больше у вас скидка. Начиная с 3-го курса 10%, а 4 и последующие 20%. Не печальтесь, получить скидку можно заручившись рекомендацией друга с digitalgod.me.

Дима

Оправдание "нет времени" оставьте для детей, мы то знаем, что его не становится больше.

Запуски

А что, если я совсем не умею программировать?

Все в порядке, обычно этим занимаются программисты. Мы все проверили и готовы порекомендовать несколько вариантов.

1.1. Программирование для digital-профессий

Этот курс не для программистов и не создает таковых. Вы получите навыки "на каждый день", позволяющие самостоятельно решать задачи и автоматизировать повторяющиеся процессы. Python, Pandas, Linux и много API. Можно начать с нуля.

Программа и детали