Курс для продвинутых digital-специалистов. Собрать данные из рекламных и аналитических систем, сохранить в ClickHouse / BigQuery, создать поведенческие модели атрибуции, построить end-to-end отчетность и dashboard-ы в Grafana и Metabase.
Сбор данных, атрибуция, сквозная отчетность на Python #3
16 занятий по 4 ак.ч. [ЧТ 19:30, ВС 17:00]
Старт ± 01 окт 2020, как наберется группа
г. Москва, м. Маяковская / Дистанционно
Data assembler
↖︎ Автомобиль марки ЗИЗ
Дмитрий Родин
Преподаватель
17 лет в программировании, из которых 10 в индустрии маркетинговых технологий. Создатель открытой CDP (Customer Data Platform) Rockstat, основатель Digital God. Ранее: CEO Xeteq (Linkprofit Group), CTO Блондинка.ру, Nectarin, CPO Adventum, CMO Plazius (Сбербанк).

Дима
Закончились времена тайных знаний прогерского ложа - технологии шагнули вперед, став доступными для освоения практически всем. Можно автоматизировать повторяющиеся действия, решать технические задачи и, хех, представьте, разговаривать с прогерами, понимая друг друга. Кстати, программированием владеют многие успешные люди...
Чему вы научитесь
Получать данные из рекламных кабинетов, аналитики и БД с продажами; определять настоящий вклад канала в покупку; управлять расписанием и запускать на сервере.
Атрибуция по действиям пользователей
Модель на основе вероятностного прохождения воронки или атрибуция по индексу вовлеченности
Превращать блокнот в программы
Представьте себе, ничего не нужно переписывать в чистый .py код, а взять и запустить блокнот
Отработанные подходы OAuth авторизации и API
Вы получите бесценный опыт работы с основными сервисами, а также знать подводные камни и нюансы интеграции
Запуск по расписанию
Настраивать старт в конкретное время и управлять последовательностью запуска
Сбор данных в DWH
Запись в специализированные хранилища - колоночные базы данных Google BigQuery и Yandex ClickHouse с доступом из BI
Привязать все к ClientId.
Узнаете, как передавать ClientId в систему аналитики и CRM для объединения истории пользователей
Программа курса
Цель на курс: получить данные с основных рекламных систем и двух аналитических сервисов, сохранить в колоночную БД ClickHouse и BigQuery, для дальнейшей обработки. Свести данные, рассчитывать атрибуцию классическими способами, а также построить модели основанные на поведении пользователей.
1. Данные рекламных и аналитических систем
Основная тема курса, здесь рассматриваем от начала и до конца весь процесс получения данных их сторонних сервисов, по расписанию, с логами и определенной последовательностью выполнения задач. Помимо этого уделяем внимание способам запуска кода, их особенностям. DevOps мы рассматриваем в отдельном модуле, а здесь мы даем конфигурацию и показываем как ее запустить.
Занятие 1. Постановка задачи, необходимая теория, разогрев на простых API: VK ads
  • Постановка задачи: определяем цели и шаги
  • Знакомимся с инструментами, которые будут использоваться
  • Освежаем в памяти необходимые теоретические аспекты работы с API и прохождению OAuth авторизацией
  • Регистрация приложений в VK,
  • Регистрируем приложения доступа к API в Yandex, GoogleНастройка Google Analytics для сбора данных в разрезе пользователя
Занятие 2. Получение логов из Yandex AppMetrika/Metrika
  • Вспоминаем потоковую работу с файлами (с помощью чанков) и способы разбора CSV/TSV
  • Выбор стратегии и прохождение OAuth авторизации Yandex
  • Использование Logs API, выгрузка сессий
  • Получение информации о структуре; выбор счетчика
  • Потоковая запись в файлы
  • Самостоятельно: загрузка информации о хитах по выбранным параметрам
Занятие 3. Колоночные базы данных; Yandex ClickHouse
  • Виды систем управления базами данных (СУБД), их особенности
  • Колоночные БД: ClickHouse
  • Облачный ClickHouse и standalone версия на своем сервере
  • Типы хранилищ в ClickHouse
  • Специфика SQL в ClickHouse
  • Внесение изменений
  • Расчет дельты
  • Загрузка данных, полученных на прошлых занятиях
Занятие 4. Работа с Google BigQuery
  • Как устроен BigQuery, сильные и слабые стороны
  • Специфика SQL в BigQuery
  • Подключение к BigQuery, выполнение запросов
  • Загрузка данных
  • Загрузка данных, полученных на прошлых занятиях
Занятие 5. Данные Google Analytics
  • Способы авторизации для получения доступа к Google Analytics API
  • Сервисная авторизация
  • Авторизация обычных пользователей
  • Дробление запроса на подзапросы для обхода ограничения dimensions
  • Регистрация приложения Facebook, предоставление доступа к рекламному кабинету
Занятие 6. Данные Yandex Direct
  • Унификация запросов и передача токена авторизации
  • Получение структуры РК, поиск шаблона ссылки
  • Сбор статистики, потоковая обработка TSV
  • Запись в BigQuery и ClickHouse
Занятие 7. Запуск кода: серверы и контейнеры
  • Контейнеризация: что за зверь и чем может быть полезен. Использование Docker
  • Структура программ на python, устройство блокнотов
  • Запуск своего сервера в облаке, установка Docker
  • Запуск окружения с Jupyter, ClickHouse
  • Papermill для параметризации и запуска блокнотов
  • Создание расписания; цепочки обработки скриптов
  • ClickHouse на вашем сервере, как до него добраться
Занятие 8. Использования docker-compose
  • Программа уточняется
Занятие 9. Данные Facebook Ads
  • Особенности Facebook: пользователи, приложения, страницы, бизнес-аккаунты, рекламные кабинеты и тп
  • Виды токенов, запрос токена для доступа к рекламному кабинету, проверка токенов
  • Выполнение запросов к API: объявления, статистика
  • Получение статистики и запись в BigQuery / ClickHouse
2. Построение end-to-end отчетности ("сквозной")
Модуль про итоговое сведение данных, обработке сессий по каждому отдельно взятому пользователю, построению финальной суммарной статистики по каналам.
Занятие 10. Данные Google AdWords; Свой https сервер для приема данных от сервисов в других экосистемах
Занятие 11. Объединение данных о расходах, веб аналитики и CRM
  • Пример получения данных из популярной CRM (вероятнее всего Amo, вообще их много и у всех разные)
  • Извлечение utm-ок из ссылок, дальнейшее объединение данных на основе совпадающих меток.
  • Обработка шаблонов ссылок, подстановка на основе имеющихся статистике данных
Занятие 12. Grafana и Metabase
  • Запуск готовых Docker образов
  • Обзор, особенности, подключение к ClickHouse
  • Создание Dashboard-ов в Grafana с данными из ClickHouse
  • Использование Metabase
  • ClickHouse и Metabase
  • BigQuery и Metabase
Занятие 13. Профили пользователей для расчета атрибуции на основе поведения
  • Агрегированные и индивидуальные данные
  • Предобрабока данных по каждому отдельно взятому пользователю
  • Построение портрета каждого пользователя
  • Объединение событий в сессии
Занятие 14. Атрибуция по индексу вовлеченности
  • Суть модели
  • Подсчитываем индекс сессий в рамках каждого пользователя
  • Наложение индексов на статистику и вычисление финальных показателей
Занятие 15. Атрибуция по воронке
  • Суть модели
  • Определение проходимости воронки и расчет вероятностей
  • Наложение вероятностей на статистику и вычисление финальных показателей
3. Возможные опции и дополнения
Опция: инфраструктура и основы DevOps
Мы не хотим превращаться вас в программистов и уж тем-более сисадминов и в общей части курса дана рабочая конфигурация, но увы, она работает не для всех и не получается скрыться от DevOps. Мы постарались сделать материал модуля наиболее дружелюбны, а также подготовили набор практик и заготовок, которые не дадут вам утонуть в параметрах серверов.

Длительность: 3 типовых занятия по 4 ак. ч. / 3 аст. ч.

Занятие 16. Запись обновлений в BigQuery, способы обновления данных в ClickHouse
  • Обновление данных в BQ
  • Стратегии обновления данных в ClickHouse
  • Изменение через дописывание разницы

Занятие 17. [Undefined] title

Занятие 18. [Undefined] title
Опция: индивидуальные консультации
Если вы работаете над проектом и за время курса хотите запустить end-to-end отчетность для компании, именно тут вы сможете получить подсказки по вопросам выходящим за рамки курса. Если вы не делаете проект отчетности, то вам вовсе не стоит подавать заявку на курс. Также вы попадете в отдельную группу инкубатора Digital God, где где участники по мере возможностей помогают друг другу с проектами. Консультации проводит Дима.

Продолжительность: 4 консультации по 1 ак. ч., дата и время резервируется по необходимости.
Опция: решение задач с курса при помощи Rockstat
На курсе все задачи решаются при помощи типовых общедоступных инструментов. Требуется много сил для запоминания и расширении конфигурации. Чтобы решать задачи маркетинга в реальном времени есть платформа Rockstat, созданная специально, чтобы быстро и легко создавать различные маркетинговые автоматизации, от сбора данных по расписанию до реактивных обработчиков событий пользователей. Отличный пример: персонализация контента в реальном времени. Главное - Rockstat изначально создавался для digital-специалистов, владеющих начальным уровнем программирования. Стоит заметить, что Rockstat - это открытая и бесплатная платформа также состоящая в основном их других Open Sourse разработок, собранных воедино, снабженных набором собственных сервисов и библиотек для решения маркетинговых задач, а также удобной системой установки "для обычных смертных".

Продолжительность: 4 типовых занятия (3 занятия по средам и по 1 ак.ч. после занятий по выходным)
Доход от модуля поступает в фонд разработки Rockstat
Важно: Apache AirFlow и других -flow на кусе не будет. Мы пробовали и пришли к выводу, что это только усложняет процесс построения системы отчетности и забивает голову. Мы покажем, как реализовать последовательность обработки и расписание легко и не забивая голову. Что касается AirFlow и подобных, они полезны, если задач тысячи и есть умелый DevOps, а у нас будет не больше 10.
Записаться на курс
Статус

Старт ± 01 окт 2020, как наберется группа
Расписание

ЧТ 19:30, ВС 17:00
Объем

16 занятий по 4 ак.ч.
Место

г. Москва, м. Маяковская / Дистанционно
Дистанционное участие
— Лайф трансляции занятий [пример]
— Занятия в группе, дистанционно
— Коммуникация с группой и преподавателями через чат
— Специальное приложение для комфортного участия
— Доступ к записям занятий и материалам без ограничений по времени
Стоимость
Статус: Старт ± 01 окт 2020, как наберется группа
Дни занятий: ЧТ 19:30, ВС 17:00
Место проведения: г. Москва, м. Маяковская / Дистанционно
Выберите свою специализацию, при необходимости можно выбрать дополнительную
Форма участия
0 занятий
Расчетная стоимость
Возможна рассрочка 0% на 3 и 6 месяцев
0
Промокод
Будет учтен при обработке заявки

— Старт ± 01 окт 2020, как наберется группа [ЧТ 19:30, ВС 17:00]
— 64. ак. часа занятий с преподавателем
— Разговоры участников до начала занятия, после и в перерыве не передаются в трансляции и не записываются
Посетить урок
Мы приглашаем посетить один из наших уроков, чтобы вы могли прочувствовать дух Digital God. Напишите о своем желании в чатике и мы вас пригласим на ближайшее доступное занятие.
В ближайшее время не выйдет :(
Рассрочка на 3 или 6 месяцев
Беспроцентная рассрочка от банка. Все по честному, для банка это кредит, процент по которому мы берем на себя. Поэтому для вас это просто рассрочка. Предоставляется банком Тинькофф а, при наличии карты, решение принимается очень быстро.
Оплата частями
Для курсов продолжительностью более месяца, оплату можно разбить по месяцам. Например: оплату курса продолжительностью 2.5 мес за 75 тыс. руб, можно разделить на 3 части: 30 т.р., 30 т.р., 15 т.р. При оплате частями некоторые бонусы и скидки утрачивают силу.
Предоставим компьютер
Если ваш ноутбук здоровенный динозавр или его вовсе нет, мы предоставим компьютер для участия. Обязательно укажите в примечании к заявке, либо предупредите за несколько дней.
Специальный браузер
Без второго монитора смотреть записи
занятий/трансляции и пытаться повторять — настоящая пытка! Мы сделали специальный браузер, которой позволяет комфортно расположить все окна на одном экране. Демо.
Скидки увлеченным
Чем больше навыков вы получаете, тем больше у вас скидка. Начиная с 3-го курса 10%, а 4 и последующие 20%. Не печальтесь, получить скидку можно заручившись рекомендацией друга с digitalgod.me.

Дима
Оправдание "нет времени" оставьте для детей, мы то знаем, что его не становится больше.
Запуски
А что, если я совсем не умею программировать?
Все в порядке, обычно этим занимаются программисты. Мы все проверили и готовы порекомендовать несколько вариантов.
Этот курс не для программистов и не создает таковых. Вы получите навыки "на каждый день", позволяющие самостоятельно решать задачи и автоматизировать повторяющиеся процессы. Python, Pandas, Linux и много API. Можно начать с нуля.
Мы стремились сделать лучшие онлайн трансляции
И вот что у нас вышло: лекция про Metabase
Полный обзор
Камера на лектора, камера на аудиторию, экран лектора
Слышно все
Микрофон у лектора, в аудитории и у дополнительного спикера
Учебное пространство
Хранилище со всеми необходимыми материалами и презентациями
Интерактивный чат
Больше нет необходимости переключаться между трансляцией и чатом, ведь он встроен в видео
Истории наших выпускников
Кто они такие и зачем им потребовалось программирование
Смотреть видео ►
Все финалисты ↗︎
Старт ± 01 окт 2020, как наберется группа
16 занятий по 4 ак.ч. г. Москва, м. Маяковская / Дистанционно

Digital God
Москва, Резиденция «Дом на Маяковке»
Благовещенский пер. 1А
м. Маяковская / Пушкинская

+7 (496) 266-62-06, TG @digitalgodbe