Курс для продвинутых digital-специалистов. Собрать данные из рекламных и аналитических систем, сохранить в ClickHouse / BigQuery, создать поведенческие модели атрибуции, построить end-to-end отчетность и dashboard-ы в Grafana и Metabase.
Сбор данных, атрибуция, сквозная отчетность на Python #3
16 занятий по 4 ак. ч. [~ ЧТ 19:30, ВС 17:00]
Старт, как наберется группа. ~23 июл 2020
г. Москва, м. Маяковская
Data assembler
↖︎ Автомобиль марки ЗИЗ
Дмитрий Родин
Преподаватель
17 лет в программировании, из которых 10 в индустрии маркетинговых технологий. Создатель открытой CDP (Customer Data Platform) Rockstat, основатель Digital God. Ранее: CEO Xeteq (Linkprofit Group), CTO Блондинка.ру, Nectarin, CPO Adventum, CMO Plazius (Сбербанк).

Дима
Закончилисть времена тайных знаний прогерского ложа - технологии шагнули вперед, став доступными для освоения практически всем. Можно автоматизировать повторяющиеся действия, решать технические задачи и, хех, представьте, разговаривать с прогерами, понимая друг друга. Кстати, программированием владеют многие успешные люди...
Чему вы научитесь
Получать данных их рекламных кабинетов, аналитики и БД с продажами; определять настоящий вклад канала в покупку; управлять расписанием и запускать на сервере.
Атрибуция по действиям пользователей
Модель на основе вероятостного прохождения воронки или атрибуция по индексу вовлеченности
Превращать блокнот в программы
Представьте себе, ничего не нужно переписывать в чистый .py код, а вять и запустить блокнот
Отработанные подходы OAuth авторизации и API
Вы получите бесценный опыт работы с основными сервисами, а также знать подводные камни и нюансы интеграции
Запуск по расписанию
Настраивать старт в конкретное время и управлять последовательностью запуска
Сбор данных в DWH
Запись в специализированные хранилища - колоночные базы данных Google BigQuery и Yandex ClickHouse с доступом из BI
Привязать все к ClientId.
Узнаете, как прокидывать ClientId для получения и
Программа курса
Цель на курс: получитбё ё данные с основных рекламных систем и двух аналитических сервисов, сохранить в колоночную БД ClickHouse и BigQuery, для дальнейшей обработки. Свести данные, рассчитывать атрибуцию классическими способами, а также построить модели основанные на поведении пользователей.
1. Данные рекламных и аналитических систем
Основная тема курса, здесь рассматриваем от начала и до конца весь процесс получения данных их сторонних сервисов, по расписанию, с логами и определенной последовательносью выполнения задач. Помимо этого уделяем внимание способам запуска кода, их особенностям. DevOps мы рассматриваем в отдельном модуле, а здесь мы даем конфигуацию и показываем как ее запустить.
Занятие 1. Постановка задачи, необходимая теория, разогрев на простых API: VK ads
  • Постановка задачи: определяем цели и шаги
  • Знакомимся с инструментами, которые будут использоваться
  • Освежаем в памяти необходимые теоретические аспекты работы с API и прохождению OAuth авторизацией
  • Регистрация приложений в VK,
  • Регистрируем приложения доступа к API в Yandex, GoogleНастройка Google Analytics для сбора данных в разрезе пользователя
Занятие 2. Получение логов из Yandex AppMetrika/Metrika
  • Вспоминаем потоковую работу с файлами (с помощью чанков) и способы разбора CSV/TSV
  • Выбор стратегии и прохождение OAuth авторизации Yandex
  • Использование Logs API, выгрузка сессий
  • Получение информации о структуре; выбор счетчика
  • Потоковая запись в файлы
  • Самостоятельно: загрузка информации о хитах по выбранным параметрам
Занятие 3. Подготовка сервера, контейнеры Docker, расписание
  • Контейнеризация программ, что за Docker и с чем его едят
  • Структура программ на python, устройство блокнотов
  • Запуск своего сервера в облаке, установка Docker
  • Запуск окружения с Jupyter, ClickHouse
  • Papermill для параметризации и запуска блокнотов
  • Создание расписания; цепочки обработки скриптов
  • ClickHouse на вашем сервере, как до него добраться
Занятие 4. Колоночные базы данных; Yandex ClickHouse
  • Виды систем управления базами данных (СУБД), их особенности
  • Колоночные БД: ClickHouse
  • Облачный ClickHouse и standalone версия на своем сервере
  • Типы хранилищ в ClickHouse
  • Специфика SQL в ClickHouse
  • Внесение изменений
  • Расчет дельты
  • Загрузка данных, полученных на прошлых занятиях
Занятие 5. Работа с Google BigQuery
  • Как устроен BigQuery, сильные и слабые стороны
  • Специфика SQL в BigQuery
  • Подключение к BigQuery, выполнение запросов
  • Загрузка данных
  • Загрузка данных, полученных на прошлых занятиях
Занятие 6. Данные Yandex Direct
  • Унификация запросов и передача токена авториацции
  • Получение структуры РК, поиск шаблона ссылки
  • Сбор статистики, потоковая обработка TSV
  • Запись в BigQuery и ClickHouse
Занятие 7. Данные Google Analytics
  • Способы авторизации для получения доступа к Google Analytics API
  • Сервисная авторизация
  • Авторизация обычных пользователей
  • Дробление запроса на подзапросы для обхода ограничения dimensions
  • Регистрация приложения Facebook, предоставление доступа к рекламному кабинету
Занятие 8. Данные Facebook Ads
  • Особенности Facebook: пользователи, приложения, страницы, бизнес-аккаунты, рекламные кабинеты и тп
  • Виды токенов, запрос токена для доступа к рекламому кабинету, проверка токенов
  • Выполнение запросов к API: объявления, статистика
  • Получение статистики и запись в BigQuery / ClickHouse
Занятие 9. Данные Google AdWords; Свой https сервер для приема данных от сервисов в других экосистемах
  • -08
2. Построение end-to-end отчетности ("сквозной")
Модуль про итоговое сведение данных, обработке сессий по каждому отдельно взятому пользователю, построению финальной суммарной статистики по каналам.
Занятие 10. Объединение данных о расходах, веб аналитики и CRM
  • Пример получения данных из популярной CRM (вероятнее всего Amo, вообще их много и у всех разные)
  • Извлечение utm-ок из ссылок, дальнейшее объединение данных на основе совпадающих меток.
  • Обработка шаблонов ссылок, подстановка на основе имеющихся статистике данных
Занятие 11. Запись обновлений в BigQuery, способы обновления данных в ClickHouse
  • Обноваление данных в BQ
  • Стратегии обновления данных в ClickHouse
  • Изменение через дописывание разницы
Занятие 12. Профили пользователей для расчета атрибуции на основе поведенния
  • Агрегированные и индивидуальные данные
  • Предобрабока данных по каждому отдельно взятому пользователю
  • Построение портрета каждого пользователя
  • Объединение событий в сессии
Занятие 13. Атрибуция по воронке
  • Суть модели
  • Определение проходимости воронки и расчет вероятностей
  • Наложение вероятностей на статистику и вычисление финальных показателей
Занятие 14. Атрибуция по индексу вовлеченности
  • Суть модели
  • Подсчитываем индекс сессий в рамках каждого пользователя
  • Наложение индексов на статистику и вычисление финальных показателей
Занятие 15. Grafana и Metabase
  • Запуск готовых Docker образов
  • Обзор, особенности, подключение к ClickHouse
  • Создание Dashboard-ов в Grafana с данными из ClickHouse
  • Использоватение Metabase
  • ClickHouse и Metabase
  • BigQuery и Metabase
3. Возможные опции и дополнения
Опция: инфраструктура и основы DevOps
Мы не хотим превращаться вас в программистов и уж тем-более сисадминов и в общей части курса дана рабочая конфигурацция, но увы, она работает не для всех и не получается скрыться от DevOps. Мы постарались сделать материал модуля наиболее дружелюбны, а также подготовили набор практик и заготовок, которые не дадут вам утонуть в параметрах серверов.

Длительность: 3 типовых занятия по 4 ак. ч. / 3 аст. ч.

Занятие 16. Параметры Docker контейнеров
  • Программа уточняется

Занятие 17. Запуск VPN сервера, доступ из Tabix и Power BI
  • Программа уточняется

Занятие 18. Создание собственных образов. Сделаем образ Tabix
  • Программа уточняется
Опция: индивидуальные консультации
Если вы работаете над проектом и за время курса хотите запустить end-to-end отчетность для компании, именно тут вы сможете получить подсказки по вопросам выходящим за рамки курса. Если вы не делаете проект отчетности, то вам вовсе не стоит подавать заявку на курс. Также вы попадете в отдельную группу инкубатора Digital God, где где участники по мере возможностей помогают друг другу с проектами. Консультации проводит Дима.

Продолжительность: 4 консультации по 1 ак. ч., дата и время резервируется по необходимости.
Опция: решение задач с курса при помощи Rockstat
На курсе все задачи решаются при помощи типовых общедоступных инструментов. Требуется много сил для запоминания и расширении конфигурации. Чтобы решать задачи маркетинга в реальном времени есть платформа Rockstat, созданная специально, чтобы быстро и легко создавать различные маркетинговые автоматизации, от сбора данных по расписанию до реактивных обработчиков событий пользователей. Отличный пример: персонализация контента в реальном времени. Главное - Rockstat изначально создавался для digital-специалистов, владеюбщих начальным уровнем программирования. Стоит заметить, что Rockstat - это открытая и бесплатная платформа также состоящая в основном их других Open Sourse разработок, собранных воедино, снабженных набором собственных сервисов и библиотек для решения маркетинговых задач, а также удобной системой установки "для обычных смертных".

Продолжительность: 4 типовых занятия (3 занятия по средам и по 1 ак.ч. после занятий по выходным)
Доход от модуля поступает в фонд разработки Rockstat
Важно: Apache AirFlow и других -flow на кусе не будет. Мы пробовали и пришли к выводу, что это только усложняет процесс построения системы отчетности и забивает голову. Мы покажем, как реализовать последовательность обработки и расписание легко и не забивая голову. Что касается AirFlow и подобных, они полезны, если задач тысячи и есть умелый DevOps, а у нас будет не больше 10.
Записаться на курс
Статус

Старт, как наберется группа. ~23 июл 2020
Расписание

~ ЧТ 19:30, ВС 17:00
Объем

16 занятий по 4 ак. ч.
Место

г. Москва, м. Маяковская
Дистанционное участие
— Лайф трансляции занятий [пример]
— Занятия в группе, дистанционно
— Коммуникация с группой и преподавателями через чат
— Специальное приложение для комфортного участия
— Доступ к записям занятий и материалам без ограничений по времени
Стоимость
Статус: Старт, как наберется группа. ~23 июл 2020
Дни занятий: ~ ЧТ 19:30, ВС 17:00
Место проведения: г. Москва, м. Маяковская
Выберите свою специализацию, при необходимости можно выбрать дополнительную
Форма участия
0 занятий
Расчетная стоимость
Возможна рассрочка 0% на 3 и 6 месяцев
0
Промокод
Будет учтен при обработке заявки

— Старт, как наберется группа. ~23 июл 2020 [~ ЧТ 19:30, ВС 17:00]
— 64. ак. часа занятий с преподавателем
— Разговоры участников до начала занятия, после и в перерыве не передаются в трансляции и не записываются
Посетить урок
Мы приглашаем посетить один из наших уроков, чтобы вы могли прочувствовать дух Digital God. Напишите о своем желани в чатике и мы вас пригласим на ближайшее доступное занятие.
В ближайшее время не выйдет :(
Рассрочка на 3 или 6 месяцев
Беспроцентная рассрочка от банка. Все по честному, для банка это кредит, процент по которому мы берем на себя. Поэтому для вас это просто рассрочка. Предоставляется банком Тинькофф а, при наличии карты, решение принимается очень быстро.
Оплата частями
Для курсов продолжительностью более месяца, оплату можно разбить по месяцам. Например: оплату курса продолжительностью 2.5 мес за 75 тыс. руб, можно разделить на 3 части: 30 т.р., 30 т.р., 15 т.р. При оплате частями некоторые бонусы и скидки утрачивают силу.
Предоставим компьютер
Если ваш ноутбук здоровенный динозавр или его вовсе нет, мы предоставим компьютер для участия. Обязательно укажите в примечании к заявке, либо предупредите за несколько дней.
Специальный браузер
Без второго монитора смотреть записи
занятий/трансляции и пытаться повторять — настоящая пытка! Мы сделали специальный браузер, которой позволяет комфортно расположить все окна на одном экране. Демо.
Скидки увлеченным
Чем больше навыков вы получаете, тем больше у вас скидка. Начиная с 3-го курса 10%, а 4 и последующие 20%. Не печальтесь, получить скидку можно заручившись рекомендацией друга с digitalgod.me.

Дима
Оправдание "нет времени" оставьте для детей, мы то знаем, что его не становится больше.
Запуски
А что, если я совсем не умею программировать?
Все в порядке, обычно этим занимаются программисты. Мы все проверили и готовы порекомендовать несколько вариантов.
Этот курс не для программистов и не создает таковых. Вы получите навыки "на каждый день", позволяющие самостоятельно решать задачи и автоматизировать повторяющиеся процессы. Python, Pandas, Linux и много API. Можно начать с нуля.
Мы стремились сделать лучшие онлайн трансляции
И вот что у нас вышло: лекция про Metabase
Полный обзор
Камера на лектора, камера на аудиторию, экран лектора
Слышно все
Микрофон у лектора, в аудитории и у дополнительного спикера
Учебное пространство
Хранилище со всеми необходимыми материалами и презентациями
Интерактивный чат
Больше нет необходимости переключаться между трансляцией и чатом, ведь он встроен в видео
Истории наших выпускников
Кто они такие и зачем им потребовалось программирование
Смотреть видео ►
Все финалисты ↗︎
Старт, как наберется группа. ~23 июл 2020
16 занятий по 4 ак. ч. г. Москва, м. Маяковская

Digital God
Москва, Резиденция «Дом на Маяковке»
Благовещенский пер. 1А
м. Маяковская / Пушкинская

+7 (496) 266-62-06, TG @digitalgodbe