Получать данные с основных рекламных систем Yandex Direct, Google AdWords, Facebook, Vk и аналитических сервисов Google Analytics, Yandex Metrika. Сохранение в ClickHouse и BigQuery. Автоматизировать при помощи Airflow и Papermill
Автоматизация сбора данных YD, GAd, FB, VK, GA, YM #2
8 занятий по 4 ак. ч. [ЧТ 19:30, ВС 17:00]
Старт 30 янв 2020

г. Москва, м. Маяковская
Data collector

Авторы и преподаватели курса
Дмитрий Родин
17 лет в программировании, из которых 10 в индустрии маркетинговых технологий. Создатель открытой CDP (Customer Data Platform) Rockstat, основатель Digital God. Ранее: CEO Xeteq (Linkprofit Group), CTO Блондинка.ру, Nectarin, CPO Adventum, CMO Plazius (Сбербанк).
Алексей Макаров
Продуктовый аналитик в сервисе CoMagic, автор блога datalytics.ru и канала Datalytics. Большой фанат автоматизации, анализа данных. Давно забыл про Excel и перешёл на Pandas
Чему вы научитесь
Знание — сила, а в данном случае знание, чтобы добыть другое знание, а это двойная сила!
Делать все, что заблагорассудится
У программирования есть один большущий плюс - почти полное отсутствие ограничений! У вас не будет ситуации, когда инструмент не позволяет что-то сделать.
Сохранять полученные данные в хранилища
Да-да! В специализированные хранилища - колоночные базы данных Google BigQuery и Yandex ClickHouse, чтобы все остальные могли использовать их с помощью любимого BI инструмента
Запускать Jupyer блокноты как программы
Jupyter это до безобразия удобный инструмент для разработки и тестирования кода, но вы узнаете, как превратить его в настоящее оружие
Запускать скрипты по расписанию
Это очень важная часть, ведь что такое автоматизация без автоматического выполнения по расписанию и в нужной последовательности
Создавать заявки на доступ к API
В Google AdWords, Yandex Direct и Facebook следует специальным образом запрашивать доступ к API только после этого им можно будет пользоваться.
Работать с системами по API
Вы получите бесценный опыт работы с каждой из систем и будете знать все подводные камни и нюансы при работе с ними.
Программа курса
1 неделя
2 неделя
3 неделя
4 неделя
Занятие 1
Постановка задачи, необходимая теория, разогрев на простых API, получение данных из Yandex Metrika

- Постановка задачи: намечаем цель, определяем и выписываем шаги, это и будет план на оставшиеся лекции.
- Знакомство с инструментами, которые будут использоваться
- Освежаем в памяти необходимые теоретические аспекты работы с API
- Регистрация приложения в Yandex, Google для запроса доступов к API Yandex Direct, Google AdWords
- Дома: запросить к API для Yandex Direct, Google AdWords
Занятие 2
Сбор данных из VK

- Регистрация приложения
- Прохождение авторизации
- Получение информации о структурах, по которым требуется собрать данные
- Сбор статистики
Занятие 3
Запись данных в Google BigQuery, Yandex ClickHouse

- Подключение к BQ и выполнение запросов
- Эффективная потоковая обработка обработка файлов
- Перегрузка данных в BQ
- Самостоятельно: перегрузить данные, полученные на прошлых занятиях
Занятие 4
Сбор данных Google Analytics

- Настройка Google Analytics для сбора данных в разрезе пользователя
- Способы авторизации для получения доступа к Google Analytics API
- Сервисная авторизация
- Классическая OAuth авторизация
- Дробление запроса на подзапросы для обхода ограничение в 8 dimensions
- Самостоятельно: запись данных в DWH
Занятие 5
Сбор данных из Yandex Direct; Yandex Metrika

- Прохождение авторизации
- Получение информации о структурах, по которым требуется собрать данные
- Сбор статистики
- Запись в BigQuery/ClickHouse
Занятие 6
Сбор данных по расписанию, автоматический запуск блокнотов Jupyter

- Знакомство с AirFlow
- Разметка и запуск блокнотов через Papermill
- Реализация цепочки обработки скриптов
Занятие 7
Сбор данных из Facebook

- Регистрация приложения, предоставление доступа к рекламному кабинеты
- Особенности Facebook: пользователи, приложения, страницы, бизнесы, рекламные кабинеты и тп
- Запрос токена и его проверка
- Выполнение запросов к API: объявления, статистика
Занятие 8
Сбор данные из Google AdWords

- Способы взаимодействия с API
- Регистрация приложения, предоставление доступа к AdWords
- Настройка библиотеки от Google googleads-python-lib (используется самый новый протокол)
- Авторизация и выполнение запросов
- Использование Google App Script, организация сервиса для приема данных
Записаться на курс
Статус

Старт 30 янв 2020
Расписание

ЧТ 19:30, ВС 17:00
Объем

8 занятий по 4 ак. ч.
Место

г. Москва, м. Маяковская
Записаться на курс
Очно в группе
28,000₽
Рассрочка 0% на 3 или 6 мес., от 4,667₽ / мес
— Занятия в группе единомышленников
— Новые профессиональные знакомства и кулуарные инсайты
— Полноценный онлайн доступ — часть занятий можно проходить онлайн
— Пространство пропитанное технологиям
— Место проведения: г. Москва, м. Маяковская
— Обстановка располагающая к быстрому прогрессу
— Чай, кофе, шоколад
— Доступ к записям занятий и материалам без ограничения по сроку
Оставить заявку
Онлайн участие
20,000₽
Рассрочка 0% на 3 или 6 мес., от 3,334₽ / мес
— Занятия в группе, дистанционно
— Лайф трансляции занятий [пример]
— Общение с однокурсниками и преподавателями в чате
— Подключение с видео для полноценного участия (тест)
— Доступ к записям занятий и материалам без ограничения по сроку
— Специальное приложение для комфортного участия
Оставить заявку
- Старт 30 янв 2020 [ЧТ 19:30, ВС 17:00]
- 32. ак. часа занятий с преподавателем
- Разговоры учеников во время перерыва, до занятия и после не записываются и не транслируются из этических соображений, но картинка есть

Посетить урок
Мы приглашаем посетить один из наших уроков, чтобы вы могли прочувствовать дух Digital God. Напишите о своем желани в чатике и мы вас пригласим на ближайшее доступное занятие.
Рассрочка на 3 или 6 месяцев
Беспроцентная рассрочка от банка. Все по честному, для банка это кредит, процент по которому мы берем на себя. Поэтому для вас это просто рассрочка. Предоставляется банком Тинькофф а, при наличии карты, решение принимается очень быстро.
Оплата частями
Для курсов продолжительностью более месяца, оплату можно разбить по месяцам. Например: оплату курса продолжительностью 2.5 мес за 75 тыс. руб, можно разделить на 3 части: 30 т.р., 30 т.р., 15 т.р. При оплате частями некоторые бонусы и скидки утрачивают силу.
Предоставим компьютер
Если ваш ноутбук здоровенный динозавр или его вовсе нет, мы предоставим компьютер для участия. Обязательно укажите в примечании к заявке, либо предупредите за несколько дней.
Специальный браузер
Без второго монитора смотреть записи
занятий/трансляции и пытаться повторять — настоящая пытка! Мы сделали специальный браузер, которой позволяет комфортно расположить все окна на одном экране. Демо.
Скидки увлеченным
Чем больше навыков вы получаете, тем больше у вас скидка. Начиная с 3-го курса 10%, а 4 и последующие 20%. Не печальтесь, получить скидку можно заручившись рекомендацией друга с digitalgod.me.
Карта курсов Digital God
dg_main 2.4. Мобильная аналитика. Разметка, трекинг, сбор данных 2.2. Сквозная отчетность и умные модели атрибуции 2.1. Автоматизация сбора данных Yd, GAd, Fb, Vk, Ga, Ym 3.1. SQL, ClickHouse, визуализация данных, дашборды и отчеты 1.1. Python для digitalпрофессий 2.3. Продуктовая аналитика: воронки, инсайты Первые шаги 4.1. Мессенджерыи боты 4.2. Молниеносные коммуникации Email, Web-Push, SMS 4.3. ML & AI для маркетинга 4.4. Промышленный скрепинг/парсинг СКОРО СКОРО СКОРО СКОРО СКОРО B. Опция BigQuery Уверенный пользователь Базовый уровень
Запуски
Мы стремились сделать лучшие онлайн трансляции
И вот что у нас вышло: лекция про Metabase
Полный обзор
Камера на лектора, камера на аудиторию, экран лектора
Слышно все
Микрофон у лектора, в аудитории и у дополнительного спикера
Учебное пространство
Хранилище со всеми необходимыми материалами и презентациями
Интерактивный чат
Больше нет необходимости переключаться между трансляцией и чатом, ведь он встроен в видео
Как построен процесс обучения
Мы делаем основной упор на практику, где разбираем типовые задачи, возникающие при автоматизации маркетинга и аналитики. Про теорию мы тоже не забываем, но проходим лишь необходимый минимум! В качестве учебных данных используем статистику и структуры рекламных кампаний из Yandex Direct и VK, данные Google Analytics, разбираемся с заявками из CRM.

Дима Родин
Истории наших выпускников
Кто они такие и зачем им потребовалось программирование
Смотреть видео ►
Все финалисты ↗︎
Старт 30 янв 2020
8 занятий по 4 ак. ч. г. Москва, м. Маяковская

Digital God
Москва, Резиденция «Дом на Маяковке»

Благовещенский пер. 1А, офис 302
м. Маяковская / Пушкинская
+7 (496) 266-62-06, TG @digitalgodbe