Получать данные с основных рекламных систем Yandex Direct, Google AdWords, Facebook, Vk и аналитических сервисов Google Analytics, Yandex Metrika. Сохранение в ClickHouse и BigQuery. Автоматизировать при помощи Airflow и Papermill
Автоматизация сбора данных Yd, Gaw, Fb, Vk, Ga, Ym #2
8 занятий по  4  ак.  ч. [ВС 17:00, СР 19:30]
Старт 27 ноя 2019

г.  Москва, м. Маяковская
Collect data

Авторы и преподаватели курса
Дмитрий Родин
17 лет в программировании, из которых 10 в индустрии маркетинговых технологий. Создатель открытой CDP (Customer Data Platform) Rockstat, основатель Digital God. Ранее: CEO Xeteq (Linkprofit Group), CTO Блондинка.ру, Nectarin, CPO Adventum, CMO Plazius (Сбербанк).
Алексей Макаров
Продуктовый аналитик в сервисе CoMagic, автор блога datalytics.ru и канала Datalytics. Большой фанат автоматизации, анализа данных. Давно забыл про Excel и перешёл на Pandas
Чему вы научитесь
Знание — сила, а в данном случае знание, чтобы добыть другое знание, а это двойная сила!
Делать все, что заблагорассудится
У программирования есть один большущий плюс - почти полное отсутствие ограничений! У вас не будет ситуации, когда инструмент не позволяет что-то сделать.
Сохранять полученные данные в хранилища
Да-да! В специализированные хранилища - колоночные базы данных Google BigQuery и Yandex ClickHouse, чтобы все остальные могли использовать их с помощью любимого BI инструмента
Запускать Jupyer блокноты как программы
Jupyter это до безобразия удобный инструмент для разработки и тестирования кода, но вы узнаете, как превратить его в настоящее оружие
Запускать скрипты по расписанию
Это очень важная часть, ведь что такое автоматизация без автоматического выполнения по расписанию и в нужной последовательности
Создавать заявки на доступ к API
В Google AdWords, Yandex Direct и Facebook следует специальным образом запрашивать доступ к API только после этого им можно будет пользоваться.
Работать с системами по API
Вы получите бесценный опыт работы с каждой из систем и будете знать все подводные камни и нюансы при работе с ними.
Программа курса
1 неделя
2 неделя
3 неделя
4 неделя
Занятие 1
Постановка задачи, необходимая теория, разогрев на простых API, получение данных из Yandex Metrika

- Постановка задачи: намечаем цель, определяем и выписываем шаги, это и будет план на оставшиеся лекции.
- Знакомство с инструментами, которые будут использоваться
- Освежаем в памяти необходимые теоретические аспекты работы с API
- Регистрация приложения в Yandex, Google для запроса доступов к API Yandex Direct, Google AdWords
- Дома: запросить к API для Yandex Direct, Google AdWords
Занятие 2
Сбор данных из VK

- Регистрация приложения
- Прохождение авторизации
- Получение информации о структурах, по которым требуется собрать данные
- Сбор статистики
Занятие 3
Запись данных в Google BigQuery, Yandex ClickHouse

- Подключение к BQ и выполнение запросов
- Эффективная потоковая обработка обработка файлов
- Перегрузка данных в BQ
- Самостоятельно: перегрузить данные, полученные на прошлых занятиях
Занятие 4
Сбор данных Google Analytics

- Настройка Google Analytics для сбора данных в разрезе пользователя
- Способы авторизации для получения доступа к Google Analytics API
- Сервисная авторизация
- Классическая OAuth авторизация
- Дробление запроса на подзапросы для обхода ограничение в 8 dimensions
- Самостоятельно: запись данных в DWH
Занятие 5
Сбор данных из Yandex Direct; Yandex Metrika

- Прохождение авторизации
- Получение информации о структурах, по которым требуется собрать данные
- Сбор статистики
- Запись в BigQuery/ClickHouse
Занятие 6
Сбор данных по расписанию, автоматический запуск блокнотов Jupyter

- Знакомство с AirFlow
- Разметка и запуск блокнотов через Papermill
- Реализация цепочки обработки скриптов
Занятие 7
Сбор данных из Facebook

- Регистрация приложения, предоставление доступа к рекламному кабинеты
- Особенности Facebook: пользователи, приложения, страницы, бизнесы, рекламные кабинеты и тп
- Запрос токена и его проверка
- Выполнение запросов к API: объявления, статистика
Занятие 8
Сбор данные из Google AdWords

- Способы взаимодействия с API
- Регистрация приложения, предоставление доступа к AdWords
- Настройка библиотеки от Google googleads-python-lib (используется самый новый протокол)
- Авторизация и выполнение запросов
- Использование Google App Script, организация сервиса для приема данных
Записаться на курс
Очно в группе
28,000₽
Рассрочка 0% на 3 или 6 мес., от 4,667₽ / мес
- Очное обучение в группой
- Онлайн доступ на экстренный случай
- Представители сферы, прошедшие face-control
- Новые знакомства и увлекательные разговоры в кулуарах
- Чай, кофемашина, chill-зона
- Записи занятий
- Место проведения: г.  Москва, м. Маяковская
Оставить заявку
Онлайн участие
20,000₽
Рассрочка 0% на 3 или 6 мес., от 3,334₽ / мес
- Обучение с группой, дистанционно
- Лайф трансляции занятий [пример]
- Коммуникация с группой и преподавателями в чате
- Записи занятий
- Специальное приложение для участия, опционально
Оставить заявку
- Старт 27 ноя 2019 [ВС 17:00, СР 19:30]
- 32 ак. часа занятий с преподавателем
- Разговоры учеников во время перерыва, до занятия и после не записываются и не транслируются из этических соображений, но картинка есть

Посетить урок
Мы приглашаем посетить один из наших уроков, чтобы вы могли прочувствовать дух Digital God. Напишите о своем желани в чатике и мы вас пригласим на ближайшее доступное занятие.
Рассрочка на 3 или 6 месяцев
Беспроцентная рассрочка от банка. Все по честному, для банка это кредит, процент по которому платим мы, поэтому для вас это просто рассрочка. Предоставляется банком Тинькофф, при наличии карты решение принимается очень быстро.
Оплата частями
Для курсов продолжительностью более месяца, оплату можно разбить по месяцам. Например: оплату курса продолжительностью 2+1/2 мес. и стоимостью 75 тыс. руб, можно разделить на 3 части по 30, 30, 15 тыс. руб. При частичной оплате некоторые скидки утрачивают силу.
Предоставим компьютер
Если ваш ноутбук здоровенный динозавр или его вовсе нет, мы предоставим компьютер для участия. Обязательно укажите в примечании к заявке, либо предупредите за несколько дней.
Специальное ПО
Без второго монитора смотреть записи
занятий/трансляции и пытаться повторять — настоящая пытка! Мы сделали специальный браузер, которой позволит комфортно разместить все необходимое на одном экране.
Скидки увлеченным
Чем больше навыков вы получаете, тем больше у вас скидка. Начиная с 3-го курса 10%, а 4 и последующие 20%. Не печальтесь, получить скидку можно заручившись рекомендацией друга с digitalgod.me. При оплате частями скидки утрачивают силу.
А что, если я совсем не умею программировать?
Все в порядке, обычно этим занимаются программисты. Мы все проверили и готовы порекомендовать несколько вариантов.
Вводный курс от DigitalGod. Основы Python всего за 4 занятия: работа со структурами данных, ресурсы, чтение и запись в файлы, основы Linux, базовые запросы к API. А самое главное — ничего лишнего. Проходит очно, есть онлайн доступ.
Онлайн курс с классическим подходом от института Биоинформатики. Все нужное ребята освещают на русском языке и весьма доступно. Требуется полностью пройти курс ~ 22 часа.
Прекрасный интерактивный онлайн курс, заточенный на работу с данными. Русской версии нет, но если для вас это проблема, в Chrome интегрирован переводчик. Да и вообще в программировании без английского никуда — исправляйтесь.
Основная программа обучения
dg_main 2.4. Мобильная аналитика. Разметка, трекинг, сбор данных 2.2. Сквозная отчетность и умные модели атрибуции 2.1. Автоматизация сбора данных Yd, GAd, Fb, Vk, Ga, Ym 3.1. SQL, ClickHouse, визуализация данных, дашборды и отчеты 1.1. Python для маркетинга и аналитики 0.1. Дивный мир Python для не-программистов 2.3. Продуктовая аналитика: воронки, инсайты Первые шаги 4.1. Мессенджерыи боты 4.2. Молниеносные коммуникации Email, Web-Push, SMS 4.3. ML & AI для маркетинга 4.4. Промышленный скрепинг/парсинг СКОРО СКОРО СКОРО СКОРО СКОРО B. Опция BigQuery Уверенный пользователь Базовый уровень
Мы стремились сделать лучшие онлайн трансляции
И вот что у нас вышло: лекция про Metabase
Полный обзор
Камера на лектора, камера на аудиторию, экран лектора
Слышно все
Микрофон у лектора, в аудитории и у дополнительного спикера
Учебное пространство
Хранилище со всеми необходимыми материалами и презентациями
Интерактивный чат
Больше нет необходимости переключаться между трансляцией и чатом, ведь он встроен в видео
Как построен процесс обучения
Мы делаем основной упор на практику, где разбираем типовые задачи, возникающие при автоматизации маркетинга и аналитики. Про теорию мы тоже не забываем, но проходим лишь необходимый минимум! В качестве учебных данных используем статистику и структуры рекламных кампаний из Yandex Direct и VK, данные Google Analytics, разбираемся с заявками из CRM.

Дима Родин
Истории наших выпускников
Кто они и на что им навык программирования
[►] Смотреть видео
[↗︎] доска почета
Старт 27 ноя 2019
8 занятий по  4  ак.  ч. г.  Москва, м. Маяковская

Digital God
Москва, Резиденция «Дом на Маяковке»

Благовещенский пер. 1А, офис 302
м. Маяковская / Пушкинская
+7 (496) 266-62-06, TG @digitalgodbe