Автоматизация сбора данных YD, GAd, FB, VK, GA, YM #1 | Digital God

Получать данные с основных рекламных систем Yandex Direct, Google AdWords, Facebook, Vk и аналитических сервисов Google Analytics, Yandex Metrika. Сохранение в ClickHouse и BigQuery. Автоматизировать при помощи Airflow и Papermill

Автоматизация сбора данных YD, GAd, FB, VK, GA, YM #1

8 занятий по 4 ак.ч. [ВТ 19:30, СБ 17:00]

Курс завершен

г. Москва, м. Маяковская / Дистанционно

Data collector

Авторы и преподаватели курса

Дмитрий Родин

facebook

17 лет в программировании, из которых 10 в индустрии маркетинговых технологий. Создатель открытой CDP (Customer Data Platform) Rockstat, основатель Digital God. Ранее: CEO Xeteq (Linkprofit Group), CTO Блондинка.ру, Nectarin, CPO Adventum, CMO Plazius (Сбербанк).

Алексей Макаров

facebook

Продуктовый аналитик в сервисе CoMagic, автор блога datalytics.ru и канала Datalytics. Большой фанат автоматизации, анализа данных. Давно забыл про Excel и перешёл на Pandas

Чему вы научитесь

Знание — сила, а в данном случае знание, чтобы добыть другое знание, а это двойная сила!

Делать все, что заблагорассудится

У программирования есть один большущий плюс - почти полное отсутствие ограничений! У вас не будет ситуации, когда инструмент не позволяет что-то сделать.

Сохранять полученные данные в хранилища

Да-да! В специализированные хранилища - колоночные базы данных Google BigQuery и Yandex ClickHouse, чтобы все остальные могли использовать их с помощью любимого BI инструмента

Запускать Jupyer блокноты как программы

Jupyter это до безобразия удобный инструмент для разработки и тестирования кода, но вы узнаете, как превратить его в настоящее оружие

Запускать скрипты по расписанию

Это очень важная часть, ведь что такое автоматизация без автоматического выполнения по расписанию и в нужной последовательности

Создавать заявки на доступ к API

В Google AdWords, Yandex Direct и Facebook следует специальным образом запрашивать доступ к API только после этого им можно будет пользоваться.

Работать с системами по API

Вы получите бесценный опыт работы с каждой из систем и будете знать все подводные камни и нюансы при работе с ними.

Программа курса

1 неделя

2 неделя

3 неделя

4 неделя

Занятие 1

Постановка задачи, необходимая теория, разогрев на простых API, получение данных из Yandex Metrika

- Постановка задачи: намечаем цель, определяем и выписываем шаги, это и будет план на оставшиеся лекции.
- Знакомство с инструментами, которые будут использоваться
- Освежаем в памяти необходимые теоретические аспекты работы с API
- Регистрация приложения в Yandex, Google для запроса доступов к API Yandex Direct, Google AdWords
- Дома: запросить к API для Yandex Direct, Google AdWords

Занятие 2

Сбор данных из VK

- Регистрация приложения
- Прохождение авторизации
- Получение информации о структурах, по которым требуется собрать данные
- Сбор статистики

Занятие 3

Запись данных в Google BigQuery, Yandex ClickHouse

- Подключение к BQ и выполнение запросов
- Эффективная потоковая обработка обработка файлов
- Перегрузка данных в BQ
- Самостоятельно: перегрузить данные, полученные на прошлых занятиях

Занятие 4

Сбор данных Google Analytics

- Настройка Google Analytics для сбора данных в разрезе пользователя
- Способы авторизации для получения доступа к Google Analytics API
- Сервисная авторизация
- Классическая OAuth авторизация
- Дробление запроса на подзапросы для обхода ограничение в 8 dimensions
- Самостоятельно: запись данных в DWH

Занятие 5

Сбор данных из Yandex Direct; Yandex Metrika

- Прохождение авторизации
- Получение информации о структурах, по которым требуется собрать данные
- Сбор статистики
- Запись в BigQuery/ClickHouse

Занятие 6

Сбор данных по расписанию, автоматический запуск блокнотов Jupyter

- Знакомство с AirFlow
- Разметка и запуск блокнотов через Papermill
- Реализация цепочки обработки скриптов

Занятие 7

Сбор данных из Facebook

- Регистрация приложения, предоставление доступа к рекламному кабинеты
- Особенности Facebook: пользователи, приложения, страницы, бизнесы, рекламные кабинеты и тп
- Запрос токена и его проверка
- Выполнение запросов к API: объявления, статистика

Занятие 8

Сбор данные из Google AdWords

- Способы взаимодействия с API
- Регистрация приложения, предоставление доступа к AdWords
- Настройка библиотеки от Google googleads-python-lib (используется самый новый протокол)
- Авторизация и выполнение запросов
- Использование Google App Script, организация сервиса для приема данных