Получать данные с основных рекламных систем Yandex Direct, Google AdWords, Facebook, Vk и аналитических сервисов Google Analytics, Yandex Metrika. Сохранение в ClickHouse и BigQuery. Автоматизировать при помощи Airflow и Papermill
Автоматизация сбора данных YD, GAd, FB, VK, GA, YM #1
8 занятий по 4 ак.ч. [ВТ 19:30, СБ 17:00]
Курс завершен

г. Москва, м. Маяковская / Дистанционно
Data collector

Авторы и преподаватели курса
Дмитрий Родин
17 лет в программировании, из которых 10 в индустрии маркетинговых технологий. Создатель открытой CDP (Customer Data Platform) Rockstat, основатель Digital God. Ранее: CEO Xeteq (Linkprofit Group), CTO Блондинка.ру, Nectarin, CPO Adventum, CMO Plazius (Сбербанк).
Алексей Макаров
Продуктовый аналитик в сервисе CoMagic, автор блога datalytics.ru и канала Datalytics. Большой фанат автоматизации, анализа данных. Давно забыл про Excel и перешёл на Pandas
Чему вы научитесь
Знание — сила, а в данном случае знание, чтобы добыть другое знание, а это двойная сила!
Делать все, что заблагорассудится
У программирования есть один большущий плюс - почти полное отсутствие ограничений! У вас не будет ситуации, когда инструмент не позволяет что-то сделать.
Сохранять полученные данные в хранилища
Да-да! В специализированные хранилища - колоночные базы данных Google BigQuery и Yandex ClickHouse, чтобы все остальные могли использовать их с помощью любимого BI инструмента
Запускать Jupyer блокноты как программы
Jupyter это до безобразия удобный инструмент для разработки и тестирования кода, но вы узнаете, как превратить его в настоящее оружие
Запускать скрипты по расписанию
Это очень важная часть, ведь что такое автоматизация без автоматического выполнения по расписанию и в нужной последовательности
Создавать заявки на доступ к API
В Google AdWords, Yandex Direct и Facebook следует специальным образом запрашивать доступ к API только после этого им можно будет пользоваться.
Работать с системами по API
Вы получите бесценный опыт работы с каждой из систем и будете знать все подводные камни и нюансы при работе с ними.
Программа курса
1 неделя
2 неделя
3 неделя
4 неделя
Занятие 1
Постановка задачи, необходимая теория, разогрев на простых API, получение данных из Yandex Metrika

- Постановка задачи: намечаем цель, определяем и выписываем шаги, это и будет план на оставшиеся лекции.
- Знакомство с инструментами, которые будут использоваться
- Освежаем в памяти необходимые теоретические аспекты работы с API
- Регистрация приложения в Yandex, Google для запроса доступов к API Yandex Direct, Google AdWords
- Дома: запросить к API для Yandex Direct, Google AdWords
Занятие 2
Сбор данных из VK

- Регистрация приложения
- Прохождение авторизации
- Получение информации о структурах, по которым требуется собрать данные
- Сбор статистики
Занятие 3
Запись данных в Google BigQuery, Yandex ClickHouse

- Подключение к BQ и выполнение запросов
- Эффективная потоковая обработка обработка файлов
- Перегрузка данных в BQ
- Самостоятельно: перегрузить данные, полученные на прошлых занятиях
Занятие 4
Сбор данных Google Analytics

- Настройка Google Analytics для сбора данных в разрезе пользователя
- Способы авторизации для получения доступа к Google Analytics API
- Сервисная авторизация
- Классическая OAuth авторизация
- Дробление запроса на подзапросы для обхода ограничение в 8 dimensions
- Самостоятельно: запись данных в DWH
Занятие 5
Сбор данных из Yandex Direct; Yandex Metrika

- Прохождение авторизации
- Получение информации о структурах, по которым требуется собрать данные
- Сбор статистики
- Запись в BigQuery/ClickHouse
Занятие 6
Сбор данных по расписанию, автоматический запуск блокнотов Jupyter

- Знакомство с AirFlow
- Разметка и запуск блокнотов через Papermill
- Реализация цепочки обработки скриптов
Занятие 7
Сбор данных из Facebook

- Регистрация приложения, предоставление доступа к рекламному кабинеты
- Особенности Facebook: пользователи, приложения, страницы, бизнесы, рекламные кабинеты и тп
- Запрос токена и его проверка
- Выполнение запросов к API: объявления, статистика
Занятие 8
Сбор данные из Google AdWords

- Способы взаимодействия с API
- Регистрация приложения, предоставление доступа к AdWords
- Настройка библиотеки от Google googleads-python-lib (используется самый новый протокол)
- Авторизация и выполнение запросов
- Использование Google App Script, организация сервиса для приема данных
Записаться на курс
Мы перенесли материалы в другой курс.
Он .
Истории наших выпускников
Кто они такие и зачем им потребовалось программирование
Смотреть видео ►
Все финалисты ↗︎

Digital God
Москва, Резиденция «Дом на Маяковке»
Благовещенский пер. 1А
м. Маяковская / Пушкинская

+7 (496) 266-62-06, TG @digitalgodbe