Некоторое время назад мы проводили открытый урок на тему получения данных из Google Analytics с последующей записью в ClickHouse.
И вот, сейчас момент, когда отрасль в ожидании, что вот-вот произойдет чудо и Google откроет стриминг сырых данных на всех. Вот радости то будет! Только вот, вероятнее всего, с привкусом дерьмица, как обычно происходит.
Более того, мы живем в такой стране, где нельзя полагаться на иностранные облачные серверы, и интернет-каналы до них. В любой момент может произойти «Вжух!», разрезают провод идущий до иностранного государства и в разрез вставляется какое-то странное государственное устройство, создающее затор на магистрали… А вообще это и незаконно, надо хранить копию в России, только вот где ее взять.
Давайте уже перестанем мечтать о том, что кто-то сделает стриминг данных и будет нам счастье, надо взять и сделать, а я покажу все основные моменты.
В
Kiss My Stat / P.1 расписано, почему я предпочитаю ClickHouse, если коротко — это не сервис, предоставляемый какой-то компаний, это программное обеспечение, причем открытое и бесплатное, устанавливаешь на свой сервак и сидишь довольный.