BigQuery – это облачное хранилище, позволяющее очень быстро обрабатывать запросы к большим наборам данных.
Вы можете экспортировать все необработанные события из ресурсов Google Аналитики 4 (включая дочерние и агрегированные ресурсы) в BigQuery, а затем выполнять запросы к ним с помощью синтаксиса, схожего с SQL. Данные можно экспортировать из BigQuery в стороннее хранилище или, наоборот, импортировать сведения из других источников, а затем объединять их с информацией из Google Аналитики.
Вы остаетесь владельцем данных, которые загружаете в BigQuery, и можете настраивать разрешения для проектов и наборов данных с помощью списков контроля доступа.
Полный экспорт данных происходит один раз в день. Кроме того, данные экспортируются в течение дня. Подробную информацию об этом вы найдете ниже в разделе Потоковый экспорт.
Вы можете экспортировать данные в бесплатный экземпляр BigQuery (изолированную среду), однако если объем экспортированных данных превысит ограничение, вам необходимо будет за них заплатить.
Ограничение BigQuery Export для стандартных ресурсов – один миллион событий в день. Подробнее о других ограничениях в BigQuery Export…
Разница между интерфейсом Google Аналитики и BigQuery Export
С помощью экспорта событий в BigQuery вы можете просматривать необработанные данные о событиях и данные на уровне пользователей, за исключением того, что Google Аналитика добавляет в данные стандартных отчетов и исследований. Поэтому данные событий в BigQuery Export могут отличаться от данных, которые вы видите в интерфейсе Google Аналитики.
Подробную информацию об этих различиях и о том, как их сократить, вы найдете в записи Bridging the gap between Google Analytics UI and BigQuery Export (на английском языке).
Потоковый экспорт
Связывая ресурс "Google Аналитика 4" с BigQuery, можно выбрать вариант потокового экспорта.
Потоковый экспорт позволяет в считанные минуты получать данные за текущий день с помощью функции BigQuery Export.
В таком режиме экспорта BigQuery предоставляет более актуальную информацию о пользователях и трафике ресурса.
Для каждого дня создается отдельная таблица:
events_intraday_ГГГГММДД– внутренняя промежуточная таблица, которая содержит записи сеансов для всех типов активности, зарегистрированной в течение дня. Потоковый экспорт – операция с негарантированным результатом, которая может учитывать не все данные, например из-за обработки последних событий или ошибок загрузки. Данные экспортируются регулярно в течение дня. Если информация об одном событии загружается в ходе нескольких операций экспорта, то для него создается несколько записей в таблице. Эта таблица удаляется после того, как все данные загружаются в таблицуevents_ГГГГММДД.
Если вы выберете ежедневный вариант при настройке BigQuery Export, то также ежедневно будет создаваться следующая таблица:
events_ГГГГММДД– полный объем информации о событиях за этот день.
Рекомендуем запрашивать данные из таблицы events_ГГГГММДД, а не из events_intraday_ГГГГММДД, чтобы обращаться к стабильному набору данных за нужный день.
Дополнительную информацию о таблицах events_ГГГГММДД и events_intraday_ГГГГММДД вы найдете в статье Схема BigQuery Export.
Потоковый экспорт в BigQuery не включает следующие данные атрибуции для новых пользователей:
- traffic_source.name (параметр в отчете: "Кампания пользователя");
- traffic_source.source (параметр в отчете: "Источник пользователя");
- traffic_source.medium (параметр в отчете: "Канал пользователя").
Данные атрибуции для существующих пользователей включаются в потоковый экспорт, но для их полной обработки требуется примерно 24 часа, поэтому они могут быть неточными. Рекомендуем использовать вместо них данные атрибуции из полного экспорта информации за день.
За использование потокового экспорта взимается плата: 0,05 долл. США за 1 гигабайт данных (1 ГБ данных соответствует примерно 600 000 событий Google Аналитики, хотя это число будет зависеть от размера событий). Подробнее о ценах за использование BigQuery…
Расписание обновления таблиц
При обновлении таблиц в рамках BigQuery Export используется часовой пояс, выбранный для ресурса Аналитики, из которого экспортируются данные.
Таблица потокового экспорта (events_intraday_ГГГГММДД) обновляется постоянно в пределах суток, например с 00:00:00 до 23:59:59 в часовом поясе ресурса. При смене даты данные о событиях начинают вноситься в новую таблицу.
Таблица ежедневного экспорта (events_ГГГГММДД) создается после того, как в Аналитике соберутся данные обо всех событиях за день. Наша система обновляет данные о событиях в ежедневной таблице в течение 72 часов после даты фиксации этих событий, например когда набор событий поступает позже из Measurement Protocol или Firebase SDK. Так, если таблица относится к дате 20220101, Аналитика будет обновлять в ней данные о событиях с временной меткой 20220101 до даты 20220104.
Если возникнет необходимость повторно обработать данные, например для исправления ошибки, то ежедневная таблица может быть обновлена и по прошествии 72 часов.
Запросы ping без файлов cookie и данные, предоставленные клиентами
Если у вас реализован режим согласия, в BigQuery Export будут входить запросы ping без файлов cookie, собранные Аналитикой, а также данные, предоставленные клиентами, например user_id и специальные параметры.
Заполнение недоступных параметров источника трафика
Ниже перечислены инструменты, с помощью которых можно найти параметры источника трафика, связанные с определенным GCLID. Обратите внимание, что идентификаторы wBRAID и gBRAID не включены в BigQuery Export.
- Google Ads API;
- скрипты Google Рекламы;
- сервис BigQuery Data Transfer для Google Рекламы.
Чтобы найти GCLID для записи со статусом "Недоступно" в столбце traffic_source, отправьте запрос к полю GCLID в столбце collected_traffic_source. Подробную информацию о том, как найти в Google Рекламу информацию о кампании для определенного GCLID вы найдете в соглашении об уровне обслуживания BigQuery Export.
GA4: интеграция с Firebase и BigQuery
Если ресурс GA4 и проект Firebase интегрированы друг с другом, их нельзя связать с разными проектами BigQuery.
Сравнение BigQuery Export в Google Аналитике 4 и Universal Analytics
| Google Аналитика 4 | Universal Analytics |
|---|---|
|
Доступно для стандартной версии (бесплатной) и версии 360 (платной). Ограничение для стандартной версии: 1 млн событий в день. Ограничение для версии 360: миллиарды событий в день. |
Доступно для версии 360 (платной). |
|
Стоимость Бесплатный экспорт в изолированную среду BigQuery в пределах ее ограничений. Экспорт данных сверх лимита оплачивается по условиям договора. |
Стоимость Бесплатный экспорт в изолированную среду BigQuery в пределах ее ограничений. Экспорт данных сверх лимита оплачивается по условиям договора. |
|
Настройка Можно включать определенные потоки данных и исключать определенные события для каждого ресурса. Таким образом вы можете контролировать объем экспортируемых данных и расходов. |
Настройка С каждым ресурсом можно связать не более одного представления. Экспортироваться будут все данные в этом представлении. |
|
Потоковая передача 0,05 долл. США за ГБ. Подробнее о ценах на BigQuery… Создание таблицы: events_intraday_ГГГГММДД Таблица удаляется ежедневно в следующих случаях:
Для новых пользователей не включаются данные о кампании, источнике и канале. |
Потоковая передача 0,05 долл. США за ГБ. Подробнее о ценах на BigQuery… Создание таблицы: ga_realtime_sessions_ГГГГММДД Создание представления BigQuery: ga_realtime_sessions_view_ГГГГММДД |
|
Ежедневный экспорт Создание таблицы: events_ГГГГММДД |
Ежедневный экспорт Создание таблиц: ga_sessions_intraday_ГГГГММДД
ga_sessions_ГГГГММДД
|
|
Ежедневное обновление Доступно для ресурсов 360 категорий "Обычный" и "Крупный". Охватывает все поля и столбцы данных, которые входят в ежедневный экспорт, включая данные отслеживания атрибуции пользователей и показа объявлений. |
Неприменимо |
|
Экспорт, общие настройки Заполнение не используется. Набор данных: один для каждого связанного ресурса, под названием analytics_<property id>. Если вы реализовали режим согласия, экспорт будет включать:
|
Экспорт, общие настройки Заполнение: при установлении связи заполнение применяется для данных за 13 месяцев или для 10 млрд обращений (смотря какое число меньше). Заполнение для изолированной среды BigQuery может не работать. Набор данных: один для каждого представления, под тем же названием, что и само представление. |
|
Схема экспорта GA4 экспортирует только информацию об источнике трафика, через который был впервые привлечен пользователь. Экспорт данных UA в BigQuery не поддерживается. Каждая строка в таблице BigQuery соответствует событию. Данные о событии уникальны для Google Аналитики 4. Если какие-то поля Google Аналитики 4 полностью совпадают с полями Universal Analytics (например, |
Схема экспорта Экспортируются данные атрибуции по разным точкам взаимодействия на уровне сеанса. Каждая строка в таблице BigQuery соответствует сеансу. Данные обращений уникальны для Universal Analytics. Если какие-то поля Universal Analytics полностью совпадают с полями Google Аналитики 4 (например, |
Информация по теме
Ознакомьтесь со следующими статьями в руководстве для разработчиков: