Как экспортировать данные о ресурсах Диска (бета-версия)

Эта функция доступна в версиях Enterprise Standard и Enterprise Plus, Education Standard и Education Plus, Enterprise Essentials Plus и Cloud Identity Premium. Сравнение версий

Для проекта Google Cloud нужно настроить платежные функции, поскольку за экспорт данных о ресурсах Диска в BigQuery взимается плата. Подробнее…

В рамках бета-тестирования, если у вас есть пользователи с неподдерживаемыми версиями, их данные включаются в экспорт. Однако чтобы включить их в экспорт в Google Аналитике, может потребоваться лицензия на поддерживаемую версию.

Администратор может экспортировать в BigQuery данные о ресурсах Google Диска для своей организации. К ним относятся метаданные, связанные с каждым файлом, в том числе размер, назначенные ярлыки, сведения о том, кому предоставлен доступ, но не содержимое файлов. Эти сведения помогают определить, отвечает ли доступ к конфиденциальным файлам целям вашей организации, связанным с соответствием внутренним стандартам и регуляторным требованиям, а также с защитой данных.

Когда данные о ресурсах Диска находятся в BigQuery, можно создать специальный отчет и панели управления, используя такие аналитические инструменты, как Looker Studio, и средства визуализации от сторонних разработчиков.

Примечания

Некоторые из описанных на этой странице шагов выполняются в консоли Google Cloud, поскольку Google BigQuery является продуктом Google Cloud.
Нужно настроить платежные функции для проекта Google Cloud, поскольку за экспорт данных о ресурсах Диска в BigQuery взимается плата. Ознакомьтесь с подробными сведениями о стоимости добавления данных и о стоимости использования BigQuery для платежного аккаунта. Чтобы оценить потенциальные затраты, воспользуйтесь Калькулятором цен Google Cloud.
Эти данные экспортируются как минимум раз в две недели. При каждой новой операции экспорта результаты предыдущей такой операции перезаписываются. Если же их нужно сохранить, можно воспользоваться сервисом BigQuery Data Transfer, чтобы автоматически скопировать набор данных.
Существует очень малая вероятность того, что при экспорте данных о ресурсах Диска будут пропущены метаданные некоторых файлов или же сами файлы не будут включены в экспорт.

Шаг 1. Настройте проект и набор данных BigQuery для ресурсов Диска

Создайте или откройте активный проект BigQuery в консоли Google Cloud.
Подробнее о создании проектов и управлении ими…
Включите платежные функции для проекта, если это ещё не сделано.
Выбрав проект, перейдите на страницу IAM.
Предоставьте аккаунтам Google Workspace доступ к экспорту для обработки и просмотра данных. Подробнее о ролях и разрешениях IAM BigQuery и о том, как управлять доступом к ресурсам… Для любых аккаунтов Google Workspace, которым нужно предоставить доступ к экспорту:
1. Вверху списка субъектов нажмите Предоставить доступ.
2. В поле Добавление субъектов введите адрес электронной почты аккаунта Google Workspace.
3. Выберите роль, которую нужно назначить. Совет: нажмите Фильтр и введите BigQuery, чтобы найти роли, которые используются в BigQuery.
4. Нажмите Сохранить.
Найдите или создайте набор данных BigQuery, куда будут записываться экспортированные данные о ресурсах Диска.
1. В меню навигации выберите BigQuery.
2. На панели Проводник слева разверните проект, чтобы отобразить список имеющихся наборов данных.
3. Если в нем присутствует нужный набор данных, запишите его идентификатор, чтобы воспользоваться им на следующем шаге.
4. Если вы хотите использовать новый набор данных, ознакомьтесь с инструкциями по созданию наборов данных. Запишите название набора данных, оно также потребуется на следующем шаге.

Шаг 2. Включите и настройте экспорт данных о ресурсах Диска

Войдите в консоль администратора Google.
Для входа используйте аккаунт суперадминистратора (он не заканчивается на @gmail.com).
В консоли администратора нажмите на значок меню ОтчетыИнтеграция данных.
Нажмите Экспорт данных о ресурсах Диска.
Установите флажок, чтобы включить экспорт данных о ресурсах Диска.
В разделе Идентификатор проекта BigQuery выберите проект, где будут храниться экспортированные данные о ресурсах Диска. Если нужный проект не виден, настройте его в BigQuery. Подробные сведения приведены в кратком руководстве по использованию консоли Google Cloud. {set up as snippet to reuse}
В разделе Существующий набор данных в проекте введите название набора данных проекта, куда будут записываться данные о ресурсах Диска. Если такого набора данных ещё нет, ознакомьтесь с инструкциями по созданию наборов данных.
Нажмите Сохранить.

Первые результаты экспорта появятся через 1–2 недели после его включения. Затем как минимум раз в две недели они будут обновляться.

Шаг 3. (Необязательно) Обновите срок действия данных

По умолчанию срок действия экспортированных данных составляет 60 дней, после чего они удаляются из Google Cloud.

Подробнее о том, как изменить срок действия по умолчанию для таблиц…

Что делать, если в BigQuery отсутствуют экспортированные данные

Если в BigQuery нет экспортированных данных о ресурсах Диска, причиной может быть одна из описанных ниже проблем.

Возможная проблема	Как исправить
Ваша подписка Google Workspace больше не поддерживает экспорт данных о ресурсах Диска	Если вы перешли на версию подписки с ограниченной функциональностью, возможно, экспорт данных о ресурсах Диска больше не поддерживается. В консоли администратора откройте Меню > Оплата > Подписки и убедитесь, что у вас одна из таких подписок: Эта функция доступна в версиях Enterprise Standard и Enterprise Plus, Education Standard и Education Plus, Enterprise Essentials Plus и Cloud Identity Premium. Сравнение версий После того, как вы перейдете на версию, которая поддерживает экспорт данных о ресурсах Диска, в течение двух недель отчеты будут экспортированы.
Удален проект или набор данных BigQuery	Запишите идентификаторы проекта и набора данных BigQuery, заданные в консоли администратора. Затем откройте консоль Google Cloud и убедитесь, что проект и набор данных существуют. Если их нет, создайте их или же замените другими. После этого в консоли администратора обновите настройки Экспорт данных о ресурсах Диска, чтобы использовались имеющийся проект и набор данных.
Удалены разрешения сервисного аккаунта экспорта данных о ресурсах Диска на доступ к проекту или набору данных BigQuery	В консоли Google Cloud подтвердите, что сервисный аккаунт имеет доступ уровня Редактор к набору данных и уровня BigQuery.jobUser к проекту. Если это не так, отключите и снова включите функцию экспорта в консоли администратора.

Возможная проблема

Как исправить

Ваша подписка Google Workspace больше не поддерживает экспорт данных о ресурсах Диска

Если вы перешли на версию подписки с ограниченной функциональностью, возможно, экспорт данных о ресурсах Диска больше не поддерживается. В консоли администратора откройте Меню > Оплата > Подписки и убедитесь, что у вас одна из таких подписок:

После того, как вы перейдете на версию, которая поддерживает экспорт данных о ресурсах Диска, в течение двух недель отчеты будут экспортированы.

Удален проект или набор данных BigQuery

Запишите идентификаторы проекта и набора данных BigQuery, заданные в консоли администратора. Затем откройте консоль Google Cloud и убедитесь, что проект и набор данных существуют.

Если их нет, создайте их или же замените другими. После этого в консоли администратора обновите настройки Экспорт данных о ресурсах Диска, чтобы использовались имеющийся проект и набор данных.

Удалены разрешения сервисного аккаунта экспорта данных о ресурсах Диска на доступ к проекту или набору данных BigQuery

В консоли Google Cloud подтвердите, что сервисный аккаунт имеет доступ уровня Редактор к набору данных и уровня BigQuery.jobUser к проекту.

Если это не так, отключите и снова включите функцию экспорта в консоли администратора.

Если эти рекомендации не помогли, попробуйте отключить и снова включить функцию экспорта в консоли администратора.

Часто задаваемые вопросы

Развернуть все | Свернуть все и перейти к началу

Взимается ли плата за экспорт данных о ресурсах Диска в BigQuery?

Да. Ознакомьтесь с подробными сведениями о стоимости добавления данных и о стоимости использования BigQuery для платежного аккаунта. Чтобы оценить потенциальные затраты, воспользуйтесь Калькулятором цен Google Cloud.

Распространяются ли Условия использования Google Workspace на экспорт данных о ресурсах Диска?

Нет. Экспорт данных о ресурсах Диска регулируется Условиями использования Google Cloud Platform или вашим соглашением об использовании Google Cloud Platform.

Какие данные о ресурсах Диска экспортируются?

Схема данных о ресурсах Диска, которые добавляются в набор данных BigQuery, такова:

Название	Поле схемы	Описание
Идентификатор объекта	`id`	Уникальный идентификатор объекта Диска.
Версия	`version`	Номер последней версии файла. Номер версии файла – это число, которое увеличивается от версии к версии. Оно отражает каждое изменение, внесенное в файл на сервере, даже когда эти изменения невидимы для пользователя.
Владелец	`owner.user` или `owner.shared_drive`	Для объектов, которые принадлежат пользователю, – адрес электронной почты и идентификатор пользователя файла. Для объектов на общем диске – идентификатор общего диска.
Автор	`creator`	Адрес электронной почты и идентификатор пользователя, создавшего файл. Это поле не заполняется, если автор больше не имеет доступа к объекту.
Временные метки снимков	`snapshot_start_time_micros` и `snapshot_end_time_micros`	Временные метки начала и окончания создания отчета.
Название	`title`	Заданное пользователем название файла.
Описание	`description`	Краткое описание элемента.
Статус перемещенного в корзину	`is_trashed`	Перемещен ли объект в корзину (но ещё не удален).
MIME-тип	`mime_type`	MIME-тип объекта. Ознакомьтесь с перечнем поддерживаемых MIME-типов для Google Workspace и Google Диска.
Расширение имени файла	`file_extension`	Последний компонент полного расширения имени файла, извлеченный из поля названия. Он доступен только для объектов с двоичным контентом на Google Диске.
Время создания	`create_time`	Временная метка, указывающая, когда создан файл.
Время последнего изменения	`last_modified_time_micros`	Временная метка, указывающая, когда файл в последний раз был кем-либо изменен.
Размер файла	`file_size_bytes`	Размер в байтах файлов BLOB и редакторов Документов. Не указывается для объектов, не имеющих размера, таких как ярлыки и папки.
Израсходованная квота	`consumed_quota_bytes`	Количество байт квоты на хранение, которые использованы объектом. Включает размер основной версии и сохраненных предыдущих версий.
Идентификатор общего диска	`shared_drive_id`	Для объектов на общем диске – идентификатор общего диска.
Назначенные ярлыки*	`applied_labels.id`	Идентификатор ярлыка, назначенного объекту.
	`applied_labels.title`	Название ресурса ярлыка, назначенного объекту.
	`applied_labels.field_values.id`	Идентификатор поля, уникальный для ярлыка или библиотеки.
	`applied_labels.field_values.type`	Тип поля. Может быть одним из следующих: `Текст` `Целое число` `Дата` `Выделение` `Пользователь`
	`applied_labels.field_values.display_name`	Текст, который отображается в интерфейсе и идентифицирует поле.
Разрешения	`access.permissions.permission_id`	Идентификатор разрешения. Это уникальный идентификатор получателя разрешения. Примечание. Идентификатор разрешения – не то же самое, что идентификатор пользователя.
	`access.permissions.name`	Понятное название для значения разрешения. Вот примеры для каждого типа разрешения: `user` – полное имя пользователя, указанное в аккаунте Google, например "Ирина Иванова" `group` – название группы, например "Администраторы" `domain` – строка доменного имени, например "example.com" `anyone` – имя не указано
	`access.permissions.type`	Тип разрешения. Допустимые значения: `user` `group` `domain` `anyone`
	`access.permissions.role`	Роль, назначаемая разрешением. Допустимые значения: `owner` `organizer` `fileOrganizer` `writer` `commenter` `reader` Примечание. Подробнее об этом типе рассказывается в статье Роли и разрешения.
	`access.permissions.view`	Если разрешение относится к просмотру, значением является `published`.
	`access.permissions.allow_file_discovery`	Допускается ли разрешением поиск этого файла. Указывается только для разрешений типа `domain` или `anyone`.
	`access.permissions.email`	Адрес электронной почты пользователя или группы, к которым относится это разрешение.
	`access.permissions.domain`	Доменное имя лица, к которому относится это разрешение Присутствует, когда типом разрешения является `user`, `group` или `domain`.
	`access.permissions.user_id`	Идентификатор пользователя, связанный с адресом электронной почты в разрешении.

* Относится к ярлыкам, назначенным объектам на Диске. Подробные сведения о полях схемы applied_labels.field_values приведены в статье о ярлыках ресурсов.

Можно ли изменить идентификатор проекта или набор данных BigQuery?

Можно. Только учтите, что данные, экспортированные до и после такого изменения, окажутся в разных местоположениях.

Можно ли выполнить экспорт в тот же проект BigQuery, который использовался для экспорта в BigQuery служебного журнала?

Да. Если также настроить экспорт служебного журнала в BigQuery, можно использовать тот же самый идентификатор проекта. Данные о ресурсах Диска будут помещены в другой набор данных проекта.

Можно ли прекратить экспорт данных о ресурсах Диска в BigQuery?

Да. Если вам не нужно экспортировать данные о ресурсах Диска в BigQuery, можете удалить конфигурацию ресурсов Диска в консоли администратора.

Войдите в консоль администратора Google.
Для входа используйте аккаунт суперадминистратора (он не заканчивается на @gmail.com).
В консоли администратора нажмите на значок меню ОтчетыИнтеграция данных.
Нажмите Данные о ресурсах Диска.
Нажмите Идентификатор проекта BigQuery и выберите проект.
Нажмите Удалить.
Подтвердите удаление.

Данные о ресурсах Диска больше экспортироваться не будут. В проекте останется набор данных с имеющимися в нем данными, однако как только срок их действия истечет, они будут удалены.

Чтобы возобновить экспорт данных о ресурсах Диска, добавьте идентификатор проекта.

Почему в мой проект и набор данных BigQuery добавлены сервисные аккаунты?

Возможно, вы увидите сервисные аккаунты с названиями id@gcp-sa-statefulreporting.iam.gserviceaccount.com и [email protected] в списке разрешений проекта и набора данных BigQuery. В бета-версии один из этих аккаунтов используется для чтения метаданных с Диска, а второй – для записи данных о ресурсах Диска в BigQuery. Если политикой организации запрещается включать эти сервисные аккаунты в список разрешений, домены указанных аккаунтов нужно будет включить в белый список. В бета-версии эти аккаунты могут комбинироваться.

Поддерживается ли указание региона хранения данных для экспорта данных о ресурсах Диска?

В бета-версии указание региона хранения данных не поддерживается.

Эта информация оказалась полезной?

Как можно улучшить эту статью?