Diese Seite wurde von der Cloud Translation API übersetzt.

Ereignisgesteuerte Übertragungen

Mit dem BigQuery Data Transfer Service können Sie ereignisgesteuerte Übertragungen erstellen, bei denen Daten basierend auf Ereignisbenachrichtigungen automatisch geladen werden. Wir empfehlen die Verwendung ereignisgesteuerter Übertragungen, wenn Sie eine inkrementelle Datenaufnahme benötigen, um die Kosteneffizienz zu optimieren.

Wenn Sie ereignisgesteuerte Übertragungen einrichten, kann es zwischen den einzelnen Datenübertragungen zu einer Verzögerung von einigen Minuten kommen. Wenn Sie Daten sofort verfügbar machen möchten, empfehlen wir die Storage Write API, mit der Daten mit der geringstmöglichen Latenz direkt in BigQuery gestreamt werden. Die Storage Write API bietet Echtzeitaktualisierungen für die anspruchsvollsten Anwendungsfälle.

Berücksichtigen Sie bei der Auswahl, ob Sie eine kostengünstige inkrementelle Batchaufnahme mit ereignisgesteuerten Übertragungen priorisieren möchten oder ob Sie die Flexibilität der Storage Write API bevorzugen.

Datenquellen mit Unterstützung für ereignisgesteuerte Übertragungen

Der BigQuery Data Transfer Service kann ereignisgesteuerte Übertragungen mit den folgenden Datenquellen verwenden:

Cloud Storage

Beschränkungen

Für ereignisgesteuerte Übertragungen nach BigQuery gelten die folgenden Einschränkungen:

Nachdem eine ereignisgesteuerte Übertragung ausgelöst wurde, wartet der BigQuery Data Transfer Service bis zu 10 Minuten, bevor er die nächste Übertragung auslöst, unabhängig davon, ob innerhalb dieser Zeit ein Ereignis eintrifft.
Bei ereignisgesteuerten Übertragungen werden keine Laufzeitparameter für den Quell-URI oder Datenpfad unterstützt.
Dasselbe Pub/Sub-Abo kann nicht für mehrere ereignisgesteuerte Übertragungskonfigurationen wiederverwendet werden.

Ereignisbasierte Cloud Storage-Übertragung einrichten

Bei ereignisgesteuerten Übertragungen aus Cloud Storage werden Pub/Sub-Benachrichtigungen verwendet, um zu erkennen, wann Objekte im Quell-Bucket geändert oder hinzugefügt wurden. Wenn Sie den Modus Inkrementelle Übertragung verwenden, werden beim Löschen eines Objekts im Quell-Bucket nicht die zugehörigen Daten in der Ziel-BigQuery-Tabelle gelöscht.

Hinweise

Bevor Sie eine Cloud Storage-ereignisgesteuerte Übertragung konfigurieren können, müssen Sie die folgenden Schritte ausführen:

Aktivieren Sie die Pub/Sub API für das Projekt, das Benachrichtigungen erhält.

API aktivieren
Wenn Sie die Cloud Storage-Administratorrolle (roles/storage.admin) und die Pub/Sub-Administratorrolle (roles/pubsub.admin) haben, können Sie mit Ereignisgesteuerte Übertragungskonfiguration erstellen fortfahren.
Wenn Sie nicht der Cloud Storage-Administrator (roles/storage.admin) und der Pub/Sub-Administrator (roles/pubsub.admin) sind, bitten Sie Ihren Administrator, Ihnen die Rollen roles/storage.admin und roles/pubsub.admin zuzuweisen. Alternativ kann er die folgenden Abschnitte ausführen, um Pub/Sub zu konfigurieren und Berechtigungen für den Dienst-Agenten zu konfigurieren, und das vorkonfigurierte Pub/Sub-Abo verwenden, um eine ereignisgesteuerte Übertragungskonfiguration zu erstellen.
Detaillierte Berechtigungen, die zum Einrichten von Benachrichtigungen zur Konfiguration ereignisgesteuerter Übertragungen erforderlich sind:
- Wenn Sie Themen und Abos zum Veröffentlichen von Benachrichtigungen erstellen möchten, benötigen Sie die Berechtigungen pubsub.topics.create und pubsub.subscriptions.create.
- Unabhängig davon, ob Sie neue oder vorhandene Themen und Abos verwenden möchten, benötigen Sie die folgenden Berechtigungen. Wenn Sie bereits Themen und Abos in Pub/Sub erstellt haben, haben Sie wahrscheinlich bereits diese Berechtigungen.
- Sie benötigen die folgenden Berechtigungen für den Cloud Storage-Bucket, für den Sie Pub/Sub-Benachrichtigungen konfigurieren möchten.
  - storage.buckets.get
  - storage.buckets.update
- Die vordefinierten IAM-Rollen pubsub.admin und storage.admin haben alle erforderlichen Berechtigungen, um eine ereignisgesteuerte Cloud Storage-Übertragung zu konfigurieren. Weitere Informationen finden Sie unter Pub/Sub-Zugriffssteuerung.

Pub/Sub-Benachrichtigungen in Cloud Storage konfigurieren

Sie müssen die Voraussetzungen für die Verwendung von Pub/Sub mit Cloud Storage erfüllen.
Wenden Sie eine Benachrichtigungskonfiguration auf Ihren Cloud Storage-Bucket an:
```
gcloud storage buckets notifications create gs://BUCKET_NAME --topic=TOPIC_NAME --event-types=OBJECT_FINALIZE
```
Ersetzen Sie Folgendes:
- BUCKET_NAME: Der Name des Cloud Storage-Bucket, für den Dateibenachrichtigungsereignisse ausgelöst werden sollen
- TOPIC_NAME: Der Name des Pub/Sub-Themas, für das Sie die Dateibenachrichtigungsereignisse erhalten möchten
Sie können eine Benachrichtigungskonfiguration auch mit anderen Methoden als der gcloud CLI hinzufügen. Weitere Informationen finden Sie unter Benachrichtigungskonfiguration anwenden.

Prüfen Sie, ob die Pub/Sub-Benachrichtigung für Cloud Storage richtig konfiguriert ist. Führen Sie den Befehl gcloud storage buckets notifications list aus:

gcloud storage buckets notifications list gs://BUCKET_NAME

Wenn der Vorgang erfolgreich war, sieht die Antwort in etwa so aus:

etag: '132'
id: '132'
kind: storage#notification
payload_format: JSON_API_V1
selfLink: https://www.googleapis.com/storage/v1/b/my-bucket/notificationConfigs/132
topic: //pubsub.googleapis.com/projects/my-project/topics/my-bucket

Erstellen Sie ein Pull-Abo für das Thema:
```
gcloud pubsub subscriptions create SUBSCRIPTION_ID --topic=TOPIC_NAME
```
Ersetzen Sie SUBSCRIPTION_ID durch den Namen oder die ID Ihres neuen Pub/Sub-Pull-Abos.

Sie können ein Pull-Abo auch mit anderen Methoden erstellen.

Hinweis :Dasselbe Pub/Sub-Abo kann nicht für mehrere ereignisgesteuerte Übertragungskonfigurationen wiederverwendet werden.

Berechtigungen für Dienst-Agents konfigurieren

So finden Sie den Namen des BigQuery Data Transfer Service-Agents für Ihr Projekt:
1. Zur Seite IAM & Verwaltung.
  
  IAM & Verwaltung aufrufen
2. Klicken Sie auf das Kästchen Von Google bereitgestellte Rollenzuweisungen einschließen.
3. Der BigQuery Data Transfer Service-Agent ist mit dem Namen service-<project_number>@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com aufgeführt und hat die Rolle Dienst-Agent für BigQuery Data Transfer Service.
Weitere Informationen zu Dienst-Agents finden Sie unter Dienst-Agents.
Weisen Sie dem BigQuery Data Transfer Service-Agent die Rolle pubsub.subscriber zu.
Cloud Console
Folgen Sie der Anleitung unter Zugriff über die Google Cloud Console steuern, um dem BigQuery Data Transfer Service-Agent die Rolle Pub/Sub Subscriber zu gewähren. Die Rolle kann auf Themen-, Abo- oder Projektebene gewährt werden.
gcloud CLI
Folgen Sie der Anleitung unter Richtlinie festlegen, um die folgende Bindung hinzuzufügen:
```
{
  "role": "roles/pubsub.subscriber",
  "members": [
    "serviceAccount:project-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com"
}
```
Ersetzen Sie PROJECT_NUMBER durch die Projekt-ID, in der die Übertragungsressourcen erstellt und abgerechnet werden.
Kontingentnutzungszuordnung:Wenn der BigQuery Data Transfer Service-Agent auf das Pub/Sub-Abo zugreift, wird die Kontingentnutzung dem Nutzerprojekt in Rechnung gestellt.
Prüfen Sie, ob dem BigQuery Data Transfer Service-Agent die Rolle pubsub.subscriber zugewiesen wurde:
1. Rufen Sie in der Google Cloud Console die Seite Pub/Sub auf.
  
  Zu Pub/Sub
2. Wählen Sie das Pub/Sub-Abo aus, das Sie in der ereignisgesteuerten Übertragung verwendet haben.
3. Wenn das Infofeld ausgeblendet ist, klicken Sie oben rechts auf Infofeld ansehen.
4. Prüfen Sie auf dem Tab Berechtigungen, ob der Dienst-Agent von BigQuery Data Transfer Service die Rolle pubsub.subscriber hat.

Zusammenfassung der Befehle zum Konfigurieren von Benachrichtigungen und Berechtigungen

Die folgenden Google Cloud CLI-Befehle enthalten alle erforderlichen Befehle zum Einrichten von Benachrichtigungen und Berechtigungen, wie in den vorherigen Abschnitten beschrieben.

gcloud

PROJECT_ID=project_id
CONFIG_NAME=config_name
RESOURCE_NAME="bqdts-event-driven-${CONFIG_NAME}"
# Create a Pub/Sub topic.
gcloud pubsub topics create "${RESOURCE_NAME}" --project="${PROJECT_ID}"
# Create a Pub/Sub subscription.
gcloud pubsub subscriptions create "${RESOURCE_NAME}" --project="${PROJECT_ID}" --topic="projects/${PROJECT_ID}/topics/${RESOURCE_NAME}"
# Create a Pub/Sub notification.
gcloud storage buckets notifications create gs://"${RESOURCE_NAME}" --topic="projects/${PROJECT_ID}/topics/${RESOURCE_NAME}" --event-types=OBJECT_FINALIZE
# Grant roles/pubsub.subscriber permission to the DTS service agent.
PROJECT_NUMBER=$(gcloud projects describe "${PROJECT_ID}" --format='value(projectNumber)')
gcloud pubsub subscriptions add-iam-policy-binding "${RESOURCE_NAME}"  --project="${PROJECT_ID}"  --member=serviceAccount:service-"${PROJECT_NUMBER}"@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com  --role=roles/pubsub.subscriber

Ersetzen Sie Folgendes:

PROJECT_ID: Die ID Ihres Projekts.
CONFIG_NAME: Ein Name, der diese Übertragungskonfiguration identifiziert.

Übertragungskonfiguration erstellen

Sie können eine ereignisgesteuerte Cloud Storage-Übertragung erstellen, indem Sie eine Cloud Storage-Übertragung erstellen und Ereignisgesteuert als Zeitplantyp auswählen. Als Cloud Storage-Administrator (roles/storage.admin) und Pub/Sub-Administrator (roles/pubsub.admin) haben Sie ausreichend Berechtigungen, damit der BigQuery Data Transfer Service Cloud Storage automatisch für das Senden von Benachrichtigungen konfigurieren kann.

Wenn Sie nicht der Cloud Storage-Administrator (roles/storage.admin) und der Pub/Sub-Administrator (roles/pubsub.admin) sind, müssen Sie Ihren Administrator bitten, Ihnen die Rollen zuzuweisen oder die erforderlichen Pub/Sub-Benachrichtigungen in Cloud Storage-Konfigurationen und Konfigurationen der Dienst-Agent-Berechtigungen vorzunehmen, bevor Sie die ereignisgesteuerte Übertragung erstellen können.