Introducción al Servicio de transferencia de datos de BigQuery
El Servicio de transferencia de datos de BigQuery te permite automatizar las transferencias de datos programadas y administradas a BigQuery. Después de que configuras la transferencia de datos, el Servicio de transferencia de datos de BigQuery carga los datos a BigQuery de forma automática y con regularidad. También puedes iniciar el reabastecimiento de datos para recuperarte de interrupciones o brechas, realizar copias de conjuntos de datos y ejecutar consultas programadas. No puedes utilizar el Servicio de transferencia de datos de BigQuery para transferir datos fuera de BigQuery.
Para configurar y administrar transferencias, puedes usar la consola deGoogle Cloud , la herramienta de línea de comandos de bq o la API del Servicio de transferencia de datos de BigQuery. La página Canalizaciones y conexiones también proporciona un flujo de trabajo optimizado (versión preliminar) para crear transferencias. Para recibir actualizaciones del servicio, suscríbete al grupo de anuncios de DTS de BigQuery.
Fuentes de datos compatibles
El Servicio de transferencia de datos de BigQuery admite la carga de datos desde las siguientes fuentes de datos:
| Categoría | Fuente de datos |
|---|---|
| Almacenamiento en la nube | Amazon Simple Storage Service (Amazon S3) |
| Almacenamiento en la nube | Azure Blob Storage |
| Almacenamiento en la nube | Cloud Storage |
| Bases de datos y almacenes de datos | Amazon Redshift |
| Bases de datos y almacenes de datos | Metastore de Apache Hive |
| Bases de datos y almacenes de datos | Microsoft SQL Server (versión preliminar) |
| Bases de datos y almacenes de datos | MySQL |
| Bases de datos y almacenes de datos | Oracle |
| Bases de datos y almacenes de datos | PostgreSQL |
| Bases de datos y almacenes de datos | Snowflake |
| Bases de datos y almacenes de datos | Teradata |
| Servicios de Google | Campaign Manager |
| Servicios de Google | Servicio de comparación de productos (CSS) Center (versión preliminar) |
| Servicios de Google | Display & Video 360 |
| Servicios de Google | Google Ad Manager |
| Servicios de Google | Google Ads |
| Servicios de Google | Google Analytics 4 |
| Servicios de Google | Google Merchant Center (vista previa) |
| Servicios de Google | Google Play |
| Servicios de Google | Search Ads 360 |
| Servicios de Google | Canal de YouTube |
| Servicios de Google | Propietario del contenido de YouTube |
| Plataformas de marketing | Anuncios de Facebook |
| Plataformas de marketing | HubSpot (versión preliminar) |
| Plataformas de marketing | Klaviyo (versión preliminar) |
| Plataformas de marketing | Mailchimp (versión preliminar) |
| Plataformas de pagos | PayPal (versión preliminar) |
| Plataformas de pagos | Shopify (versión preliminar) |
| Plataformas de pagos | Stripe (versión preliminar) |
| Plataformas SaaS | Salesforce |
| Plataformas SaaS | Marketing Cloud de Salesforce |
| Plataformas SaaS | ServiceNow |
Consideraciones sobre el SLO de entrega de datos
El SLO de entrega de datos se aplica a las transferencias de datos programadas automáticamente con el Servicio de transferencia de datos de BigQuery desde fuentes dentro de Google Cloud.
En el caso de las transferencias de datos que involucran fuentes de terceros o que no son deGoogle Cloud , las interrupciones del servicio con estas fuentes pueden afectar el rendimiento del Servicio de transferencia de datos de BigQuery. Por lo tanto, el SLO de entrega de datos no se aplica a las transferencias de datos del Servicio de transferencia de datos de BigQuery desde fuentes que no sean deGoogle Cloud .
Regiones admitidas
Al igual que BigQuery, el Servicio de transferencia de datos de BigQuery es un recurso multirregional con muchas regiones individuales adicionales disponibles.
La localidad de un conjunto de datos de BigQuery se especifica cuando creas un conjunto de datos de destino para almacenar los datos transferidos por el Servicio de transferencia de datos de BigQuery. Cuando configuras una transferencia, la configuración de transferencia se establece en la misma ubicación que el conjunto de datos de destino. El Servicio de transferencia de datos de BigQuery procesa y almacena en etapa intermedia los datos en la misma ubicación que el conjunto de datos de destino.
El Servicio de transferencia de datos de BigQuery admite transferencias de datos desde cualquier región en la que se almacenen tus datos hasta cualquier ubicación en la que se encuentre tu conjunto de datos de destino.
Si quieres obtener información detallada sobre las transferencias y la compatibilidad de regiones para el Servicio de transferencia de datos de BigQuery, consulta Ubicaciones y transferencias del conjuntos de datos. Para conocer las regiones compatibles con BigQuery, consulta Ubicaciones de conjuntos de datos.
Usa ranuras de reserva con transferencias de datos
Los trabajos que activa el Servicio de transferencia de datos de BigQuery solo usan ranuras de reserva si el proyecto, la carpeta o la organización se asignan a una reserva con cualquiera de los siguientes tipos de trabajo:
- Trabajos de consulta con
QUERY - Trabajos de carga que usan
PIPELINE
Precios
Para obtener información sobre los precios del Servicio de transferencia de datos de BigQuery, consulta la página Precios.
Una vez que se transfirieron los datos a BigQuery, se aplican los precios estándar de almacenamiento y consulta de BigQuery.
Cuotas
Para obtener información sobre las cuotas del Servicio de transferencia de datos de BigQuery, consulta la página Cuotas y límites.
Soluciona problemas con las configuraciones de transferencia
Para obtener información sobre cómo solucionar problemas con el Servicio de transferencia de datos de BigQuery, consulta Soluciona problemas relacionados con la configuración de transferencia.
¿Qué sigue?
- Para aprender cómo crear una transferencia, consulta la documentación de tu fuente de datos.