Programa una transferencia de Snowflake

El conector de Snowflake que proporciona el Servicio de transferencia de datos de BigQuery te permite programar y administrar trabajos de transferencia automatizados para migrar datos de Snowflake a BigQuery con listas de entidades permitidas de IP públicas.

Descripción general

El conector de Snowflake activa los agentes de migración en Google Kubernetes Engine y activa una operación de carga de Snowflake a un área de etapa de pruebas dentro del mismo proveedor de servicios en la nube en el que se aloja Snowflake. En el caso de las cuentas de Snowflake alojadas en AWS, los datos se implementan primero en tu bucket de Amazon S3, que luego se transfiere a BigQuery con el Servicio de transferencia de datos de BigQuery.

En el siguiente diagrama, se muestra cómo se transfieren los datos de un almacén de datos de Snowflake alojado en AWS a BigQuery.

Limitaciones

Las transferencias de datos que se realizan con el conector de Snowflake están sujetas a las siguientes limitaciones:

• Las transferencias de datos solo se admiten desde cuentas de Snowflake alojadas en AWS. No se admiten las transferencias de datos desde cuentas de Snowflake alojadas en Google Cloud ni Microsoft Azure.
• El conector de Snowflake no admite transferencias de datos incrementales.
• El conector de Snowflake solo admite transferencias de tablas dentro de una sola base de datos y esquema de Snowflake. Para transferir desde tablas con varias bases de datos o esquemas de Snowflake, puedes configurar cada trabajo de transferencia por separado.
• La velocidad de carga de datos de Snowflake a tu bucket de Amazon S3 está limitada por el almacén de Snowflake que elegiste para esta transferencia.

• Los datos se extraen de Snowflake en el formato de datos Parquet antes de cargarse en BigQuery:

  • No se admiten los siguientes tipos de datos de Parquet:
    • TIMESTAMP_TZ, TIMESTAMP_LTZ
    • OBJECT, VARIANT, ARRAY
    • Para obtener más información, consulta Cómo evaluar los datos de Snowflake.

  • El siguiente tipo de datos de Parquet no se admite, pero se puede convertir:

    • TIMESTAMP_NTZ

    Usa el YAML de configuración de conversión de tipo global para anular el comportamiento predeterminado de la conversión de DATETIME a TIMESTAMP cuando generas metadatos y ejecutas el motor de traducción.

    El YAML de configuración podría verse similar al siguiente ejemplo:

    type: experimental_object_rewriter
    global:
      typeConvert:
        datetime: TIMESTAMP
    

Antes de comenzar

Antes de configurar una transferencia de Snowflake, debes realizar todos los pasos que se enumeran en esta sección. A continuación, se muestra una lista de todos los pasos necesarios.

1. Prepara tu Google Cloud proyecto
2. Roles de BigQuery obligatorios
3. Prepara tu bucket de Amazon S3
4. Crea un usuario de Snowflake con los permisos necesarios
5. Cómo agregar políticas de red
6. Genera metadatos y ejecuta el motor de traducción
7. Evalúa tu cuenta de Snowflake para detectar tipos de datos no admitidos
8. Cómo recopilar información de transferencia

Prepara tu Google Cloud proyecto

Crea y configura tu Google Cloud proyecto para una transferencia a Snowflake con los siguientes pasos:

1. Crea un Google Cloud proyecto o selecciona uno existente.

2. Verifica si completaste todas las acciones necesarias para habilitar el Servicio de transferencia de datos de BigQuery.

3. Crea un conjunto de datos de BigQuery para almacenar tus datos. No es necesario crear ninguna tabla.

Roles de BigQuery requeridos

Para obtener los permisos que necesitas para crear una transferencia, pídele a tu administrador que te otorgue el rol de IAM de administrador de BigQuery (roles/bigquery.admin). Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Este rol predefinido contiene los permisos necesarios para crear una transferencia. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:

También puedes obtener estos permisos con roles personalizados o con otros roles predefinidos.

Prepara tu bucket de Amazon S3

Para completar una transferencia de datos de Snowflake, debes crear un bucket de Amazon S3 y, luego, configurarlo para permitir el acceso de escritura desde Snowflake.

1. Crea un bucket de Amazon S3. El bucket de Amazon S3 se usa para preparar los datos antes de que se carguen en BigQuery.

2. Crea y configura un objeto de integración de almacenamiento de Snowflake para permitir que Snowflake escriba datos en el bucket de Amazon S3 como una etapa externa.

Para permitir el acceso de lectura en tu bucket de Amazon S3, también debes hacer lo siguiente:

1. Crea un usuario de IAM de Amazon dedicado y bríndale la política AmazonS3ReadOnlyAccess.

2. Crea un par de claves de acceso de Amazon para el usuario de IAM.

Crea un usuario de Snowflake con los permisos necesarios

Durante una transferencia de Snowflake, el conector de Snowflake se conecta a tu cuenta de Snowflake a través de una conexión JDBC. Debes crear un usuario de Snowflake nuevo con un rol personalizado que solo tenga los privilegios necesarios para realizar la transferencia de datos:

  // Create and configure new role, MIGRATION_ROLE
  GRANT USAGE
    ON WAREHOUSE WAREHOUSE_NAME
    TO ROLE MIGRATION_ROLE;

  GRANT USAGE
    ON DATABASE DATABASE_NAME
    TO ROLE MIGRATION_ROLE;

  GRANT USAGE
    ON SCHEMA DATABASE_NAME.SCHEMA_NAME
    TO ROLE MIGRATION_ROLE;

  // You can modify this to give select permissions for all tables in a schema
  GRANT SELECT
    ON TABLE DATABASE_NAME.SCHEMA_NAME.TABLE_NAME
    TO ROLE MIGRATION_ROLE;

  GRANT USAGE
    ON STORAGE_INTEGRATION_OBJECT_NAME
    TO ROLE MIGRATION_ROLE;

Reemplaza lo siguiente:

• MIGRATION_ROLE: Es el nombre del rol personalizado que creas.
• WAREHOUSE_NAME: Es el nombre de tu almacén de datos.
• DATABASE_NAME: el nombre de tu base de datos de Snowflake
• SCHEMA_NAME: El nombre de tu esquema de Snowflake
• TABLE_NAME: el nombre de Snowflake que se incluye en esta transferencia de datos
• STORAGE_INTEGRATION_OBJECT_NAME: Es el nombre de tu objeto de integración de almacenamiento de Snowflake.

Cómo agregar políticas de red

Para la conectividad pública, la cuenta de Snowflake permite la conexión pública con credenciales de la base de datos de forma predeterminada. Sin embargo, es posible que hayas configurado reglas o políticas de red que podrían impedir que el conector de Snowflake se conecte a tu cuenta. En este caso, debes agregar las direcciones IP necesarias a tu lista de entidades permitidas.

En la siguiente tabla, se muestra una lista de direcciones IP de las ubicaciones regionales y multirregionales que se usan para las transferencias públicas. Puedes agregar las direcciones IP que solo correspondan a la ubicación de tu conjunto de datos o puedes agregar todas las direcciones IP que se indican en la tabla. Estas son direcciones IP reservadas por Google para las transferencias de datos del Servicio de transferencia de datos de BigQuery.

Para agregar una dirección IP a una lista de entidades permitidas, haz lo siguiente:

1. Crea una regla de red con type = IPV4. El Servicio de transferencia de datos de BigQuery usa una conexión JDBC para conectarse a la cuenta de Snowflake.
2. Crea una política de red con la regla de red que creaste antes y la dirección IP de la siguiente tabla.

Ubicaciones regionales

Ubicaciones multirregionales

¹ Los datos ubicados en la multirregión EU no se almacenan en los centros de datos de europe-west2 (Londres) ni deeurope-west6 (Zúrich).

Genera metadatos y ejecuta el motor de traducción

El conector del Servicio de transferencia de datos de BigQuery para Snowflake usa el motor de traducción del servicio de migración de BigQuery para la asignación de esquemas cuando se migran tablas de Snowflake a BigQuery. Para completar una transferencia de datos de Snowflake, primero debes generar metadatos para la traducción y, luego, ejecutar el motor de traducción:

1. Ejecuta dwh-migration-tool para Snowflake. Para obtener más información, consulta Genera metadatos para la traducción y la evaluación.
2. Sube el archivo metadata.zip generado a un bucket de Cloud Storage. El archivo metadata.zip se usa como entrada para el motor de traducción.
3. Ejecuta el servicio de traducción por lotes y especifica el campo target_types como dts-mapping. Para obtener más información, consulta Cómo traducir consultas de SQL con la API de traducción.
   • El siguiente es un ejemplo de un comando para ejecutar una traducción por lotes para Snowflake:

     curl -d "{
     "name": "sf_2_bq_translation",
     "displayName": "Snowflake to BigQuery Translation",
     "tasks": {
       string: {
         "type": "Snowflake2BigQuery_Translation",
         "translation_details": {
             "target_base_uri": "gs://sf_test_translation/output",
             "source_target_mapping": {
               "source_spec": {
                   "base_uri": "gs://sf_test_translation/input"
               }
             },
             "target_types": "dts-mapping",
         }
       }
     },
     }" 
     
     -H "Content-Type:application/json" 
     
     -H "Authorization: Bearer TOKEN" -X POST https://bigquerymigration.googleapis.com/v2alpha/projects/project_id/locations/location/workflows
     

   • Puedes verificar el estado de este comando en la página Traducción de SQL de BigQuery. El resultado del trabajo de traducción por lotes se almacena en gs://translation_target_base_uri/dts/config/.

Permisos necesarios de la cuenta de servicio

En una transferencia de Snowflake, se usa una cuenta de servicio para leer datos del resultado del motor de traducción en la ruta de acceso de Cloud Storage especificada. Debes otorgar los permisos storage.objects.get y storage.objects.list a la cuenta de servicio.

Si la cuenta de servicio proviene de un Google Cloud proyecto diferente al proyecto que creó la transferencia de datos de BigQuery, también debes habilitar la autorización de cuentas de servicio entre proyectos.

Para obtener más información, consulta Roles y permisos de IAM de BigQuery.

Evalúa los datos de Snowflake

BigQuery escribe datos de Snowflake en Cloud Storage como archivos Parquet. Los archivos Parquet no admiten los tipos de datos TIMESTAMP_TZ y TIMESTAMP_LTZ. Si tus datos contienen estos tipos, puedes exportarlos a Amazon S3 como archivos CSV y, luego, importarlos a BigQuery. Para obtener más información, consulta Descripción general de las transferencias de Amazon S3.

Recopila información de transferencia

Recopila la información que necesitas para configurar la migración con el Servicio de transferencia de datos de BigQuery:

• El identificador de tu cuenta de Snowflake, que es el prefijo de la URL de tu cuenta de Snowflake Por ejemplo, ACCOUNT_IDENTIFIER.snowflakecomputing.com.
• El nombre de usuario y la contraseña de un usuario con los permisos adecuados para tu base de datos de Snowflake Solo puede tener los permisos necesarios para ejecutar la transferencia de datos.
• El URI del bucket de Amazon S3 que deseas usar para la transferencia y el par de claves de acceso del usuario de AWS Te recomendamos que configures una política de ciclo de vida para este bucket a fin de evitar cargos innecesarios.
• Es el URI del bucket de Cloud Storage en el que almacenaste los archivos de asignación de esquemas obtenidos del motor de traducción.

Configura una transferencia de Snowflake

Selecciona una de las siguientes opciones:

bq mk \
    --transfer_config \
    --project_id=project_id \
    --data_source=data_source \
    --target_dataset=dataset \
    --display_name=name \
    --service_account_name=service_account \
    --params='parameters'

  PARAMS='{
  "account_identifier": "your_account_identifier",
  "aws_access_key_id": "your_access_key_id",
  "aws_secret_access_key": "your_aws_secret_access_key",
  "cloud_provider": "AWS",
  "database": "your_sf_database",
  "password": "your_sf_password",
  "schema": "your_snowflake_schema",
  "service_account": "your_service_account",
  "storage_integration_object_name": "your_storage_integration_object",
  "staging_s3_uri": "s3://your/s3/bucket/uri",
  "table_name_patterns": ".*",
  "translation_output_gcs_path": "gs://sf_test_translation/output/dts/database_name/schema_name/",
  "username": "your_sf_username",
  "warehouse": "your_warehouse"
}'

bq mk --transfer_config \
    --project_id=your_project_id \
    --target_dataset=your_bq_dataset \
    --display_name='snowflake transfer config' \
    --params="$PARAMS" \
    --data_source=snowflake_migration

Cuotas y límites

BigQuery tiene una cuota de carga de 15 TB para cada trabajo de carga por cada tabla. Por dentro, Snowflake comprime los datos de la tabla, por lo que el tamaño de la tabla exportada es mayor que el tamaño de la tabla informado por Snowflake. Si planeas migrar una tabla de más de 15 TB, comunícate con dts-migration-preview-support@google.com.

Debido al modelo de coherencia de Amazon S3, es posible que algunos archivos no se incluyan en la transferencia a BigQuery.

Precios

Para obtener información sobre los precios del Servicio de transferencia de datos de BigQuery, consulta la página Precios.

• Si el almacén de Snowflake y el bucket de Amazon S3 están en regiones diferentes, Snowflake aplica cargos de salida cuando ejecutas una transferencia de datos de Snowflake. No hay cargos de salida por las transferencias de datos de Snowflake si el almacén de Snowflake y el bucket de Amazon S3 se encuentran en la misma región.
• Cuando se transfieren datos de AWS a Google Cloud, se aplican cargos de salida entre nubes.

¿Qué sigue?

• Obtén más información acerca del Servicio de transferencia de datos de BigQuery.
• Migra el código SQL con la traducción de SQL por lotes.