安排 Snowflake 转移

借助 BigQuery Data Transfer Service 提供的 Snowflake 连接器，您可以安排和管理自动传输作业，以使用公共 IP 许可名单将数据从 Snowflake 迁移到 BigQuery。

概览

Snowflake 连接器会使用 Google Kubernetes Engine 中的迁移代理，并触发从 Snowflake 到托管 Snowflake 的同一云服务提供商内的暂存区域的加载操作。对于 AWS 托管的 Snowflake 账号，系统会先将数据暂存到您的 Amazon S3 存储桶中，然后再使用 BigQuery Data Transfer Service 将数据传输到 BigQuery。

下图显示了如何将数据从 AWS 托管的 Snowflake 数据仓库传输到 BigQuery。

限制

使用 Snowflake 连接器进行的数据传输受到以下限制：

• 仅支持从托管在 AWS 上的 Snowflake 账号进行数据传输。不支持从托管在 Google Cloud 或 Microsoft Azure 上的 Snowflake 账号转移数据。
• Snowflake 连接器不支持增量数据传输。
• Snowflake 连接器仅支持从单个 Snowflake 数据库和架构中的表进行传输。如需从包含多个 Snowflake 数据库或架构的表中进行转移，您可以单独设置每个转移作业。
• 从 Snowflake 加载到 Amazon S3 存储桶的数据速度取决于您为此转移选择的 Snowflake 数据仓库。

• 系统会先以 Parquet 数据格式从 Snowflake 中提取数据，然后再将其加载到 BigQuery 中：

  • 不支持以下 Parquet 数据类型：
    • TIMESTAMP_TZ，TIMESTAMP_LTZ
    • OBJECT、VARIANT、ARRAY
    • 如需了解详情，请参阅评估 Snowflake 数据。

  • 以下 Parquet 数据类型不受支持，但可以转换：

    • TIMESTAMP_NTZ

    在生成元数据并运行翻译引擎时，使用全局类型转换配置 YAML 替换将 DATETIME 转换为 TIMESTAMP 的默认行为。

    配置 YAML 可能如下所示：

    type: experimental_object_rewriter
    global:
      typeConvert:
        datetime: TIMESTAMP
    

准备工作

在设置 Snowflake 传输之前，您必须执行本部分中列出的所有步骤。以下是所有必需步骤的列表。

1. 准备 Google Cloud 项目
2. 所需的 BigQuery 角色
3. 准备 Amazon S3 存储桶
4. 创建具有所需权限的 Snowflake 用户
5. 添加网络政策
6. 生成元数据并运行翻译引擎
7. 评估您的 Snowflake 是否存在任何不受支持的数据类型
8. 收集转移信息

准备 Google Cloud 项目

按照以下步骤创建和配置 Google Cloud 用于 Snowflake 传输的项目：

1. 创建 Google Cloud 项目或选择现有项目。

2. 验证您是否已完成启用 BigQuery Data Transfer Service 所需的所有操作。

3. 创建 BigQuery 数据集来存储数据。您无需创建任何表。

所需 BigQuery 角色

如需获得创建转移作业所需的权限，请让管理员向您授予 BigQuery Admin (roles/bigquery.admin) IAM 角色。 如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

此预定义角色可提供创建转移作业所需的权限。如需查看所需的确切权限，请展开所需权限部分：

您也可以使用自定义角色或其他预定义角色来获取这些权限。

准备 Amazon S3 存储桶

若要完成 Snowflake 数据传输，您必须创建一个 Amazon S3 存储桶，然后将其配置为允许从 Snowflake 写入。

1. 创建 Amazon S3 存储桶。Amazon S3 存储桶用于在将数据加载到 BigQuery 之前对其进行暂存。

2. 创建和配置 Snowflake 存储集成对象，以允许 Snowflake 将数据作为外部阶段写入 Amazon S3 存储桶。

如需允许对 Amazon S3 存储桶进行读取访问，您还必须执行以下操作：

1. 创建一个专用的 Amazon IAM 用户，并向其授予 AmazonS3ReadOnlyAccess 政策。

2. 为 IAM 用户创建 Amazon 访问密钥对。

创建具有所需权限的 Snowflake 用户

在 Snowflake 转移期间，Snowflake 连接器会使用 JDBC 连接连接到您的 Snowflake 账号。您必须创建一个新的 Snowflake 用户，并为其分配一个自定义角色，该角色仅具有执行数据传输所需的权限：

  // Create and configure new role, MIGRATION_ROLE
  GRANT USAGE
    ON WAREHOUSE WAREHOUSE_NAME
    TO ROLE MIGRATION_ROLE;

  GRANT USAGE
    ON DATABASE DATABASE_NAME
    TO ROLE MIGRATION_ROLE;

  GRANT USAGE
    ON SCHEMA DATABASE_NAME.SCHEMA_NAME
    TO ROLE MIGRATION_ROLE;

  // You can modify this to give select permissions for all tables in a schema
  GRANT SELECT
    ON TABLE DATABASE_NAME.SCHEMA_NAME.TABLE_NAME
    TO ROLE MIGRATION_ROLE;

  GRANT USAGE
    ON STORAGE_INTEGRATION_OBJECT_NAME
    TO ROLE MIGRATION_ROLE;

替换以下内容：

• MIGRATION_ROLE：您要创建的自定义角色的名称
• WAREHOUSE_NAME：数据仓库的名称
• DATABASE_NAME：您的 Snowflake 数据库的名称
• SCHEMA_NAME：您的 Snowflake 架构的名称
• TABLE_NAME：此数据传输中包含的 Snowflake 的名称
• STORAGE_INTEGRATION_OBJECT_NAME：您的 Snowflake 存储空间集成对象的名称。

添加广告资源网政策

对于公共连接，Snowflake 账号默认允许使用数据库凭据进行公共连接。不过，您可能配置了网络规则或政策，这些规则或政策可能会阻止 Snowflake 连接器连接到您的账号。在这种情况下，您必须将必要的 IP 地址添加到许可名单中。

下表列出了用于公开转移的区域性和多区域位置的 IP 地址。您可以添加仅与数据集位置对应的 IP 地址，也可以添加表格中列出的所有 IP 地址。这些是 Google 为 BigQuery Data Transfer Service 数据传输预留的 IP 地址。

如需将 IP 地址添加到许可名单，请执行以下操作：

1. 创建网络规则，其中 type = IPV4。BigQuery Data Transfer Service 使用 JDBC 连接连接到 Snowflake 账号。
2. 使用您之前创建的网络规则和下表中的 IP 地址创建网络政策。

单区域位置

多区域位置

¹ 位于 EU 多区域的数据不会存储在 europe-west2（伦敦）或 europe-west6（苏黎世）数据中心中。

生成元数据并运行翻译引擎

将 Snowflake 表迁移到 BigQuery 时，适用于 Snowflake 的 BigQuery Data Transfer Service 连接器会使用 BigQuery 迁移服务转换引擎进行架构映射。如需完成 Snowflake 数据传输，您必须先生成要转换的元数据，然后运行转换引擎：

1. 运行适用于 Snowflake 的 dwh-migration-tool。如需了解详情，请参阅生成元数据以进行转换和评估。
2. 将生成的 metadata.zip 文件上传到 Cloud Storage 存储桶。metadata.zip 文件将用作翻译引擎的输入。
3. 运行批量翻译服务，将 target_types 字段指定为 dts-mapping。如需了解详情，请参阅使用 Translation API 翻译 SQL 查询。
   • 以下是用于为 Snowflake 运行批量翻译的命令示例：

     curl -d "{
     "name": "sf_2_bq_translation",
     "displayName": "Snowflake to BigQuery Translation",
     "tasks": {
       string: {
         "type": "Snowflake2BigQuery_Translation",
         "translation_details": {
             "target_base_uri": "gs://sf_test_translation/output",
             "source_target_mapping": {
               "source_spec": {
                   "base_uri": "gs://sf_test_translation/input"
               }
             },
             "target_types": "dts-mapping",
         }
       }
     },
     }" 
     
     -H "Content-Type:application/json" 
     
     -H "Authorization: Bearer TOKEN" -X POST https://bigquerymigration.googleapis.com/v2alpha/projects/project_id/locations/location/workflows
     

   • 您可以在 BigQuery 的 SQL 转换页面中查看此命令的状态。批量翻译作业的输出存储在 gs://translation_target_base_uri/dts/config/ 中。

所需的服务账号权限

在 Snowflake 传输中，服务账号用于从指定 Cloud Storage 路径中的翻译引擎输出中读取数据。您必须向服务账号授予 storage.objects.get 和 storage.objects.list 权限。

如果服务账号来自与创建 BigQuery 数据传输的项目不同的项目， Google Cloud 则您还必须启用跨项目服务账号。

如需了解详情，请参阅 BigQuery IAM 角色和权限。

评估 Snowflake 数据

BigQuery 会将数据从 Snowflake 写入 Cloud Storage 作为 Parquet 文件。Parquet 文件不支持 TIMESTAMP_TZ 和 TIMESTAMP_LTZ 数据类型。如果您的数据包含这些类型，您可以将其作为 CSV 文件导出到 Amazon S3，然后将 CSV 文件导入 BigQuery。如需了解详情，请参阅 Amazon S3 转移作业概览。

收集转移信息

收集使用 BigQuery Data Transfer Service 设置迁移���需的信息：

• 您的 Snowflake 账号标识符，即 Snowflake 账号网址中的前缀。例如 ACCOUNT_IDENTIFIER.snowflakecomputing.com。
• 对您的 Snowflake 数据库具有适当权限的用户的用户名和密码。它只需具有执行数据传输所需的权限即可。
• 您要用于转移作业的 Amazon S3 存储桶的 URI，以及 AWS 用户访问密钥对。我们建议您为此存储桶设置生命周期政策，以避免产生不必要的费用。
• 您存储从翻译引擎获取的架构映射文件的 Cloud Storage 存储桶的 URI。

设置 Snowflake 转移

从下列选项中选择一项：

bq mk \
    --transfer_config \
    --project_id=project_id \
    --data_source=data_source \
    --target_dataset=dataset \
    --display_name=name \
    --service_account_name=service_account \
    --params='parameters'

  PARAMS='{
  "account_identifier": "your_account_identifier",
  "aws_access_key_id": "your_access_key_id",
  "aws_secret_access_key": "your_aws_secret_access_key",
  "cloud_provider": "AWS",
  "database": "your_sf_database",
  "password": "your_sf_password",
  "schema": "your_snowflake_schema",
  "service_account": "your_service_account",
  "storage_integration_object_name": "your_storage_integration_object",
  "staging_s3_uri": "s3://your/s3/bucket/uri",
  "table_name_patterns": ".*",
  "translation_output_gcs_path": "gs://sf_test_translation/output/dts/database_name/schema_name/",
  "username": "your_sf_username",
  "warehouse": "your_warehouse"
}'

bq mk --transfer_config \
    --project_id=your_project_id \
    --target_dataset=your_bq_dataset \
    --display_name='snowflake transfer config' \
    --params="$PARAMS" \
    --data_source=snowflake_migration

配额和限制

对于每个表的每个加载作业，BigQuery 都有 15 TB 的加载配额。Snowflake 会在内部执行表数据压缩，因此实际导出的表大小会超过 Snowflake 报���的表大小。如果您打算迁移 15 TB 以上的表，请联系 dts-migration-preview-support@google.com。

由于 Amazon S3 的一致性模型要求，向 BigQuery 转移的作业中可能不包括某些文件。

价格

如需了解 BigQuery Data Transfer Service 价格，请参阅价格页面。

• 如果 Snowflake 数据仓库和 Amazon S3 存储桶位于不同的区域，那么当您运行 Snowflake 数据传输时，Snowflake 会收取出站流量费用。如果 Snowflake 数据仓库和 Amazon S3 存储桶位于同一区域，则 Snowflake 数据传输不会产生出站流量费用。
• 将数据从 AWS 转移到 Google Cloud时，系统会收取云间出站流量费用。

后续步骤

• 详细了解 BigQuery Data Transfer Service。
• 使用批量 SQL 转换迁移 SQL 代码。