Snowflake 전송 예약

BigQuery Data Transfer Service에서 제공하는 Snowflake 커넥터를 사용하면 공개 IP 허용 목록을 사용하여 Snowflake에서 BigQuery로 데이터를 마이그레이션하는 자동 전송 작업을 예약하고 관리할 수 있습니다.

개요

Snowflake 커넥터는 Google Kubernetes Engine의 마이그레이션 에이전트를 사용하고 Snowflake가 호스팅되는 동일한 클라우드 제공업체 내의 스테이징 영역으로 Snowflake에서 로드 작업을 트리거합니다. AWS 호스팅 Snowflake 계정의 경우 데이터가 먼저 Amazon S3 버킷에 스테이징된 후 BigQuery Data Transfer Service를 사용하여 BigQuery로 전송됩니다.

다음 다이어그램은 AWS 호스팅 Snowflake 데이터 웨어하우스에서 BigQuery로 데이터가 전송되는 방식을 보여줍니다.

제한사항

Snowflake 커넥터를 사용하여 이루어진 데이터 전송에는 다음과 같은 제한사항이 적용됩니다.

• 데이터 전송은 AWS에 호스팅된 Snowflake 계정에서만 지원됩니다. Google Cloud 또는 Microsoft Azure에서 호스팅되는 Snowflake 계정에서의 데이터 전송은 지원되지 않습니다.
• Snowflake 커넥터는 증분 데이터 전송을 지원하지 않습니다.
• Snowflake 커넥터는 단일 Snowflake 데이터베이스 및 스키마 내 테이블의 전송만 지원합니다. Snowflake 데이터베이스 또는 스키마가 여러 개인 테이블에서 전송하려면 각 전송 작업을 별도로 설정하면 됩니다.
• Snowflake에서 Amazon S3 버킷으로 데이터를 로드하는 속도는 이 전송에 선택한 Snowflake 웨어하우스에 따라 제한됩니다.

• 데이터는 BigQuery로 로드되기 전에 Snowflake에서 Parquet 데이터 형식으로 추출됩니다.

  • 다음 Parquet 데이터 유형은 지원되지 않습니다.
    • TIMESTAMP_TZ, TIMESTAMP_LTZ
    • OBJECT, VARIANT, ARRAY
    • 자세한 내용은 Snowflake 데이터 평가를 참고하세요.

  • 다음 Parquet 데이터 유형은 지원되지 않지만 변환할 수 있습니다.

    • TIMESTAMP_NTZ

    메타데이터를 생성하고 번역 엔진을 실행할 때 DATETIME 변환을 TIMESTAMP로 변환하는 기본 동작을 재정의하려면 전체 유형 변환 구성 YAML을 사용하세요.

    구성 YAML은 다음 예와 유사할 수 있습니다.

    type: experimental_object_rewriter
    global:
      typeConvert:
        datetime: TIMESTAMP
    

시작하기 전에

Snowflake 전송을 설정하기 전에 이 섹션에 나열된 모든 단계를 실행해야 합니다. 다음은 모든 필수 단계 목록입니다.

1. Google Cloud 프로젝트 준비
2. 필요한 BigQuery 역할
3. Amazon S3 버킷 준비하기
4. 필요한 권한이 있는 Snowflake 사용자 만들기
5. 네트워크 정책 추가하기
6. 메타데이터 생성 및 번역 엔진 실행
7. Snowflake에서 지원되지 않는 데이터 유형 평가하기
8. 전송 정보 수집

Google Cloud 프로젝트 준비

다음 단계에 따라 Snowflake 전송을 위한 Google Cloud 프로젝트를 만들고 구성합니다.

1. 프로젝트를 Google Cloud 만들거나 기존 프로젝트를 선택합니다.

2. BigQuery Data Transfer Service 사용 설정에 필요한 모든 작업을 완료했는지 확인합니다.

3. 데이터를 저장할 BigQuery 데이터 세트를 만듭니다. 테이블을 만들 필요는 없습니다.

필요한 BigQuery 역할

전송을 만드는 데 필요한 권한을 얻으려면 관리자에게 BigQuery 관리자 (roles/bigquery.admin) IAM 역할을 부여해 달라고 요청하세요. 역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

이 사전 정의된 역할에는 전송을 만드는 데 필요한 권한이 포함되어 있습니다. 필요한 정확한 권한을 보려면 필수 권한 섹션을 펼치세요.

커스텀 역할이나 다른 사전 정의된 역할을 사용하여 이 권한을 부여받을 수도 있습니다.

Amazon S3 버킷 준비

Snowflake 데이터 전송을 완료하려면 Amazon S3 버킷을 만든 다음 Snowflake에서 쓰기 액세스를 허용하도록 구성해야 합니다.

1. Amazon S3 버킷 만들기 Amazon S3 버킷은 데이터를 BigQuery에 로드하기 전에 스테이징하는 데 사용됩니다.

2. Snowflake가 Amazon S3 버킷에 외부 스테이지로 데이터를 쓸 수 있도록 Snowflake 스토리지 통합 객체를 만들고 구성합니다.

Amazon S3 버킷에 대한 읽기 액세스를 허용하려면 다음 작업도 실행해야 합니다.

1. 전용 Amazon IAM 사용자를 만들고 이 사용자에게 AmazonS3ReadOnlyAccess 정책을 부여합니다.

2. IAM 사용자의 Amazon 액세스 키 쌍을 만듭니다.

필요한 권한이 있는 Snowflake 사용자 만들기

Snowflake 전송 중에 Snowflake 커넥터는 JDBC 연결을 사용하여 Snowflake 계정에 연결합니다. 데이터 전송을 실행하는 데 필요한 권한만 있는 맞춤 역할이 있는 새 Snowflake 사용자를 만들어야 합니다.

  // Create and configure new role, MIGRATION_ROLE
  GRANT USAGE
    ON WAREHOUSE WAREHOUSE_NAME
    TO ROLE MIGRATION_ROLE;

  GRANT USAGE
    ON DATABASE DATABASE_NAME
    TO ROLE MIGRATION_ROLE;

  GRANT USAGE
    ON SCHEMA DATABASE_NAME.SCHEMA_NAME
    TO ROLE MIGRATION_ROLE;

  // You can modify this to give select permissions for all tables in a schema
  GRANT SELECT
    ON TABLE DATABASE_NAME.SCHEMA_NAME.TABLE_NAME
    TO ROLE MIGRATION_ROLE;

  GRANT USAGE
    ON STORAGE_INTEGRATION_OBJECT_NAME
    TO ROLE MIGRATION_ROLE;

다음을 �����니다.

• MIGRATION_ROLE: 만들려는 맞춤 역할의 이름입니다.
• WAREHOUSE_NAME: 데이터 웨어하우스의 이름
• DATABASE_NAME: Snowflake 데이터베이스 이름
• SCHEMA_NAME: Snowflake 스키마의 이름
• TABLE_NAME: 이 데이터 전송에 포함된 Snowflake의 이름입니다.
• STORAGE_INTEGRATION_OBJECT_NAME: Snowflake 스토리지 통합 객체의 이름입니다.

네트워크 정책 추가

공개 연결의 경우 Snowflake 계정은 기본적으로 데이터베이스 사용자 인증 정보로 공개 연결을 허용합니다. 하지만 Snowflake 커넥터가 계정에 연결되지 못하도록 하는 네트워크 규칙 또는 정책을 구성했을 수 있습니다. 이 경우 필요한 IP 주소를 허용 목록에 추가해야 합니다.

다음 표는 공개 전송에 사용되는 지역 및 다중 지역 위치의 IP 주소 목록입니다. 데이터 세트의 위치에만 해당하는 IP 주소를 추가하거나 표에 나열된 모든 IP 주소를 추가할 수 있습니다. BigQuery Data Transfer Service 데이터 전송을 위해 Google에서 예약한 IP 주소입니다.

허용 목록에 IP 주소를 추가하려면 다음 단계를 따르세요.

1. type = IPV4로 네트워크 규칙을 만듭니다. BigQuery Data Transfer Service는 JDBC 연결을 사용하여 Snowflake 계정에 연결합니다.
2. 이전에 만든 네트워크 규칙과 다음 표의 IP 주소를 사용하여 네트워크 정책을 만듭니다.

리전 위치

다중 리전 위치

¹ EU 멀티 리전에 있는 데이터는 europe-west2(런던) 또는 europe-west6(취리히) 데이터 센터에 저장되지 않습니다.

메타데이터 생성 및 번역 엔진 실행

Snowflake 커넥터용 BigQuery Data Transfer Service는 Snowflake 테이블을 BigQuery로 이전할 때 스키마 매핑을 위해 BigQuery 이전 서비스 변환 엔진을 사용합니다. Snowflake 데이터 전송을 완료하려면 먼저 변환을 위한 메타데이터를 생성한 다음 변환 엔진을 실행해야 합니다.

1. Snowflake용 dwh-migration-tool를 실행합니다. 자세한 내용은 변환 및 평가를 위한 메타데이터 생성을 참고하세요.
2. 생성된 metadata.zip 파일을 Cloud Storage 버킷에 업로드합니다. metadata.zip 파일�� 번역 엔진의 입력으로 사용됩니다.
3. target_types 필드를 dts-mapping로 지정하여 일괄 번역 서비스를 실행합니다. 자세한 내용은 변환 API를 사용한 SQL 쿼리 변환을 참고하세요.
   • 다음은 Snowflake에서 일괄 번역을 실행하는 명령어의 예입니다.

     curl -d "{
     "name": "sf_2_bq_translation",
     "displayName": "Snowflake to BigQuery Translation",
     "tasks": {
       string: {
         "type": "Snowflake2BigQuery_Translation",
         "translation_details": {
             "target_base_uri": "gs://sf_test_translation/output",
             "source_target_mapping": {
               "source_spec": {
                   "base_uri": "gs://sf_test_translation/input"
               }
             },
             "target_types": "dts-mapping",
         }
       }
     },
     }" 
     
     -H "Content-Type:application/json" 
     
     -H "Authorization: Bearer TOKEN" -X POST https://bigquerymigration.googleapis.com/v2alpha/projects/project_id/locations/location/workflows
     

   • BigQuery의 SQL 변환 페이지에서 이 명령어의 상태를 확인할 수 있습니다. 일괄 번역 작업의 출력은 gs://translation_target_base_uri/dts/config/에 저장됩니다.

필요한 서비스 계정 권한

Snowflake 전송에서는 서비스 계정이 지정된 Cloud Storage 경로의 번역 엔진 출력에서 데이터를 읽는 데 사용됩니다. 서비스 계정에 storage.objects.get 및 storage.objects.list 권한을 부여해야 합니다.

서비스 계정이 BigQuery 데이터 전송을 만든 프로젝트와 다른 Google Cloud 프로젝트의 경우 교차 프로젝트 서비스 계정 승인도 사용 설정해야 합니다.

자세한 내용은 BigQuery IAM 역할 및 권한을 참고하세요.

Snowflake 데이터 평가

BigQuery는 Snowflake의 데이터를 Parquet 파일로 Cloud Storage에 씁니다. Parquet 파일은 TIMESTAMP_TZ 및 TIMESTAMP_LTZ 데이터 유형을 지원하지 않습니다. 데이터에 이러한 유형이 포함된 경우 CSV 파일로 Amazon S3에 내보낸 후 CSV 파일을 BigQuery로 가져올 수 있습니다. 자세한 내용은 Amazon S3 전송 개요를 참고하세요.

전송 정보 수집

BigQuery Data Transfer Service로 마이그레이션을 설정하는 데 필요한 정보를 수집합니다.

• Snowflake 계정 식별자(Snowflake 계정 URL의 접두사) 예를 들면 ACCOUNT_IDENTIFIER.snowflakecomputing.com입니다.
• Snowflake 데이터베이스에 대한 적절한 권한이 있는 사용자의 사용자 이름과 비밀번호입니다. 데이터 전송을 실행하는 데 필요한 권한만 있으면 됩니다.
• 전송에 사용할 Amazon S3 버킷의 URI와 AWS 사용자 액세스 키 쌍 불필요한 비용이 발생하지 않도록 이 버킷에 대해 수명 주기 정책을 설정하는 것이 좋습니다.
• ���역 엔진에서 가져온 스키마 매핑 파일을 저장한 Cloud Storage 버킷의 URI입니다.

Snowflake 전송 설정

다음 옵션 중 하나를 선택합니다.

bq mk \
    --transfer_config \
    --project_id=project_id \
    --data_source=data_source \
    --target_dataset=dataset \
    --display_name=name \
    --service_account_name=service_account \
    --params='parameters'

  PARAMS='{
  "account_identifier": "your_account_identifier",
  "aws_access_key_id": "your_access_key_id",
  "aws_secret_access_key": "your_aws_secret_access_key",
  "cloud_provider": "AWS",
  "database": "your_sf_database",
  "password": "your_sf_password",
  "schema": "your_snowflake_schema",
  "service_account": "your_service_account",
  "storage_integration_object_name": "your_storage_integration_object",
  "staging_s3_uri": "s3://your/s3/bucket/uri",
  "table_name_patterns": ".*",
  "translation_output_gcs_path": "gs://sf_test_translation/output/dts/database_name/schema_name/",
  "username": "your_sf_username",
  "warehouse": "your_warehouse"
}'

bq mk --transfer_config \
    --project_id=your_project_id \
    --target_dataset=your_bq_dataset \
    --display_name='snowflake transfer config' \
    --params="$PARAMS" \
    --data_source=snowflake_migration

할당량 및 한도

BigQuery에는 테이블별 로드 작업당 15TB의 로드 할당량이 있습니다. 내부적으로 Snowflake는 테이블 데이터를 압축하므로 내보낸 테이블 크기는 Snowflake가 보고한 테이블 크기���다 큽니다. 15TB보다 큰 테이블을 마이그레이션하려면 dts-migration-preview-support@google.com에 문의하세요.

Amazon S3의 일관성 모델로 인해 일부 파일이 BigQuery로의 전송에 포함��지 않��� ��� 있습니다.

가격 책정

BigQuery Data Transfer Service 가격에 대한 자세한 내용은 가격 책정 페이지를 참조하세요.

• Snowflake 창고와 Amazon S3 버킷이 서로 다른 리전에 있는 경우 Snowflake 데이터 전송을 실행할 때 Snowflake에서 이그레스 요금을 적용합니다. Snowflake 창고와 Amazon S3 버킷이 모두 동일한 리전에 있는 경우 Snowflake 데이터 전송에 대한 이그레스 요금이 청구되지 않습니다.
• AWS에서 Google Cloud로 데이터를 전송하면 클라우드 간 이그레스 요금이 적용됩니다.

다음 단계

• BigQuery Data Transfer Service 자세히 알아보기
• SQL 일괄 변환으로 SQL 코드 마이그레이션