Menjadwalkan transfer Snowflake

Konektor Snowflake yang disediakan oleh BigQuery Data Transfer Service memungkinkan Anda menjadwalkan dan mengelola tugas transfer otomatis untuk memigrasikan data dari Snowflake ke BigQuery menggunakan daftar yang diizinkan IP publik.

Ringkasan

Konektor Snowflake melibatkan agen migrasi di Google Kubernetes Engine dan memicu operasi pemuatan dari Snowflake ke area staging dalam penyedia cloud yang sama tempat Snowflake dihosting. Untuk akun Snowflake yang dihosting AWS, data pertama kali di-staging di bucket Amazon S3 Anda, yang kemudian ditransfer ke BigQuery dengan BigQuery Data Transfer Service.

Diagram berikut menunjukkan cara data ditransfer dari data warehouse Snowflake yang dihosting AWS ke BigQuery.

Batasan

Transfer data yang dilakukan menggunakan konektor Snowflake tunduk pada batasan berikut:

• Transfer data hanya didukung dari akun Snowflake yang dihosting di AWS. Transfer data dari akun Snowflake yang dihosting di Google Cloud atau Microsoft Azure tidak didukung.
• Konektor Snowflake tidak mendukung transfer data inkremental.
• Konektor Snowflake hanya mendukung transfer dari tabel dalam satu database dan skema Snowflake. Untuk mentransfer dari tabel dengan beberapa database atau skema Snowflake, Anda dapat menyiapkan setiap tugas transfer secara terpisah.
• Kecepatan pemuatan data dari Snowflake ke bucket Amazon S3 Anda dibatasi oleh warehouse Snowflake yang telah Anda pilih untuk transfer ini.

• Data diekstrak dari Snowflake dalam format data Parquet sebelum dimuat ke BigQuery:

  • Jenis data Parquet berikut tidak didukung:
    • TIMESTAMP_TZ, TIMESTAMP_LTZ
    • OBJECT, VARIANT, ARRAY
    • Untuk informasi selengkapnya, lihat Menilai data Snowflake.

  • Jenis data Parquet berikut tidak didukung, tetapi dapat dikonversi:

    • TIMESTAMP_NTZ

    Gunakan YAML konfigurasi konversi jenis global untuk mengganti perilaku default konversi DATETIME menjadi TIMESTAMP saat Anda membuat metadata dan menjalankan mesin terjemahan.

    YAML konfigurasi mungkin terlihat mirip dengan contoh berikut:

    type: experimental_object_rewriter
    global:
      typeConvert:
        datetime: TIMESTAMP
    

Sebelum memulai

Sebelum menyiapkan transfer Snowflake, Anda harus melakukan semua langkah yang tercantum di bagian ini. Berikut adalah daftar semua langkah yang diperlukan.

1. Menyiapkan Google Cloud project
2. Peran BigQuery yang diperlukan
3. Menyiapkan bucket Amazon S3
4. Membuat pengguna Snowflake dengan izin yang diperlukan
5. Menambahkan kebijakan jaringan
6. Membuat metadata dan menjalankan mesin terjemahan
7. Menilai Snowflake Anda untuk mengetahui jenis data yang tidak didukung
8. Mengumpulkan informasi transfer

Menyiapkan project Google Cloud

Buat dan konfigurasikan project Google Cloud untuk transfer Snowflake dengan langkah-langkah berikut:

1. Buat Google Cloud project atau pilih project yang ada.

2. Pastikan Anda telah menyelesaikan semua tindakan yang diperlukan untuk mengaktifkan BigQuery Data Transfer Service.

3. Buat set data BigQuery untuk menyimpan data Anda. Anda tidak perlu membuat tabel apa pun.

Peran BigQuery yang diperlukan

Untuk mendapatkan izin yang diperlukan untuk membuat transfer, minta administrator untuk memberi Anda peran IAM BigQuery Admin (roles/bigquery.admin). Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk membuat transfer. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Menyiapkan bucket Amazon S3

Untuk menyelesaikan transfer data Snowflake, Anda harus membuat bucket Amazon S3, lalu mengonfigurasinya untuk mengizinkan akses tulis dari Snowflake.

1. Buat bucket Amazon S3. Bucket Amazon S3 digunakan untuk melakukan staging data sebelum dimuat ke BigQuery.

2. Buat dan konfigurasikan objek integrasi penyimpanan Snowflake untuk mengizinkan Snowflake menulis data ke bucket Amazon S3 sebagai tahap eksternal.

Untuk mengizinkan akses baca di bucket Amazon S3, Anda juga harus melakukan hal berikut:

1. Buat pengguna Amazon IAM khusus dan berikan kebijakan AmazonS3ReadOnlyAccess kepadanya.

2. Buat pasangan kunci akses Amazon untuk pengguna IAM.

Membuat pengguna Snowflake dengan izin yang diperlukan

Selama transfer Snowflake, konektor Snowflake akan terhubung ke akun Snowflake Anda menggunakan koneksi JDBC. Anda harus membuat pengguna Snowflake baru dengan peran kustom yang hanya memiliki hak istimewa yang diperlukan untuk melakukan transfer data:

  // Create and configure new role, MIGRATION_ROLE
  GRANT USAGE
    ON WAREHOUSE WAREHOUSE_NAME
    TO ROLE MIGRATION_ROLE;

  GRANT USAGE
    ON DATABASE DATABASE_NAME
    TO ROLE MIGRATION_ROLE;

  GRANT USAGE
    ON SCHEMA DATABASE_NAME.SCHEMA_NAME
    TO ROLE MIGRATION_ROLE;

  // You can modify this to give select permissions for all tables in a schema
  GRANT SELECT
    ON TABLE DATABASE_NAME.SCHEMA_NAME.TABLE_NAME
    TO ROLE MIGRATION_ROLE;

  GRANT USAGE
    ON STORAGE_INTEGRATION_OBJECT_NAME
    TO ROLE MIGRATION_ROLE;

Ganti kode berikut:

• MIGRATION_ROLE: nama peran kustom yang Anda buat
• WAREHOUSE_NAME: nama data warehouse Anda
• DATABASE_NAME: nama database Snowflake Anda
• SCHEMA_NAME: nama skema Snowflake Anda
• TABLE_NAME: nama Snowflake yang disertakan dalam transfer data ini
• STORAGE_INTEGRATION_OBJECT_NAME: nama objek integrasi penyimpanan Snowflake Anda.

Menambahkan kebijakan jaringan

Untuk konektivitas publik, akun Snowflake mengizinkan koneksi publik dengan kredensial database secara default. Namun, Anda mungkin telah mengonfigurasi aturan atau kebijakan jaringan yang dapat mencegah konektor Snowflake terhubung ke akun Anda. Dalam hal ini, Anda harus menambahkan alamat IP yang diperlukan ke daftar yang diizinkan.

Tabel berikut adalah daftar alamat IP untuk lokasi regional dan multi-regional yang digunakan untuk transfer publik. Anda dapat menambahkan alamat IP yang hanya sesuai dengan lokasi set data, atau menambahkan semua alamat IP yang tercantum dalam tabel. Ini adalah alamat IP yang dicadangkan oleh Google untuk transfer data BigQuery Data Transfer Service.

Untuk menambahkan alamat IP ke daftar yang diizinkan, lakukan hal berikut:

1. Buat aturan jaringan dengan type = IPV4. BigQuery Data Transfer Service menggunakan koneksi JDBC untuk terhubung ke akun Snowflake.
2. Buat kebijakan jaringan dengan aturan jaringan yang Anda buat sebelumnya dan alamat IP dari tabel berikut.

Lokasi regional

Lokasi multi-regional

¹ Data yang berada di multi-region EU tidak disimpan di pusat data europe-west2 (London) atau europe-west6 (Zürich).

Membuat metadata dan menjalankan mesin terjemahan

Konektor BigQuery Data Transfer Service untuk Snowflake menggunakan mesin terjemahan layanan migrasi BigQuery untuk pemetaan skema saat memigrasikan tabel Snowflake ke BigQuery. Untuk menyelesaikan transfer data Snowflake, Anda harus membuat metadata untuk terjemahan terlebih dahulu, lalu menjalankan mesin terjemahan:

1. Jalankan dwh-migration-tool untuk Snowflake. Untuk informasi selengkapnya, lihat Membuat metadata untuk terjemahan dan penilaian.
2. Upload file metadata.zip yang dihasilkan ke bucket Cloud Storage. File metadata.zip digunakan sebagai input untuk mesin terjemahan.
3. Jalankan layanan terjemahan batch, dengan menentukan kolom target_types sebagai dts-mapping. Untuk informasi selengkapnya, lihat Menerjemahkan kueri SQL dengan API terjemahan.
   • Berikut adalah contoh perintah untuk menjalankan terjemahan batch untuk Snowflake:

     curl -d "{
     "name": "sf_2_bq_translation",
     "displayName": "Snowflake to BigQuery Translation",
     "tasks": {
       string: {
         "type": "Snowflake2BigQuery_Translation",
         "translation_details": {
             "target_base_uri": "gs://sf_test_translation/output",
             "source_target_mapping": {
               "source_spec": {
                   "base_uri": "gs://sf_test_translation/input"
               }
             },
             "target_types": "dts-mapping",
         }
       }
     },
     }" 
     
     -H "Content-Type:application/json" 
     
     -H "Authorization: Bearer TOKEN" -X POST https://bigquerymigration.googleapis.com/v2alpha/projects/project_id/locations/location/workflows
     

   • Anda dapat memeriksa status perintah ini di halaman Terjemahan SQL di BigQuery. Output tugas terjemahan batch disimpan di gs://translation_target_base_uri/dts/config/.

Izin akun layanan yang diperlukan

Dalam transfer Snowflake, akun layanan digunakan untuk membaca data dari output mesin terjemahan di jalur Cloud Storage yang ditentukan. Anda harus memberikan izin storage.objects.get dan storage.objects.list ke akun layanan.

Jika akun layanan berasal dari Google Cloud project yang berbeda dengan project yang membuat transfer data BigQuery, Anda juga harus mengaktifkan otorisasi akun layanan lintas project.

Untuk mengetahui informasi selengkapnya, lihat Peran dan izin IAM BigQuery.

Menilai data Snowflake

BigQuery menulis data dari Snowflake ke Cloud Storage sebagai file Parquet. File Parquet tidak mendukung jenis data TIMESTAMP_TZ dan TIMESTAMP_LTZ. Jika data Anda berisi jenis ini, Anda dapat mengekspornya ke Amazon S3 sebagai file CSV, lalu mengimpor file CSV ke dalam BigQuery. Untuk informasi selengkapnya, lihat Ringkasan transfer Amazon S3.

Mengumpulkan informasi transfer

Kumpulkan informasi yang Anda perlukan untuk menyiapkan migrasi dengan BigQuery Data Transfer Service:

• ID akun Snowflake Anda, yang merupakan awalan di URL akun Snowflake Anda. Misalnya, ACCOUNT_IDENTIFIER.snowflakecomputing.com.
• Nama pengguna dan sandi pengguna dengan izin yang sesuai ke database Snowflake Anda. Fungsi ini hanya dapat memiliki izin yang diperlukan untuk menjalankan transfer data.
• URI bucket Amazon S3 yang ingin Anda gunakan untuk transfer, dan pasangan kunci akses pengguna AWS. Sebaiknya siapkan kebijakan siklus proses untuk bucket ini guna menghindari biaya yang tidak perlu.
• URI bucket Cloud Storage tempat Anda menyimpan file pemetaan skema yang diperoleh dari mesin terjemahan.

Menyiapkan transfer Snowflake

Pilih salah satu opsi berikut:

bq mk \
    --transfer_config \
    --project_id=project_id \
    --data_source=data_source \
    --target_dataset=dataset \
    --display_name=name \
    --service_account_name=service_account \
    --params='parameters'

  PARAMS='{
  "account_identifier": "your_account_identifier",
  "aws_access_key_id": "your_access_key_id",
  "aws_secret_access_key": "your_aws_secret_access_key",
  "cloud_provider": "AWS",
  "database": "your_sf_database",
  "password": "your_sf_password",
  "schema": "your_snowflake_schema",
  "service_account": "your_service_account",
  "storage_integration_object_name": "your_storage_integration_object",
  "staging_s3_uri": "s3://your/s3/bucket/uri",
  "table_name_patterns": ".*",
  "translation_output_gcs_path": "gs://sf_test_translation/output/dts/database_name/schema_name/",
  "username": "your_sf_username",
  "warehouse": "your_warehouse"
}'

bq mk --transfer_config \
    --project_id=your_project_id \
    --target_dataset=your_bq_dataset \
    --display_name='snowflake transfer config' \
    --params="$PARAMS" \
    --data_source=snowflake_migration

Kuota dan batas

BigQuery memiliki kuota muatan sebesar 15 TB untuk setiap tugas pemuatan untuk setiap tabel. Secara internal, Snowflake mengompresi data tabel, sehingga ukuran tabel yang diekspor lebih besar dari ukuran tabel yang dilaporkan oleh Snowflake. Jika Anda berencana untuk memigrasikan tabel yang lebih besar dari 15 TB, hubungi dts-migration-preview-support@google.com.

Karena model konsistensi Amazon S3, ada kemungkinan bahwa beberapa file tidak akan disertakan dalam transfer ke BigQuery.

Harga

Untuk mengetahui informasi tentang harga BigQuery Data Transfer Service, lihat halaman Harga.

• Jika warehouse Snowflake dan bucket Amazon S3 berada di region yang berbeda, Snowflake akan menerapkan tagihan keluar saat Anda menjalankan transfer data Snowflake. Tidak ada biaya keluar untuk transfer data Snowflake jika warehouse Snowflake dan bucket Amazon S3 berada di region yang sama.
• Saat data ditransfer dari AWS ke Google Cloud, biaya traffic keluar antar-cloud akan diterapkan.

Langkah berikutnya

• Pelajari BigQuery Data Transfer Service lebih lanjut.
• Migrasikan kode SQL dengan terjemahan Batch SQL.