Indexación de metadatos para tablas de BigQuery

En este documento, se describe el indexado de metadatos de columnas en BigQuery y se explica cómo asignar recursos dedicados para mejorar la actualización del índice y el rendimiento de las consultas.

BigQuery indexa automáticamente los metadatos de las tablas de BigQuery que superan los 1 GiB. Estos metadatos incluyen la ubicación del archivo, la información de particionamiento y los atributos a nivel de la columna, que BigQuery usa para optimizar y acelerar tus consultas.

De forma predeterminada, la indexación de metadatos en BigQuery es una operación en segundo plano gratuita y no requiere ninguna acción de tu parte. Sin embargo, la actualización del índice depende de los recursos gratuitos disponibles y no tiene objetivos de nivel de servicio (SLO) de rendimiento. Si la actualización del índice es fundamental para tu caso de uso, te recomendamos que configures una reserva BACKGROUND.

Consulta la hora de actualización del índice de metadatos

Para ver la última hora de actualización del índice de metadatos de una tabla, consulta la columna LAST_METADATA_INDEX_REFRESH_TIME de la vista INFORMATION_SCHEMA.TABLE_STORAGE. Para ello, sigue estos pasos:

1. En la consola de Google Cloud , ve a la página BigQuery.

   Ir a BigQuery

2. En el editor de consultas, escribe la siguiente oración:

   SELECT
     project_id,
     project_number,
     table_name,
     last_metadata_index_refresh_time
   FROM
     [PROJECT_ID.]region-REGION.INFORMATION_SCHEMA.TABLE_STORAGE;

   Reemplaza lo siguiente:

   • PROJECT_ID: Es el ID de tu Google Cloud proyecto. Si no se especifica, se usa el proyecto predeterminado.
   • REGION: Es la región en la que se encuentra el proyecto, por ejemplo, region-us.

3. Haz clic en play_circle Ejecutar.

Cómo ver el uso del índice de metadatos de columna

Para ver si se usó el índice de metadatos de la columna después de que se completa una tarea, verifica la propiedad TableMetadataCacheUsage del recurso Job. Si el campo unusedReason está vacío (no se propagó), se usó el índice de metadatos de la columna. Si se propaga, el campo explanation acompañado proporciona un motivo por el que no se usó el índice de metadatos de la columna.

También puedes ver el uso del índice de metadatos de columna con el campo metadata_cache_statistics en la vista INFORMATION_SCHEMA.JOBS.

Por ejemplo, el siguiente comando muestra el uso del índice de metadatos de columna para el trabajo my-job:

SELECT metadata_cache_statistics
FROM `region-US`.INFORMATION_SCHEMA.JOBS
WHERE job_id = 'my-job';

Como otro ejemplo, a continuación, se muestra la cantidad de trabajos que usaron el índice de metadatos de columna para la tabla my-table:

SELECT COUNT(*)
FROM
  `region-US`.INFORMATION_SCHEMA.JOBS,
  UNNEST(metadata_cache_statistics.table_metadata_cache_usage) AS stats
WHERE
  stats.table_reference.table_id='my-table' AND
  stats.table_reference.dataset_id='my-dataset' AND
  stats.table_reference.project_id='my-project' AND
  stats.unusedReason IS NULL;

Configura recursos de indexación dedicados

Para configurar recursos para las actualizaciones de indexación de metadatos en tu proyecto, primero debes tener una reserva asignada a tu proyecto. Para ello, sigue estos pasos:

1. Crea una reserva de BACKGROND.
2. Asigna tu proyecto a la reserva.

Después de configurar tu reserva, selecciona uno de los siguientes métodos para asignar trabajos de indexación de metadatos. De forma predeterminada, las ranuras que asignas de esta manera se comparten con otros trabajos si están inactivas. Para obtener más información, consulta Ranuras inactivas.

bq mk \
  --project_id=ADMIN_PROJECT_ID \
  --location=LOCATION \
  --reservation_assignment \
  --reservation_id=RESERVATION_NAME \
  --assignee_id=PROJECT_ID \
  --job_type=BACKGROUND \
  --assignee_type=PROJECT

Cómo ver la información del trabajo de indexación

Después de configurar tus trabajos de indexación dedicados, puedes ver información sobre ellos con la vista JOBS. En la siguiente muestra de SQL, se muestran los cinco trabajos de actualización más recientes en PROJECT_NAME.

SELECT *
FROM
  region-us.INFORMATION_SCHEMA.JOBS
WHERE
  project_id = 'PROJECT_NAME'
  AND SEARCH(job_id, '`metadata_cache_refresh`')
ORDER BY
  creation_time DESC
LIMIT 5;

Reemplaza PROJECT_NAME por el nombre del proyecto que contiene tus trabajos de indexación de metadatos.

Configura alertas de indexación de metadatos

El proceso de alertas de Cloud Monitoring te notifica cuando el rendimiento de BigQuery no cumple con los criterios definidos. Para obtener más información, consulta Descripción general de alertas. Con el indexado de metadatos, puedes configurar alertas para el uso de los espacios y la inactividad.

Alerta de uso de ranuras

Esta alerta te notifica cuando la reserva en segundo plano supera un porcentaje definido de su asignación. El valor predeterminado es 95%. Puedes configurar esta alerta para una reserva específica o para todas las reservas en segundo plano. Cuando se active esta alerta, te recomendamos que aumentes el tamaño de la reserva.

Para configurar esta alerta para cada reserva en segundo plano, haz lo siguiente:

1. Si aún no lo hiciste, configura un canal de notificaciones de supervisión.

2. Ve a la página Integraciones.

   Ir a Integraciones

3. Busca la integración de BigQuery y haz clic en Ver detalles.

4. En la pestaña Alertas, selecciona Uso de ranuras: Uso excesivo de ranuras de caché de metadatos en segundo plano.

5. Opcional: Para personalizar esta alerta aún más, haz clic en Mostrar opciones > Personalizar política de alertas.

6. En Configurar notificaciones, selecciona tu canal de notificaciones.

7. Haz clic en Crear.

Alerta de inactividad

Esta alerta te notifica cuando el índice de inactividad promedio de los metadatos de la columna aumenta demasiado en comparación con el promedio existente. El umbral predeterminado es si el promedio durante 4 horas es más del doble del promedio anterior durante más de 30 minutos. Cuando se active esta alerta, te recomendamos que aumentes el tamaño de tu reserva o crees una reserva en segundo plano si no tienes una.

Para configurar esta alerta, haz lo siguiente:

1. Si aún no lo hiciste, configura un canal de notificaciones de supervisión.

2. Ve a la página Integraciones.

   Ir a Integraciones

3. Busca la integración de BigQuery y haz clic en Ver detalles.

4. En la pestaña Alertas, selecciona Column Metadata Index Staleness - Too Much Percent Increase.

5. Opcional: Para personalizar esta alerta aún más, haz clic en Mostrar opciones > Personalizar política de alertas.

6. En Configurar notificaciones, selecciona tu canal de notificaciones.

7. Haz clic en Crear.

Limitaciones

Las mejoras de rendimiento de las consultas de metadatos solo se aplican a las sentencias SELECT, INSERT y CREATE TABLE AS SELECT. Las instrucciones del lenguaje de manipulación de datos (DML) no verán mejoras en el indexado de metadatos.

¿Qué sigue?

• Obtén información para ver todos los trabajos de tu proyecto con la vista JOBS.
• Obtén más información para ver la capacidad y el uso de las ranuras.