Enlaces Relacionados

    ¿Cómo usar Snowflake con IDrive® e2?

    Snowflake ha sido verificado para su uso con IDrive® e2. También puedes visitar la Documentación de Snowflake sobre cómo configurar IDrive® e2 hot cloud object storage para más información.

    Usando Snowflake con IDrive® e2 puedes:

    • Crear una tabla externa de Snowflake para consultar un conjunto de datos existente y particionado desde el Almacenamiento en la Nube de IDrive® e2.
    • Copiar datos de Snowflake a IDrive® e2 y ponerlos a disposición de aplicaciones y herramientas compatibles con almacenamiento de objetos en la nube.
    • Migrar tus datos desde Snowflake y aprovechar los precios predecibles de IDrive® e2, especialmente para almacenar datos de acceso poco frecuente.

    Este artículo explica cómo realizar las siguientes tareas:

    1. 1. Crear una hoja de trabajo SQL en Snowflake
    2. 2. Crear un stage externo
    3. 3. Crear una tabla externa
    4. 4. Copiar datos a una tabla de Snowflake desde IDrive® e2
    5. 5. Copiar datos de una tabla de Snowflake a IDrive® e2
    6. 6. Usar Snowflake para consultar datos existentes en IDrive® e2

    Requisitos previos:

    1. Una cuenta activa de IDrive® e2. Regístrate aquí si no tienes una.
    2. Un conjunto de datos compatible con Snowflake subido a tu bucket de IDrive® e2. Consulta cómo crear un bucket y agregar objetos.
    3. Una cuenta activa de Snowflake.
    4. Comprensión de la terminología Data Lake / Data Warehouse y uso básico de Snowflake.

    Sube datos a tu bucket de IDrive® e2

    Para usar tablas externas de Snowflake con IDrive® e2, debes tener un conjunto de datos que desees leer desde IDrive® e2.

    El siguiente conjunto de datos de ejemplo dataset_snowflake.csv reside en el bucket snow en la región Virginia. La ruta a los datos será //snow

    Crear hoja de trabajo SQL

    Inicia sesión en tu cuenta de Snowflake y haz clic en y selecciona SQL Worksheet. Puedes escribir consultas para datos en IDrive® e2 y ejecutarlas desde esta hoja.

    Crear base de datos en Snowflake

    Después de crear la hoja de trabajo, necesitas crear una base de datos para almacenar la información sobre la tabla externa y cualquier dato relacionado. Crearemos una base de datos e2_sample_database.

    Copia y pega los siguientes dos comandos en la hoja de trabajo:

    CREATE DATABASE e2_sample_database;
USE DATABASE e2_sample_database;

    El primer comando creará la base de datos. El segundo la seleccionará para usarla en consultas posteriores en la hoja de trabajo. Para ejecutar los comandos, selecciona el SQL y haz clic en en la esquina superior derecha.

    Crear un objeto Stage en Snowflake

    Se debe crear un objeto stage en Snowflake para indicar dónde se encuentran o almacenan tus datos. Crearemos una referencia al bucket de IDrive® e2 con la región y las credenciales de claves de acceso.

    En este ejemplo crearemos un objeto stage s3_e2 y usaremos la URL del endpoint para la región de Virginia, y el Access Key ID y Secret Key de IDrive® e2.

    create or replace stage s3_e2
url = 's3compat://snow'
endpoint = 'k3d1.va21.idrivee2-1.com'
credentials = (AWS_KEY_ID = 'xxx' AWS_SECRET_KEY = 'xxx');

    Listar los datos en tu bucket de IDrive® e2

    Una vez creado el objeto stage puedes listar el contenido de los archivos dentro de tu bucket de IDrive® e2 snow.

    Ejecutaremos la consulta de listado sobre el nombre del stage.

    LIST @s3_e2;

    Crear una tabla externa en Snowflake

    Una vez que se listan los contenidos del bucket de IDrive® e2, podemos crear una tabla externa en Snowflake para consultar tus datos. Deberás actualizar el nombre del stage y el tipo de formato de archivo según tu conjunto de datos y el nombre elegido para el stage.

    CREATE OR REPLACE EXTERNAL TABLE e2_user_ref
WITH LOCATION = @s3_e2/
FILE_FORMAT = (TYPE = CSV  SKIP_HEADER = 1)
PATTERN='dataset_snowflake.csv';

    Copiar datos a una tabla de Snowflake desde IDrive® e2

    Una vez que hayas creado una tabla, puedes copiar datos desde tu almacenamiento IDrive® e2 a una tabla de Snowflake.

    copy into @s3_e2_sj/snow-test-sj/user-details
from user_details
file_format = csv
header = true;

    Copiar datos de una tabla de Snowflake a IDrive® e2

    También puedes copiar datos de una tabla de Snowflake a tu almacenamiento IDrive® e2.

    copy into user_details from @s3.e2
files = ('dataset_snowflake.csv')
on_error = continue;

    Ejecutar una consulta sobre tus datos

    Después de crear la tabla, también puedes ejecutar algunas consultas sobre tus datos para validarlos.

    Ahora has aprendido cómo crear una tabla externa de Snowflake que referencia datos almacenados en IDrive® e2.