Migración en la nube con rclone

Mueve tus datos desde otros proveedores de almacenamiento en la nube fácilmente a IDrive e2 almacenamiento de objetos usando rclone. Transfiere grandes volúmenes de datos no estructurados, incluyendo archivos multimedia, carpetas de respaldo, etc., a IDrive e2 almacenamiento de objetos.

Si tus datos son grandes, IDrive e2 ofrece un servidor en la nube con ancho de banda ilimitado para migrar desde tu proveedor actual de almacenamiento en la nube a IDrive e2 sin costo.

Una vez que recibas los detalles de acceso al servidor de IDrive e2, sigue el siguiente documento de rclone para la migración en la nube.

Usa rclone para mover datos a IDrive® e2 almacenamiento de objetos

Para mover datos a IDrive e2 almacenamiento en la nube,

  1. Instala rclone. Puedes instalar rclone para todos los usuarios en un sistema o para un solo usuario.
  2. Configura el almacenamiento de objetos para usar la API de compatibilidad con Amazon S3. También deberás probar tu conexión al almacenamiento de objetos.
  3. Configura tu origen. Esto significa exportar tu ruta de origen como una variable de entorno y depende del origen que estés utilizando.
  4. Transfiere los datos y verifica la transferencia.

Instalar rclone

Puedes instalar rclone para todos los usuarios en un sistema o para un solo usuario.

Instalación de rclone para todo el sistema

Se requieren privilegios administrativos para instalar rclone en todo tu sistema.

  1. En IDrive e2 Linux 7, instala rclone usando yum:
    $ sudo yum install -y rclone
    sudo yum install -y rclone
    Haz clic para copiarCopiado
  2. En otras distribuciones de Linux, usa el script de instalación proporcionado por rclone. Descarga y ejecuta ese script para instalar la última versión de rclone en todo el sistema:
    $ curl https://rclone.org/install.sh | sudo bash
    curl https://rclone.org/install.sh | sudo bash
    Haz clic para copiarCopiado
Instalación de rclone para uso individual

Si no tienes privilegios administrativos o no deseas instalar rclone en todo el sistema, puedes descargar el binario más reciente y usarlo directamente.

Utiliza la siguiente secuencia de comandos para descargar rclone, crear un directorio /bin en tu carpeta personal y agregarlo a tu variable de entorno PATH:

                                            $ mkdir ~/Temp

                                            $ cd ~/Temp/

                                            $ curl -O https://downloads.rclone.org/rclone-current-linux-amd64.zip

                                            $ unzip rclone-current-linux-amd64.zip

                                            $ cd rclone-*-linux-amd64

                                            $ mkdir ~/bin

                                            $ cp rclone ~/bin/

                                            $ export PATH=$PATH:~/bin

                                            $ echo 'export PATH=$PATH:~/bin' >> ~/.bashrc # Opcional, solo si deseas agregarlo a tu PATH en cada inicio de sesión
                                        
                                            mkdir ~/Temp

                                            cd ~/Temp/

                                            curl -O https://downloads.rclone.org/rclone-current-linux-amd64.zip

                                            unzip rclone-current-linux-amd64.zip

                                            cd rclone-*-linux-amd64

                                            mkdir ~/bin

                                            cp rclone ~/bin/

                                            export PATH=$PATH:~/bin

                                            echo 'export PATH=$PATH:~/bin' >> ~/.bashrc # Opcional, solo si deseas agregarlo a tu PATH en cada inicio de sesión
Haz clic para copiarCopiado

Nota: PATH se restablece cuando cierras sesión a menos que lo pongas en tu .bashrc

Configurar rclone para almacenamiento de objetos

Para configurar rclone para IDrive e2 almacenamiento de objetos, debes usar la API de compatibilidad con Amazon S3. Primero, necesitas obtener las credenciales adecuadas y el endpoint de la API y luego establecer las variables de entorno correctas. Aquí tienes las instrucciones:

Obtener credenciales de seguridad y endpoint de API

Las claves de acceso se pueden generar desde la pestaña Claves de acceso de la cuenta de IDrive e2.

Para crear una clave de acceso S3,

  1. Inicia sesión en la cuenta de IDrive e2.
  2. Haz clic en la pestaña Claves de acceso.
  3. Haz clic en Crear clave de acceso.
  4. Ingresa un nombre para la clave de acceso y selecciona una región de la lista de regiones habilitadas en el menú desplegable.
  5. Selecciona el permiso de acceso para la clave de acceso.
  6. Selecciona los buckets a los que se accederá usando la clave de acceso.
  7. Haz clic en Crear clave de acceso. Se generará un ID de clave de acceso y una clave secreta de acceso. Descarga/copia para guardar los detalles.
    Los roles y derechos de la clave de acceso no se pueden editar. Para editar roles de acceso o derechos de acceso a los buckets, elimina la clave de acceso y crea una nueva.


Configuración de rclone

Después de tener tu clave secreta, clave de acceso y endpoint de API, configura rclone estableciendo estos valores en el archivo de configuración de rclone.

Para establecer los valores,

  1. Usa el siguiente comando para mostrar la ruta del archivo de configuración de rclone:
    rclone config file
    Haz clic para copiarCopiado
  2. Agrega la siguiente configuración para el origen y destino (IDrive e2) al archivo de configuración de rclone:
    [e2]
    
                                                            type = s3
    
                                                            provider = IDrive
    
                                                            env_auth = false
    
                                                            access_key_id = <tu clave de acceso e2>
    
                                                            secret_access_key = <tu clave secreta e2>
    
                                                            endpoint = <tu endpoint e2>
    Haz clic para copiarCopiado     
    [source]
    
                                                        type = s3
    
                                                        provider = Other
    
                                                        env_auth = false
    
                                                        access_key_id = <tu clave de acceso del proveedor cloud s3>
    
                                                        secret_access_key = <tu clave secreta S3>
    
                                                        endpoint = <tu endpoint S3>
    Haz clic para copiarCopiado

NOTA IMPORTANTE: Si el cifrado predeterminado está habilitado en IDrive e2 para el bucket, puedes recibir errores MD5 al cargar. Mientras uses la clave de cifrado predeterminada (comportamiento predeterminado cuando está habilitado), tu configuración de rclone puede agregar la siguiente línea: server_side_encryption = aws:kms

Mueve tus datos a IDrive® e2 almacenamiento en la nube

Una vez que las variables de entorno estén configuradas, sigue los pasos a continuación para mover tus datos a IDrive e2

  1. Usa el siguiente comando para verificar que rclone reconoce la configuración: 
    rclone listremotes
    Haz clic para copiarCopiado

    El resultado esperado:

  2. Crea un bucket de destino en IDrive e2 donde se copiarán los datos
  3. Ejecuta el siguiente comando para copiar datos a IDrive e2. Reemplaza source-bucket con el nombre del bucket de origen y target-bucket con el bucket de destino creado en IDrive e2 
    rclone copy --verbose source:source-bucket e2:target-bucket
    Haz clic para copiarCopiado

Otros enfoques y herramientas para la migración

Migrar datos desde otros proveedores de nube a la plataforma de almacenamiento de objetos en la nube de IDrive e2 es muy sencillo. El almacenamiento es compatible con S3, por lo que puedes usarlo con tu herramienta o proceso existente sin software adicional.

Métodos

Puedes seleccionar cualquiera de las siguientes opciones alternativas para la migración de datos:

  • Migración en la nube autohospedada conectando tu proveedor de nube actual a IDrive e2 mediante una herramienta alojada por tu organización.
  • Migración de datos desde el origen moviendo datos directamente al almacenamiento e2 desde el origen, sin involucrar a tu proveedor de nube actual.

Herramientas de migración compatibles

Esta sección proporciona una lista de herramientas de migración comunes que se pueden usar con IDrive e2.

Herramientas en la nube Herramientas autohospedadas
Flexify.io AWS CLI
Couchdrop Datadobi DobiMigrate
Cloudflyer NetApp CloudSync
CloudFuze Nodeum
Cloudsfer Scality Zenko
S3cmd