Migration cloud via rclone

Déplacez vos données depuis d'autres fournisseurs de stockage cloud facilement vers le stockage d'objets IDrive e2 à l'aide de rclone. Transférez de grandes quantités de données non structurées, y compris des fichiers multimédia, des dossiers de sauvegarde, etc., vers le stockage d'objets IDrive e2.

Si vos données sont volumineuses, IDrive e2 propose un serveur cloud avec une bande passante illimitée pour migrer depuis votre fournisseur de stockage cloud actuel vers IDrive e2 gratuitement.

Une fois que vous avez reçu les détails d'accès au serveur d'IDrive e2, suivez le document rclone ci-dessous pour la migration cloud.

Utiliser rclone pour déplacer des données vers le stockage d'objets IDrive® e2

Pour déplacer des données vers le stockage cloud IDrive e2,

  1. Installez rclone. Vous pouvez installer rclone pour tous les utilisateurs d'un système ou pour un seul utilisateur.
  2. Configurez le stockage d'objets pour utiliser l'API de compatibilité Amazon S3. Vous devrez également tester votre connexion au stockage d'objets.
  3. Configurez votre source. Cela signifie que vous exportez votre chemin source en tant que variable d'environnement et dépend de la source que vous utilisez.
  4. Transférez les données et vérifiez le transfert.

Installer rclone

Vous pouvez installer rclone pour tous les utilisateurs d'un système ou pour un seul utilisateur.

Installation système de rclone

Vous avez besoin de privilèges administratifs pour installer rclone sur l'ensemble de votre système.

  1. Sur IDrive e2 Linux 7, installez rclone en utilisant yum :
    $ sudo yum install -y rclone
    sudo yum install -y rclone
    Cliquer pour copierCopié
  2. Sur d'autres distributions Linux, utilisez le script d'installation fourni par rclone. Téléchargez et exécutez ce script pour installer la dernière version de rclone à l'échelle du système :
    $ curl https://rclone.org/install.sh | sudo bash
    curl https://rclone.org/install.sh | sudo bash
    Cliquer pour copierCopié
Installation de rclone pour usage individuel

Si vous ne disposez pas de privilèges administratifs ou ne souhaitez pas installer rclone à l'échelle du système, vous pouvez télécharger le dernier binaire et l'utiliser directement.

Utilisez la chaîne de commandes suivante pour télécharger rclone, créer un répertoire /bin dans votre dossier personnel et l'ajouter à votre variable d'environnement PATH :

                                        $ mkdir ~/Temp

                                        $ cd ~/Temp/

                                        $ curl -O https://downloads.rclone.org/rclone-current-linux-amd64.zip

                                        $ unzip rclone-current-linux-amd64.zip

                                        $ cd rclone-*-linux-amd64

                                        $ mkdir ~/bin

                                        $ cp rclone ~/bin/

                                        $ export PATH=$PATH:~/bin

                                        $ echo 'export PATH=$PATH:~/bin' >> ~/.bashrc # Optional, only if you want to add it to
                                        your path at every login
                                    
                                        mkdir ~/Temp

                                        cd ~/Temp/

                                        curl -O https://downloads.rclone.org/rclone-current-linux-amd64.zip

                                        unzip rclone-current-linux-amd64.zip

                                        cd rclone-*-linux-amd64

                                        mkdir ~/bin

                                        cp rclone ~/bin/

                                        export PATH=$PATH:~/bin

                                        echo 'export PATH=$PATH:~/bin' >> ~/.bashrc # Optional, only if you want to add it to
                                        your path at every login
Cliquer pour copierCopié

Remarque : PATH est réinitialisé lors de la déconnexion, sauf si vous l'ajoutez à votre .bashrc

Configurer rclone pour le stockage d'objets

Pour configurer rclone pour le stockage d'objets IDrive e2, vous devez utiliser l'API de compatibilité Amazon S3. Vous devez d'abord obtenir les informations d'identification appropriées et le point de terminaison API, puis définir les variables d'environnement correctes. Voici les instructions :

Obtenir les informations d'identification de sécurité et le point de terminaison API

Les clés d'accès peuvent être générées depuis l'onglet Clés d'accès du compte IDrive e2.

Pour créer une clé d'accès S3,

  1. Connectez-vous au compte IDrive e2.
  2. Cliquez sur l'onglet Clés d'accès.
  3. Cliquez sur Créer une clé d'accès.
  4. Entrez un nom pour la clé d'accès et sélectionnez une région dans la liste des régions activées dans la liste déroulante.
  5. Sélectionnez l'autorisation d'accès pour la clé d'accès.
  6. Sélectionnez les buckets auxquels accéder à l'aide de la clé d'accès.
  7. Cliquez sur Créer une clé d'accès. Un ID de clé d'accès et une clé d'accès secrète seront générés. Téléchargez/copiez pour enregistrer les détails.
    Les rôles et les droits des clés d'accès ne peuvent pas être modifiés. Pour modifier les rôles d'accès ou les droits d'accès aux buckets, supprimez la clé d'accès et créez-en une nouvelle.


Configuration de rclone

Après avoir obtenu votre clé secrète, votre clé d'accès et votre point de terminaison API, configurez rclone en définissant ces valeurs dans le fichier de configuration rclone.

Pour définir les valeurs,

  1. Utilisez la commande suivante pour afficher le chemin du fichier de configuration rclone :
    rclone config file
    Cliquer pour copierCopié
  2. Ajoutez la configuration suivante pour la source et la destination (IDrive e2) au fichier de configuration rclone :
    [e2]
    
                                                        type = s3
    
                                                        provider = IDrive
    
                                                        env_auth = false
    
                                                        access_key_id = <your e2 access key>
    
                                                        secret_access_key = <your e2 secret key>
    
                                                        endpoint = <your e2 endpoint>
    Cliquer pour copierCopié     
    [source]
    
                                                    type = s3
    
                                                    provider = Other
    
                                                    env_auth = false
    
                                                    access_key_id = <your cloud s3 provider access key>
    
                                                    secret_access_key = <your S3 secret key>
    
                                                    endpoint = <your S3 endpoint>
    Cliquer pour copierCopié

NOTE IMPORTANTE : Si le chiffrement par défaut est activé sur IDrive e2 pour le bucket, vous pouvez recevoir des erreurs MD5 lors du téléchargement. Tant que vous utilisez la clé de chiffrement par défaut (comportement par défaut lorsqu'elle est activée), votre configuration rclone peut ajouter la ligne suivante : server_side_encryption = aws:kms

Déplacer vos données vers le stockage cloud IDrive® e2

Une fois les variables d'environnement définies, suivez les étapes ci-dessous pour déplacer vos données vers IDrive e2

  1. Utilisez la commande suivante pour vérifier que rclone reconnaît la configuration : 
    rclone listremotes
    Cliquer pour copierCopié

    La sortie attendue :

  2. Créez un bucket cible dans IDrive e2 dans lequel les données seront copiées
  3. Exécutez la commande suivante pour copier les données vers IDrive e2. Remplacez source-bucket par le nom du bucket source et target-bucket par le bucket cible créé dans IDrive e2 
    rclone copy --verbose source:source-bucket e2:target-bucket
    Cliquer pour copierCopié

Autres approches et outils pour la migration

La migration de données d'autres fournisseurs de cloud vers la plateforme de stockage d'objets cloud IDrive e2 est assez simple. Le stockage est compatible S3, vous pouvez donc l'utiliser avec votre outil ou processus existant sans logiciel supplémentaire.

Méthodes

Vous pouvez choisir parmi l'une des alternatives suivantes pour la migration des données :

  • Migration cloud auto-hébergée en connectant votre fournisseur de cloud actuel à IDrive e2 via un outil hébergé par votre organisation.
  • Migration de données sources en déplaçant les données directement vers le stockage e2 depuis la source, sans impliquer votre fournisseur de cloud actuel.

Outils de migration pris en charge

Cette section fournit une liste d'outils de migration courants qui peuvent être utilisés avec IDrive e2.

Outils hébergés dans le cloud Outils auto-hébergés
Flexify.io AWS CLI
Couchdrop Datadobi DobiMigrate
Cloudflyer NetApp CloudSync
CloudFuze Nodeum
Cloudsfer Scality Zenko
S3cmd