# AWS DataSync : L'accélérateur de migration de données --- ### **Introduction** #### **Le besoin** Tu as des millions de fichiers (des téraoctets ou pétaoctets) en local et tu veux les **migrer massivement et rapidement** vers AWS, ou mettre en place une synchronisation régulière (ex: toutes les nuits). #### **Le contexte & Fonctionnement** DataSync est un outil de **transfert de données à grande vitesse**, optimisé pour saturer proprement ta bande passante réseau et aller 10 fois plus vite que des outils classiques (comme rsync ou un simple script de copie). - **On-Prem vers AWS :** Tu as **besoin d'installer un Agent** (sous forme de VM) dans ton centre de données local pour lire les fichiers et les compresser/chiffrer avant l'envoi. - **AWS vers AWS :** Si tu synchronises des données entre deux services AWS (ex: d'un compte AWS à un autre, ou d'une région à une autre), **aucun agent n'est requis**, AWS gère tout en interne. - **Vers quels services AWS peut-il synchroniser ?** - Amazon S3 - Amazon EFS - **AWS FSx** (toutes les versions : Windows, Lustre, ONTAP, OpenZFS). - **Préservation des métadonnées :** C'est capital pour l'examen. DataSync préserve les permissions des fichiers, les dates de modification, les ownerships (UID/GID pour Linux, ACL pour Windows). --- ### **Exemple** #### **🏢 Le Scénario : La sauvegarde et migration d'un studio d'animation 3D** Tu es l'architecte cloud d'un studio de cinéma d'animation. Vos graphistes travaillent en local sur des serveurs de stockage ultra-rapides (des NAS de marque NetApp ou des serveurs de fichiers Linux Windows). Chaque nuit, les artistes génèrent **20 To de nouvelles images et vidéos haute définition** (des millions de petits fichiers de rendu). - **Le besoin :** Tu veux répliquer automatiquement ces 20 To de données chaque nuit vers AWS (dans un système **AWS FSx for Windows** ou **Amazon S3**) pour que l'équipe de production à l'autre bout du monde puisse travailler dessus le lendemain. - **Le défi :** Un simple script de copie (`rsync` ou `robocopy`) mettrait trop de temps, saturerait la ligne internet, et perdrait les droits d'accès (permissions Windows ACL / Linux) des fichiers. #### **🛠️ Comment ça se passe en pratique (Étape par Étape)** Voici comment tu mets en place **AWS DataSync** pour automatiser cela : ##### **Étape 1 : Installer l'Agent en local** Dans ton centre de données, tu télécharges l'**Agent DataSync** fourni par AWS sous forme de machine virtuelle (VM) et tu l'installes sur tes serveurs (VMware ou Hyper-V). - Cet agent va s'occuper de "scanner" ton stockage local très rapidement, de compresser les données et de les chiffrer avant l'envoi. ##### **Étape 2 : Configurer la "Tâche" (Task) dans AWS** Dans la console AWS, tu crées une **Task DataSync** : 1. **Source :** Tu indiques le chemin de ton NAS local (ex: via le protocole NFS ou SMB). 2. **Destination :** Tu choisis ta cible AWS (ex: un système de fichiers **AWS FSx for NetApp ONTAP** ou un bucket **S3**). 3. **Fréquence :** Tu planifies l'exécution (ex: tous les soirs à 1h du matin). ##### **Étape 3 : La synchronisation intelligente en action** À 1h du matin, la tâche démarre : 1. L'agent local analyse les fichiers. Contrairement à un outil classique, DataSync utilise un protocole réseau propriétaire d'AWS ultra-optimisé qui **parallélise le transfert**. Il s'adapte pour saturer au maximum (mais proprement) ta bande passante. 2. **Transfert incrémental :** DataSync compare la source et la destination. Si un fichier vidéo de 5 Go n'a pas changé, il ne le renvoie pas. Il n'envoie que les nouveautés ou les modifications. 3. **Préservation des métadonnées :** Si le fichier appartenait à l'utilisateur "Graphiste\_Jean" avec des droits de lecture spécifiques en local, DataSync réapplique exactement les mêmes droits une fois le fichier arrivé dans AWS FSx. 4. **Vérification de l'intégrité :** À la fin du transfert, DataSync calcule une clé de vérification (checksum) pour chaque fichier pour s'assurer qu'aucun octet n'a été corrompu pendant le voyage sur internet. --- ### **🎯 Ce qu'il faut retenir pour l'examen SAA-C03 (La différence clé)** On confond souvent **Storage Gateway** et **DataSync**. Voici le moyen infaillible de ne plus les mélanger : - **AWS Storage Gateway est un PONT (Temps réel) :** Tes applications locales écrivent dedans *au fil de l'eau* tout au long de la journée. C'est une extension de ton stockage qui garde un cache local. - **AWS DataSync est un CAMION DE DÉMÉNAGEMENT (Planifié / Batch) :** Il est là pour **déplacer ou synchroniser** de gros volumes de fichiers existants d'un point A à un point B, le plus vite possible, de manière planifiée (ex: une fois par jour, ou pour une migration définitive).