Mage est un outil open source d'orchestration de données qui permet d'intégrer et synchroniser des données tierces, créer des pipelines en temps réel et en batch pour transformer des données avec Python, SQL et R, et exécuter, surveiller et orchestrer des milliers de pipelines. Les utilisateurs peuvent écrire leur propre logique métier dans des notebooks et la visualiser avec des graphiques prédéfinis.
Pour nous, c'est l'outil d'orchestration de Data Pipeline le plus simple à prendre en main sur le marché. Il est fonctionnel en quelques minutes après son installation sur une Machine Virtuelle sur Google Cloud Platform.
Installer Docker
Créer une instance VM sur Compute Engine et installer Docker en utilisant les commandes suivantes :
Installer ensuite docker-compose + logout pour fermer le terminal
Installer Mage.ai
- Utiliser la commande docker dans la documentation de mage.ai pour installer l'image docker mage.ai puis démarrer l'outil
La commande va télécharger le repo de mage.ai et lancer le “container” créé.
Configuration du port
Le “container” utilise le port 6789 et alors il faut l’ajouter au règle du par feu:
- Cliquer sur 'nico0'
- Cliquer sur 'default-allow-http'
- Renseigner les ports 80,6789
Accès à l'interface via l'adresse => http:<<adresse_ip_de_votre_vm>>//:6789
Voilà mage.ai est désormais installé sur votre machine virtuelle , la prochaine étape consiste à créer votre première Data Pipeline.
.png)
.png)