Nous sommes ravis de vous annoncer la sortie de la version 2023.02 de notre plateforme DataOps !
Nous améliorons constamment Saagie. Grâce entre autres à vos retours et vos contributions. Vous étiez nombreux à demander plus de capacités de monitoring et plus d’intelligence dans les pipelines.
Cette release est une version majeure focalisée sur l’observabilité et les conditions avancées dans les pipelines. Elle contient les fonctionnalités/nouveautés suivantes:
- De nouveaux modules d’observabilité pour les clusters et les pipelines.
- L’expérience autour des pipelines a été enrichie avec la capacité d’intégrer des logiques avancées telles que les conditions sur les variables d’environnement ou sur les statuts.
- Saagie est désormais compatible avec la plateforme Google Cloud.
Observabilité et automatisation avancée dans les pipelines
Monitoring des ressources pour les clusters et les pipelines
Nous avons enrichi les capacités d’observabilité sur l’usage des ressources en l’étendant aux clusters et aux pipelines.
Au niveau cluster, vous pouvez désormais accéder au menu Operation pour visualiser l’état du cluster. Cette page affiche le nombre de projets, jobs, pipelines et apps existants par plateforme, ainsi que des métriques sur les capacités de CPU et de RAM pour chacun des nœuds par plateforme.
Depuis la page Overview des pipelines, vous pouvez accéder aux graphes affichant les temps d’exécution et les consommations de ressources (CPU et RAM) pour chaque instance.
Ce focus additionnel sur le monitoring des ressources offrira aux data engineers et aux administrateurs de plateforme une vision complémentaire sur les clusters et les pipelines pour suivre les performances et optimiser l’usage des ressources de leurs plateformes.
Plus d’intelligence dans les conditions des pipelines
Vous avez désormais la possibilité de construire des pipelines plus efficaces grâce à de nouveaux types de conditions:
- Les conditions sur variables d’environnement
- Les conditions sur les statuts des jobs
Ces nouvelles conditions vous permettront de mettre en œuvre une intelligence avancée dans vos pipelines. En particulier, en complétant la modification des variables d’environnement déjà disponible depuis 2023.01, les conditions sur les variables d’environnement étendent la capacité d’exécuter des branches complexes dans un Pipeline en se basant sur la combinaison de valeurs de variables.
Pour plus d’information, consultez la documentation About Conditions in Pipelines.
Google Cloud Platform (GCP) Support
Notre plateforme Saagie DataOps est désormais disponible sur la Google Cloud Platform GCP.
Cette nouvelle version d’installation de Saagie est compatible avec Google Kubernetes Engine (GKE).
Mise à jour du catalogue des technologies Saagie
Les technologies suivantes ont été ajoutées au catalogue officiel de Saagie:
Nouvelle technologie de job “embarquées”:
- DBT 1.3, 1.4
- Python 3.11
- R 4.1, R 4.2
- Rstudio R 4.1 et R 4.2
- Ayrbite (qui fait son entrée dans notre catalogue
Pensez à maintenir à jour régulièrement le catalogue Saagie pour profiter des dernières versions des technologies.
Votre avis nous intéresse
Comme toujours, nous accordons une importance particulière à tous vos retours sur la solution que nous construisons. Restez à l’écoute des nouvelles fonctionnalités, mises à jour et améliorations. Partagez-nous vos remarques sur cette annonce. Vous pouvez également tester la plateforme gratuitement avec notre free trial !
Merci!
