DESCRIPTION :
Intégré(e) à l'équipe Data & IA, vous contribuerez aux projets de création et d'industrialisation de pipeline de traitement de la donnée depuis les systèmes source (IOT, base de données internes, etc…) vers les zones bronze, silver et gold du data lake. A cet effet, vous serez chargé de :
· Concevoir et construire des processus ETL/ELT pour l'ingestion et le traitement de grands ensembles de données en utilisant Azure Data Factory, Databricks, Synapse et d'autres services Azure comme eventhub.et ADX.
· Gérer, surveiller et optimiser les solutions de stockage de données telles que Azure SQL Database, Azure Synapse Analytics et Azure Data Lake Storage.
· Créer et maintenir des modèles de données évolutifs qui prennent en charge les besoins en matière d'analyse et d'apprentissage automatique.
· Intégrer diverses sources et formats de données, en assurant la qualité et la cohérence des données pour obtenir des informations commerciales fiables.
· Mettre en œuvre les meilleures pratiques en matière de sécurité et de conformité des données, y compris le cryptage des données, la gestion des identités et la gouvernance des données dans Azure.
· Optimiser les pipelines de données et les solutions de stockage pour obtenir des performances élevées et une bonne rentabilité.
· Travailler en étroite collaboration avec des équipes interfonctionnelles, notamment des data scientists, des architectes et des développeurs, afin de comprendre et de satisfaire les exigences en matière de données.
· Maintenir une documentation complète des architectures de données, des flux de données et des configurations de pipeline pour la transparence et le partage des connaissances.
· Utiliser des outils qui renforcent les pratiques DevOps : Git et Azure DevOps pour le versionnage, le contrôle des sources et le déploiement.
L'environnement de développement sera le cloud Azure avec la plateforme interne CoDAI
Code d'emploi : Ingénieur Data (h/f)
Domaine professionnel actuel : Développeurs Système et Analystes
Niveau de formation : Bac+5
Temps partiel / Temps plein : Plein temps
Type de contrat : Contrat à durée indéterminée (CDI)
Compétences : Intelligence Artificielle, Amazon Web Services, Microsoft Azure, Cloud Computing, Bases de Données, Intégration Continue, Architecture de Données, Gouvernance des Données, ETL, Transformation des Données, Entreposage de Données, DevOps, Github, Gestion des Identités, Python (Langage de Programmation), SQL Azure, Ansible, Azure Data Lake, Structured Query Language (SQL), Flux de Données, Virtualisation, Traitement des Données, Technologies de Stockage de Données, Azure Data Factory, Apache Spark, Git, Data Lakes, Technologies Informatiques, Apache Kafka, Terraform, KSVUEHRMN6LFAZT4OVWP, Docker, Databricks, Curiosité, Écoute Active, Modélisation des Données, Qualité des Données, Mathématiques, Etudes et Statistiques, Inventaire et Contrôle du Stock, Gardiennage, Science des Données
Courriel :
com-fi@suez-env.com
Téléphone :
0139761995
Type d'annonceur : Employeur direct