Ingénieur(e) de plateforme de données (DevOps)

Job summary

Tecsys is seeking a Data Platform Engineer (DevOps) to develop and operate a cloud data platform that supports their analytics and AI products. The role involves managing infrastructure as code, data pipelines, and collaborating with various teams to ensure the reliability and scalability of the platform.

Qualifications

• Expérience pratique avec Databricks et Apache Spark.
• Solides compétences avec Terraform et expérience dans la gestion d’infrastructures infonuagiques sur AWS.
• Connaissance pratique de Kubernetes et Helm.
• Maîtrise de Python (PySpark) et/ou Java, ainsi que de solides compétences en SQL.
• Expérience avec les flux de travail basés sur Git et les pipelines CI/CD.
• Compréhension des concepts liés à la qualité des données, aux processus ETL/ELT.
• Expérience de travail dans des équipes Agile.
• Excellentes capacités d’analyse, de résolution de problèmes et de communication.

Responsibilities

• Provisionner et faire évoluer les comptes et espaces de travail AWS et Databricks à l’aide de Terraform dans plusieurs régions et environnements.
• Prendre en charge les charts Helm et les tâches Kubernetes utilisées pour intégrer de nouveaux environnements clients.
• Créer et maintenir des images Docker ainsi que les pipelines de compilation Java/Maven.
• Intégrer les processus de compilation, de tests et de déploiement dans les pipelines CI/CD.
• Gérer les secrets et les informations d’identification de manière sécurisée.
• Concevoir, développer et maintenir des tâches et pipelines Databricks.
• Développer et exploiter des pipelines de diffusion en continu en temps réel.
• Développer et faire évoluer les flux de données de bout en bout.
• Développer et maintenir des composants et frameworks de pipelines réutilisables.
• Optimiser les clusters et les entrepôts SQL Databricks.
• Collaborer avec les développeurs de la plateforme de données, les propriétaires de produits et les parties prenantes d’affaires.

Skills

Relocation