Data Platform Engineer

Job summary

Ce rôle consiste à construire et fiabiliser des pipelines de données de production afin que les équipes produit disposent de données fiables. Il couvre la migration vers Databricks, Delta Lake et dbt, la gouvernance des données avec Unity Catalog, ainsi que la CI/CD, l’observabilité et l’optimisation des coûts et des performances. Le poste contribue aussi à définir des contrats de données, des SLO et des pratiques communes avec des équipes interfonctionnelles.

Qualifications

• 5 à 8 ans d’expérience en Data Engineering ou DataOps avec livraison en production.
• Maîtrise de SQL et Spark, et expérience pratique de Databricks Jobs/Workflows et Delta.
• Expérience de l’optimisation des coûts et des performances, notamment l’autoscaling et le tuning.
• Expérience de dbt ou d’autres outils de tests de données appréciée.
• Bonne compréhension de la gouvernance des données avec Unity Catalog, notamment RBAC, lignage et données personnelles.
• Pratique de la CI/CD et de l’observabilité, incluant tests automatisés, métriques, alertes et runbooks ; Datadog apprécié.
• Connaissance des conteneurs, du streaming et des orchestrateurs tels que Docker, Kubernetes, Kafka, Event Hubs, Airflow, Prefect ou Dagster appréciée.
• Expérience en analyse de données dans le retail appréciée.
• Esprit d’équipe et excellentes compétences en communication pour collaborer avec des équipes interfonctionnelles.

Responsibilities

• Évaluer les flux de données existants et définir des architectures cibles avec Delta Lake, Databricks Jobs/Workflows et dbt.
• Migrer et réécrire les pipelines avec Kubernetes, Airflow, Spark et SQL, en intégrant tests, conventions de nommage et documentation.
• Gérer les catalogues, schémas, accès, lignage et masquage des données dans Unity Catalog.
• Mettre en œuvre des systèmes d’ingestion et de traitement robustes et tolérants aux pannes.
• Renforcer la CI/CD des données avec des tests, du linting et des vérifications de schéma.
• Déployer l’observabilité, les métriques, les alertes et les runbooks afin de suivre la qualité, la fraîcheur et les incidents.
• Définir et suivre les contrats de données et les SLO avec les équipes consommatrices.
• Optimiser les tâches et tables Delta, et surveiller les coûts et les performances des pipelines.
• Collaborer avec les équipes de données, d’infrastructure, de logiciel, de produit et de conseil pour fournir des solutions adaptées.
• Créer des modèles et des pratiques standardisés, tenir la documentation à jour et former les équipes à l’interrogation SQL dans Databricks.

Skills

Industry

Relocation