f791befc06029d5ad03e9a35993a3693.png

Découvrez Atos

  • ESN, Editeurs de logiciel, Services informatiques

Data engineer - databricks (f/h)

  • ref: 545718
  • Data scientist et analyst
  • De 46000.0 à 50000.0 EUR par an
  • CDI
  • Montpellier
    ( 34 - Hérault )

Offre proposée par Atos, sur la plateforme Talents Handicap, pour l'emploi des personnes en situation de handicap (RQTH ou équivalent)

Le poste en quelques motsLes équipes Atos à Montpellier recherchent un Data Ingénieur - Databricks (F/H) pour intervenir sur un projet client phare au sein de nos locaux. Ce que vous allez faire si vous nous rejoignez Les Data Engineers interviendront sur la conception et l’industrialisation des flux de données dans un environnement Databricks.    Leurs responsabilités incluent :  ·       Développer des pipelines de données en PySpark (batch et potentiellement streaming).  ·       Implémenter des transformations complexes sur des données volumineuses  ·       Gérer l’ingestion multi-sources (fichiers, API, bases externes).  ·       Gérer les reprises sur incident et la résilience des pipelines  ·       Implémenter des contrôles qualité (complétude, cohérence, fraîcheur).  ·       Documenter les flux et structurer les bonnes pratiques  ·       Participer à l’amélioration continue des pratiques data.    Compétences techniques :  Expertise avancée Databricks (clusters, jobs, notebooks, Delta Lake).  Très bonne maîtrise de Python et PySpark.  Solide expérience en Data Engineering (ETL/ELT, pipelines distribués).  Maîtrise des architectures Lakehouse et Data Lake.  Expérience en optimisation de performances Spark.  Connaissance des outils d’orchestration (Airflow, Data Factory, Workflows).  Bonne compréhension des enjeux de gouvernance et qualité des données.  Expérience en exposition de données pour Power BI       De formation Bac+3 à Bac+5 en Informatique, vous justifiez impérativement d'une expérience professionnelle de minimum 4 / 5 ans sur un poste similaire. Vous possédez une forte expertise Databricks.  Expérience significative sur des projets data à forte volumétrie Maîtrise des architectures distribuées et du traitement de données massives.  Capacité à concevoir des pipelines robustes et industrialisés.  Sensibilité aux enjeux de performance, qualité et gouvernance.  Expérience en environnement cloud (Azure fortement recommandé).