Data Engineer Databricks Senior

️ Data Engineer Databricks Senior Localisation : Clamart - 2 jours de télétravail par semaine Contrat : Freelance ou portage salarial Rémunération : 500€ - 650€ TJM selon expérience et compétences

• ️ate de démarrage : ASAP ou selon disponibilité (préavis)
• b>Contexte :

Dans le cadre du développement de son activité Data & IA, une entreprise spécialisée dans la conception et la réalisation de solutions numériques renforce son équipe Data avec un.e Data Engineer Databricks Senior. Vous rejoindrez une équipe d'experts intervenant sur des projets de conception et d'industrialisation de plateformes Lakehouse modernes, avec des enjeux autour de la valorisation de la donnée, de l'analytique avancée et de l'intelligence artificielle. Vous participerez à la conception, au développement et à l'industrialisation de plateformes Data modernes dans un environnement Databricks, au service de projets analytiques, Data Science et IA. Missions & périmètre d'intervention : Le Data Engineer intervient sur l'ensemble du cycle de vie des plateformes de données, de leur conception jusqu'à leur industrialisation. Conception & développement de plateformes Lakehouse :

• Concevoir et développer des plateformes Lakehouse basées sur Databricks.
• Structurer les données selon une architecture Medallion (Bronze / Silver / Gold) sur Delta Lake.
• Développer des traitements batch et streaming avec PySpark et Spark SQL.
• Concevoir et maintenir les pipelines d'ingestion de données à partir de sources hétérogènes.
• Mettre en œuvre les transformations de données avec dbt.
• Participer aux choix d'architecture afin de garantir des plateformes performantes, évolutives et adaptées aux besoins métiers.
• Modéliser les données selon les approches Kimball, avec des connaissances Data Vault 2.0.

Industrialisation & optimisation :

• Orchestrer les traitements avec Databricks Workflows ou Airflow.
• Automatiser les déploiements via des pratiques CI/CD, Infrastructure as Code et DataOps.
• Optimiser les performances des traitements Spark ainsi que les coûts des plateformes cloud.
• Participer à l'industrialisation des workflows Data et aux pratiques MLOps.

Accompagnement des projets :

• Participer aux ateliers de cadrage avec les équipes métiers, Data et Data Science.
• Préparer les données pour des cas d'usage analytiques, Machine Learning et IA générative.
• Accompagner les équipes clientes sur les bonnes pratiques de développement et d'exploitation des plateformes Data.
• Collaborer avec des équipes pluridisciplinaires en méthodologie Agile.
• Minimum 5 années d'expérience post-diplôme en Data Engineering.
• Bac+5 en informatique, école d'ingénieur ou université.
• Expérience significative sur Databricks et Apache Spark dans des environnements de production.
• Maîtrise de Delta Lake et de l'architecture Lakehouse.
• Solide expérience en développement PySpark et Spark SQL.
• Bonne maîtrise de Python, SQL et des outils de transformation (dbt).
• Expérience avec les outils d'orchestration (Databricks Workflows, Airflow) et les architectures temps réel (Kafka).
• Connaissances des pratiques CI/CD, Git, Terraform, DataOps et des concepts MLOps (MLflow).

Intéressé.e ? Postulez dès maintenant ! Tous nos postes sont ouverts aux personnes en situation de handicap.