Développeur Data - IA H/F - Exiptel

Le besoinPour une mission longue pour un grand groupe, nous recherchons plusieurs développeur DataGestion JSON - traitement des json complexes avec multiples imbrications variablesGestion de format Delta (similaire JSON) sous DatabricksPython / SQL / Databricks / Spark- Développement et déploiement de Jobs Spark (PySpark et Scala) en CI/CD sur Azure Databricks- Optimisation des chaines de traitements Big Data en termes de temps d'exécution et de couts des machines virtuelles (Cloud Azure)- Migration de l'architecture des données vers une architecture médaillon (Bronze, Silver, Gold)- Création de jobs de mise en qualité de la donnée (couche silver) : nettoyage, dédoublonnage, masquage de la donnée- Migration code contenu dans JARs (Spark Scala) vers code en PySpark sur notebooks, compatible avec Unity Catalog- Automatisation des déploiements et des livrables (Gitlab-Ci, Ansible, Jenkins)- Migration de l'écosystème Databricks existant vers Unity Catalog- Migration de parquet et orc à delta- Passage progressivement à une lecture de table au lieu d'une lecture directe des fichiers du datalake- Création d'une couche « silver » servant de couche de mise en qualité des données « bronze » avantconsommation dans des tables gold à valeur métier- Orchestration de jobs Spark sur Databricks Workflows- Modélisation et conception de nouvelles chaines de traitement, en collaboration avec les équipes métier (architecturedata)- Refactoring global de l'application et augmentation de la couverture de test du code (de 30% à 90%)- Revues de code et mise en place de contrôles techniques et automatisés de la qualité de la donnée (via NotebooksDatabricks)

Profil recherché3 - 10 ans d'experienceTechnologies : Azure Databricks, Spark (Scala et PySpark), Jenkins, Airflow, Ecosysteme Databricks (Databricks Workflows, DeltaLake), Azure (Azure Data Factory, AKV, Adls, BlobStorage), GitLab CI, SQL, Terraform

• Python
• JSON
• Terraform
• Jenkins
• Git
• Ansible
• Unity
• Scala
• SQL
• Préparation des surfaces