Data engineer AWS Python Apache Iceberg H/F

Boulogne-Billancourt (92) Publiée il y a 9 jours
IntérimDébutant accepté
  • LieuBoulogne-Billancourt (92100)
  • ContratIntérim - 1 Mois
  • ExpérienceDébutant accepté
  • SecteurActivités des agences de placement de main-d'œuvre

Description du poste

Missions principales 1. Conception et développement de pipelines de données Concevoir, développer et maintenir des pipelines ETL/ELT pour collecter, transformer et charger des données massives (batch et streaming). Utiliser Apache Kafka pour la gestion des flux de données en temps réel. Implémenter des solutions de stockage optimisé avec Apache Iceberg (tables ACID, time travel, partitionnement). Automatiser les processus de traitement de données à grande échelle. 2. Intégration et optimisation des données Travailler avec des formats de données JSON (parsing, validation, transformation). Optimiser les performances des pipelines (vitesse, scalabilité, fiabilité) sur AWS (Glue, Lambda, EMR, Kinesis). Mettre en place des mécanismes de qualité des données (data validation, monitoring, alerting). Intégrer des sources de données hétérogènes (APIs, bases de données, fichiers). 3. Collaboration et industrialisation Collaborer avec les équipes DevOps pour déployer et maintenir les solutions data en environnement cloud (AWS). Participer à la mise en place de tests et de validations pour garantir la qualité des données. Documenter les processus, les architectures et les bonnes pratiques. Assurer la sécurité des données (chiffrement, IAM, conformité RGPD). 4. Veille technologique et innovation Suivre les avancées technologiques en Data Engineering (ex : évolutions d'Apache Iceberg, nouvelles fonctionnalités AWS). Proposer des solutions innovantes pour améliorer les processus existants (ex : optimisation des coûts, réduction de la latence). Participer à des ateliers ou formations pour monter en compétences. Missions internes (expertise & contribution) Contribuer à la veille technologique et au benchmark des outils et méthodologies. Participer à l'amélioration des méthodologies internes (ex : templates de pipelines, bonnes pratiques AWS). Accompagner et coacher des consultants juniors sur les technologies Python, Kafka, Iceberg. Soutenir les équipes commerciales en amont des réponses aux appels d'offres.

Postuler à cette offre

Offre n° 8641203 diffusée par France Travail pour le compte de DIRECTEMPLOI, publiée le 7/11/2026 et mise à jour le 14/11/2026. Données réutilisées conformément à la licence de l'API Offres d'emploi de France Travail.