Find your next tech and IT Job or contract Data Engineering

383 results
Contractor

Contractor jobData engineer (H/F) 69

Mindquest
Published on
Apache Airflow
Dataiku
DevOps

6 months
Lyon, Auvergne-Rhône-Alpes
Contexte L'équipe ODA (Operational Data & Analytics) fait de la donnée un levier de pilotage opérationnel réel pour mon client. Elle couvre à la fois la qualité de la donnée (CMDB, référentiels), l'analytics ITSM, et l'outillage data au service des équipes opérationnelles. L'équipe est en pleine transformation technique : nous développons et déployons des applications internes destinées à la production, et nous avons besoin de renforcer notre capacité d'architecture et de déploiement, tout en gardant un lien fort avec les besoins métier ITSM. Ce poste convient à un profil technique confirmé, capable de peser sur des choix d'architecture data et système, tout en restant à l'aise pour dialoguer avec des parties prenantes métier et comprendre rapidement un besoin d'analyse. Mission Architecture & Déploiement • Être le binôme technique de notre tech lead : contribuer aux choix d'architecture data et système, et en assumer la responsabilité en son absence • Déployer et industrialiser des applications internes destinées à la production, en autonomie sur nos outils de déploiement internes • Garantir la fiabilité et la maintenabilité des pipelines et applications développés par l'équipe Data Engineering • Construire et maintenir des workflows de données (Dataiku, Airflow ou équivalent) • Contribuer à des projets de données à enjeu métier, notamment la refonte d'un algorithme de priorisation des incidents basé sur le revenu, actuellement en phase de choix d'architecture • Évaluer, cadrer et implémenter de nouvelles intégrations de sources de données Analyse & Réactivité métier • Répondre rapidement à des besoins d'analyse ad-hoc sur des données incidents, changes et autres datasets ITSM, en s'appuyant sur les outils d'IA générative pour accélérer la production de requêtes et de résultats, et en challengeant leurs résultats • Monter en compétence sur les concepts et processus ITSM (incidents, problems, changes, requests, event management) au fil des projets Outillage IA • Utiliser les outils d'IA générative pour accélérer les livrables : vibe-coding d'applications internes, génération de requêtes, documentation • Relire, challenger et corriger les productions de l'IA plutôt que de les valider sans recul • Être force de proposition sur l'intégration de l'IA dans les pratiques de l'équipe
View this job
Contractor

Contractor jobTech Lead Data Engineering (Apache Flink & Kafka) - >10 ans - 2066

ISUPPLIER
Published on

10 months
Courbevoie, Ile-de-France
Contexte : Dans le cadre du développement et de l'évolution de la Group Data Platform, nous recherchons un Tech Lead Data Engineering spécialisé dans les architectures temps réel, disposant d'au moins 10 ans d'expérience. Le consultant interviendra au sein de l'équipe Group Data Delivery afin de concevoir, développer et opérer des produits de données temps réel, depuis l'ingestion et le traitement des flux jusqu'à leur exposition via des API à destination de consommateurs internes et externes. Il devra apporter une expertise technique avancée sur Apache Flink, Apache Kafka, les architectures événementielles, les microservices et les technologies AWS, tout en assurant le leadership technique, la qualité des développements et la fiabilité des solutions mises en production. Missions principales Concevoir et développer des produits de données temps réel de bout en bout à l'aide d'Apache Flink, Apache Kafka et des architectures événementielles. Construire et maintenir des pipelines de données résilients pour l'ingestion, le traitement, la transformation et la distribution des données en temps réel et en batch. Concevoir et développer des API REST, des interfaces OpenAPI, des microservices et des interfaces de streaming. Déployer et exploiter des solutions sur AWS, notamment avec MSK, Kinesis, Managed Service for Apache Flink, Lambda, API Gateway, ECS, EKS, S3 et IAM. Mettre en place des contrôles de qualité des données, des modèles de données, des mécanismes de validation et une gouvernance des schémas. Définir et industrialiser les pipelines CI/CD avec GitLab CI, GitHub Actions ou des outils équivalents. Garantir l'observabilité des solutions grâce à CloudWatch, OpenTelemetry, Prometheus, Grafana, aux logs structurés, aux métriques et au tracing. Assurer le maintien en conditions opérationnelles des services : supervision, gestion des incidents, analyse des causes racines et optimisation des performances. Veiller au respect des SLA et à la disponibilité, la sécurité et la fiabilité des services en production. Appliquer les bonnes pratiques de sécurité : OAuth2/OIDC, chiffrement des données, gestion des secrets, contrôle réseau et principe du moindre privilège. Rédiger la documentation technique : dossiers d'architecture, spécifications API, procédures d'exploitation et documentation de déploiement. Piloter les choix techniques, animer les échanges d'architecture et réaliser les revues de code et de conception. Définir et promouvoir les standards d'ingénierie, accompagner les développeurs moins expérimentés et assurer le transfert de connaissances. Garantir la livraison de produits de données robustes, évolutifs, sécurisés et prêts pour la production. Expertise technique : Apache Flink et PyFlink. Apache Kafka et Amazon MSK. Architectures événementielles (Event-Driven Architecture). Data Engineering et systèmes temps réel. Architecture microservices. Conception et développement d'API REST et OpenAPI. Java, Python, Scala et SQL. Modélisation des données et gestion des schémas (Avro, Schema Registry). Amazon Web Services (AWS) : Lambda, Kinesis, Managed Flink, ECS, EKS, S3, API Gateway et IAM. DevOps, qualité et exploitation : Mise en place de pipelines CI/CD (GitLab CI, GitHub Actions). Tests automatisés et contrôle de la qualité des développements. Observabilité : CloudWatch, OpenTelemetry, Prometheus et Grafana. Gestion des SLA et support de production. Sécurisation des applications et des flux de données : OAuth2/OIDC, chiffrement et gestion des accès selon le principe du moindre privilège. Leadership et compétences transverses : Leadership technique et conception d'architectures. Revues de code et définition des standards d'ingénierie. Capacité à résoudre des problématiques techniques complexes. Mentorat et accompagnement des équipes. Communication avec les parties prenantes techniques et métiers. Excellente maîtrise de l'anglais, niveau bilingue.
View this job
Permanent

Job VacancyData Engineer Python - Dask - Polars H/F

█ █ █ ██ █ █
Published on
CSV
Docker
GDPR

Paris, France

Imported from

Job from the tech market, identified automatically to give you a complete view of the opportunities.

Restricted access to the community

Join our platform to access the details of this job and get access to the best offers on the market.

View this job
Permanent

Job VacancyData engineer Python/dask/polars F/H

█ █ █ ██ █ █
Published on
CSV
Docker
JSON

Imported from

Job from the tech market, identified automatically to give you a complete view of the opportunities.

Restricted access to the community

Join our platform to access the details of this job and get access to the best offers on the market.

View this job
Contractor
Permanent

Job VacancyData Engineer Senior / Expert – AWS / Spark / Iceberg / dbt (H/F)

ASAP TECHNOLOGIES
Published on
Apache Spark
AWS Glue
DBT

1 year
55k-61k €
450-520 €
Saint-Denis, Ile-de-France
Contexte de la mission :Dans le cadre du renforcement de l'équipe Marketing Data, au sein d'un pôle Data Fabric, nous recherchons un Data Engineer Senior / Expert pour accompagner l'un de nos clients grands comptes dans la conception, l'industrialisation et l'exploitation de solutions Data. Vous évoluerez dans un environnement Lakehouse AWS, avec des enjeux forts autour de la performance, de la qualité des données, de la fiabilité des traitements et de leur maintien en conditions opérationnelles. Nous recherchons un profil technique, autonome et expérimenté, capable d'intervenir sur l'ensemble du cycle de vie des pipelines Data, de leur conception jusqu'à leur exploitation en production. Vos missions :Concevoir, développer, optimiser et industrialiser des pipelines de données. Développer des traitements Big Data avec Spark/PySpark, Python, SQL et dbt. Exploiter des données au format Apache Iceberg dans une architecture Lakehouse / Medallion. Concevoir et orchestrer des workflows avec Airflow. Déployer et maintenir les traitements sur AWS (S3, Glue, EMR). Contribuer à l'automatisation des infrastructures avec Terraform. Mettre en place des tests automatisés, des contrôles de Data Quality et des mécanismes d'observabilité. Participer au RUN, à l'analyse des incidents et à la résolution des problèmes de production. Contribuer à la documentation technique et fonctionnelle, au Data Lineage, aux Data Contracts et au Data Catalog. Collaborer avec les Product Owners et les équipes métier pour traduire les besoins Marketing en solutions Data robustes et maintenables.
View this job
Permanent
Contractor

Job VacancyData Engineer Référent (H/F)

Signe +
Published on

24 months
35k-40k €
250-400 €
Clermont-Ferrand, Auvergne-Rhône-Alpes
Nous recherchons un Data Engineer Référent pour rejoindre les équipes Data d'un grand groupe industriel leader du secteur automobile. Vous serez responsable de la conception, du développement et de la maintenance des architectures d'intégration de données, en soutien direct aux équipes d'Analytics et de Research & Development dans un environnement agile structuré à l'échelle (SAFe). En tant que référent technique, vous piloterez la transformation des données brutes en données exploitables pour les produits numériques d'innovation et serez le point d'appui des Data Engineers du domaine pour l'adoption des meilleures pratiques de développement. Votre rôle combine développement avancé, mentorat technique et maintien de standards élevés au sein de l'équipe. L'environnement technique repose sur une stack moderne combinant Python, Talend et Java Spring Boot pour les traitements ETL, avec une intégration continue stricte et une gouvernance des données centralisée. Vous évoluerez dans une organisation matricielle en collaboration étroite avec les équipes métier (feature teams) et le Tech Lead du domaine, dans un contexte de transformation digitale en R&D. Responsabilités : - Concevoir et développer les traitements d'intégration et de transformation de données en Python et Talend, ainsi qu'en Java Spring Boot selon les besoins - Assurer la modélisation des données, l'optimisation des flux ETL et le respect des normes de qualité et de sécurité des données - Piloter l'intégration des développements dans les chaînes CI/CD, de l'automatisation des tests à la mise en production - Définir et valider les plans de tests, conduire les tests unitaires automatisés et les tests de qualification fonctionnelle - Rédiger et maintenir la documentation technique (architecture, API, processus) et fonctionnelle pour garantir la traçabilité et le transfert de connaissance - Encadrer et accompagner les Data Engineers du domaine dans l'adoption des nouvelles pratiques, méthodologies et outils - Assurer le support de niveau 3 sur les traitements d'alimentation du lac de données et résoudre les incidents critiques - Collaborer activement en environnement agile (SAFe/Scrum), en étroite coordination avec les feature teams et les parties prenantes métier - Participer à l'amélioration continue des processus, de l'architecture et des standards au sein de l'équipe Data Télétravail : 3 jours par semaine minimum sur site Localisation : Clermont-Ferrand
View this job
Contractor

Contractor jobExpert Data Engineer - Datalake

STHREE SAS
Published on

8 months
Courbevoie, Ile-de-France
Dans le cadre d'un projet stratégique au sein d'un grand environnement bancaire, nous recherchons un Data Engineer / Data Lake Developer expérimenté pour renforcer une équipe IT Data et accompagner le déploiement d'une nouvelle plateforme Databricks. Le consultant interviendra sur la conception, le développement et l'industrialisation des composants nécessaires à l'alimentation et à l'exploitation du Data Lake, au sein d'un environnement Agile et international. MissionsConcevoir et développer des pipelines d'ingestion et de transformation de données robustes et scalables, en batch et temps réel. Développer et maintenir les flux ETL Talend alimentant le Data Lake et les systèmes consommateurs. Développer des traitements Python / PySpark sur Databricks. Mettre en œuvre et optimiser les modèles de données cibles. Automatiser les transformations, la documentation et les tests avec dbt. Développer et configurer des flux CDC (Change Data Capture). Mettre en place les bonnes pratiques de Data Quality, monitoring, alerting et logging. Développer des composants réutilisables : templates de pipelines, librairies partagées et frameworks CI/CD. Réaliser les développements et tests associés. Participer aux mises en production et à l'industrialisation des solutions. Compétences techniques recherchéesForte expertise sur Talend ETL : développement, debugging et industrialisation. Bonne maîtrise de Python et PySpark. Expérience significative sur Databricks : Jobs, Workflows, Delta Lake, Notebooks et optimisation. Excellente maîtrise de SQL, notamment sur les requêtes complexes et l'optimisation des performances. Expérience pratique de dbt pour la transformation et la modélisation des données. Bonne connaissance des problématiques CDC / Change Data Capture. Une expérience sur Qlik Replicate / Attunity est fortement appréciée. Connaissance de Kafka appréciée. Connaissances en Java. Expérience DevOps : Git, CI/CD, automatisation des tests et des déploiements. Utilisation d'outils d'IA générative pour accélérer les développements Python, PySpark et SQL, le refactoring et les tests. Profil recherchéVous justifiez d'au moins 3 ans d'expérience en Data Engineering / Data Lake. Vous êtes autonome, rigoureux, proactif et disposez de solides capacités d'analyse. Vous êtes également à l'aise dans des environnements exigeants et possédez un bon relationnel client. Anglais courant obligatoire.
View this job
Contractor

Contractor jobData Engineer GCP

VISIAN
Published on
Google Cloud Platform (GCP)

1 year
340-680 €
Paris, France
Dans le cadre du développement et de l'industrialisation des plateformes de données, le Data Engineer intervient sur la conception, le développement et l'exploitation de chaînes de traitement de données dans un environnement Cloud GCP. Ses principales missions sont les suivantes : Collecte et traitement des donnéesRécupérer et intégrer des données provenant de différentes sources externes. Exploiter les capacités d'un Datalake pour le stockage et le traitement des données. Mettre en œuvre des traitements permettant de produire automatiquement des agrégats journaliers, hebdomadaires et mensuels. Concevoir et maintenir les chaînes : d'ingestion des données ; de validation et de contrôle de la qualité des données ; de croisement et d'enrichissement des données ; de déversement des données enrichies dans le Datalake. Développement et industrialisationDévelopper les solutions dans le respect des règles et principes d'architecture définis. Concevoir et documenter les user stories en collaboration avec le Product Owner et les chefs de projet. Développer les scripts nécessaires au déploiement des solutions. Participer à la mise en œuvre et à l'amélioration de la chaîne de Continuous Delivery. Automatiser les tests fonctionnels afin de garantir la qualité et la fiabilité des traitements. Assurer la maintenance corrective et évolutive des développements. Support et amélioration continueAnalyser et prioriser les corrections d'anomalies. Assurer le suivi des incidents liés aux traitements de données. Accompagner et assister les équipes d'exploitation. Contribuer à l'amélioration continue des processus, outils et pratiques de développement. Assurer une veille sur les évolutions technologiques liées aux environnements et frameworks utilisés.
View this job
Contractor

Contractor jobDV Data Engineering Lead - London

LA International Computer Consultants Ltd
Published on

12 months
£600-650
United Kingdom
Data Engineering Lead 4 days onsite in London 6 Months initial contract Key Responsibilities: Data engineering and product delivery -Design, build and deliver new data products in response to operational needs -Develop, maintain and improve data pipelines. -Use predominantly open-source technologies to create practical data solutions. -Build solutions from the ground up within short and potentially changing delivery timescales. -Contribute to data cataloguing and the effective organisation of data assets. -Adapt designs and engineering priorities when operational requirements change. Platforms and engineering practices -Contribute to the platform and infrastructure supporting data products. -Work in Linux or Unix environments. -Apply continuous integration and continuous delivery practices. -Use containerisation and orchestration technologies when developing and deploying solutions. -Support engineering within an Azure Stack Hub environment. -Evaluate or work with emerging technologies where relevant, including pipeline orchestration and graph database tools. Essential -Python -Open-source data engineering technologies -Data pipeline development -Linux or Unix -Continuous integration and continuous delivery -Containerisation -Kubernetes Preferred -Apache Airflow -OpenSearch -Azure -Azure Stack Hub -Apache Kafka -Data cataloguing tools and practices -Apache NiFi -Graph databases Due to the nature and urgency of this post, candidates holding or who have held high level security clearance in the past are most welcome to apply. Please note successful applicants will be required to be security cleared prior to appointment which can take a minimum 18 weeks. LA International is an award-winning partner of choice for many of the world's most influential companies and government organisations. Holding Enhanced Government Security Accreditation, we are recognised as the European market leader in the delivery of Security Cleared talent to organisations that demand the very highest levels of security, compliance and assurance. An award-winning organisation, having secured the prestigious Queens Award for Enterprise: International Trade over multiple years. We are committed to fostering an inclusive, equitable and accessible workplace where everyone feels valued and supported. We welcome applications from all individuals, regardless of background or identity, and we encourage candidates who may not meet every listed requirement to still apply. If you require any adjustments or support during the recruitment process, please let us know and we will work with you to ensure a fair and accessible experience. Please Note: If a high volume of applications is received, only candidates shortlisted will be contacted.
View this job

Connecting Tech-Talent

Free-Work, THE platform for all IT professionals.

Free-workers
Resources
About
Recruiters area
2026 © Free-Work / AGSI SAS
Follow us