Find your next tech and IT Job or contract role.

Data Engineer Spark/Scala Paris o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Au sein de la DSI Finance de la DSI, le poste recherché porte sur le besoin d’un Data Engineer Spark/Scala confirmé (5-6 ans d’expérience). Objectifs et livrables Objectifs Le prestataire intégrera le projet d’intégration en coordination avec le chantier assiette comptable de référence en tant que Data Engineer. Les développements sur ce chantier s’appuient sur la plateforme Datalake Finance, basée sur la distribution Hadoop HortonWorks qui collecte les données des différents systèmes de synthèse afin de répondre aux nouveaux besoins de reporting Finances & Risques (COREP, calcul RWA, IFRS9, etc.…) Les tâches seront les suivantes : • la mission consistera à prendre part aux développements, au sein du datalake pour acquérir les nouvelles sources de données, les assemblées et les distribuées aux consommateurs, tout en étant garant de la pérennité et la non-régression de l’outillage déjà en place • Vous participerez à la conception et à l’implémentation de ce projet et serez amené, à ce titre, à travailler en méthode Agile avec de nombreux acteurs métiers et les équipes de maintenance Compétences techniques o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Compétences demandéesCompétences Niveau de compétence Apache Kafka Avancé Apache Hadoop Confirmé Apache Hive Avancé SCALA Confirmé Spark Confirmé

Contexte de la mission Au sein de la Direction Data (Direction du Numérique), intégration à l'équipe Bronze (PO, data steward, 2 data engineers) au cœur de la plateforme Data. Stack principale : Python, Spark, SQL (traitements), Airflow (orchestration), Cloud Storage & Delta Lake (stockage), services cloud (BigQuery, Dataproc, Pub/Sub, Cloud Storage), Terraform/Terragrunt (infra). Activités attendues Concevoir et maintenir des pipelines data robustes et scalables ; organiser et structurer le stockage. Mettre en place et maintenir des infrastructures scalables ; assurer sécurité et stabilité des environnements. Construire et maintenir les workflows CI/CD ; accompagner l'équipe sur l'exploitation et requêtage. Gouvernance et conformité (qualité, sécurité, conformité), documentation, veille et participation aux instances Data Ingénieurs.

En quelques mots Cherry Pick est à la recherche d'un "Data Engineer AWS" pour un client dans le secteur des transports Description 🎯 Contexte de la mission Au sein du domaine Data & IA , le client recherche un MLOps Engineer / Data Engineer confirmé pour intervenir sur l’ensemble du cycle de vie des solutions d’intelligence artificielle. L’objectif : industrialiser, fiabiliser et superviser la production des modèles IA dans un environnement cloud AWS à forte exigence technique et opérationnelle. Le poste s’inscrit dans une dynamique d’ industrialisation avancée et de collaboration étroite avec les Data Scientists , au sein d’une équipe d’experts en intelligence artificielle et data engineering. ⚙️ Rôle et responsabilités Le consultant interviendra sur les volets suivants : Industrialisation & CI/CD : Mise en place et maintenance de pipelines CI/CD avec GitLab, Docker, Terraform et Kubernetes . Infrastructure & automatisation : Gestion et optimisation des environnements AWS (S3, EMR, SageMaker, IAM, etc.) , mise en place de bonnes pratiques IaC. Data Engineering / Spark : Développement et optimisation de traitements Spark pour la préparation et la transformation de données à grande échelle. MLOps & Production : Déploiement, suivi et supervision des modèles IA via MLflow , et Datadog , gestion du monitoring et des performances. Collaboration transverse : Travail en binôme avec les Data Scientists pour fiabiliser le delivery, optimiser les modèles et fluidifier le passage en production. Amélioration continue & veille : Contribution à la montée en maturité technique, documentation, partage de bonnes pratiques et optimisation continue des pipelines.

Nous recherchons pour l’un de nos clients grands comptes un Tech Lead spécialisé Data Engineering afin de rejoindre une squad produit au sein d’un environnement moderne et exigeant. 🎯 Objectif de la mission Contribuer au delivery des produits data, piloter les choix techniques, encadrer les bonnes pratiques, et garantir la qualité logicielle au sein d’une équipe pluridisciplinaire (Data Engineers, Data Scientists, Software Engineers…). 🎤 Soft skills Leadership technique + accompagnement d’équipe Communication structurée et vulgarisation technique Rigueur, autonomie et sens du delivery Capacité à interagir avec de multiples parties prenantes

Dans le cadre d’un programme stratégique de modernisation de la plateforme data , notre client recherche un Data Engineer expérimenté (5 à 10 ans d’expérience) pour renforcer son pôle Data & Cloud Engineering. La mission s’inscrit dans un environnement à forte composante technologique, reposant sur une architecture cloud-first hébergée sur AWS , et visant à industrialiser, fiabiliser et automatiser les traitements de données à grande échelle. Le consultant interviendra sur la conception et l’optimisation des pipelines de données (Snowflake, DBT, Pandas), la gestion de l’infrastructure via Terraform , et la mise en place de processus de monitoring, sécurité et SLA . L’objectif principal est de garantir la performance, la qualité et la traçabilité des données tout en accompagnant la transformation digitale de l’entreprise dans un cadre agile et collaboratif .

Nous recherchons un(e) data engineer capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : • Participer à la conception et réalisation d'une solution Data depuis l'acquisition jusqu'à l'exploitation de la donnée en accompagnant la réflexion des directions métiers • Identifier, collecter et intégrer les données nécessaires à la résolution de problématiques métier et opérationnelles • Garantir la qualité des données en mettant en place les outils de mesure et de suivi adéquats en appliquant les règles de Data Gouvernance et de Data Management • Transcrire des besoins métier en règles de gestion data • Industrialiser le déploiement de vos réalisations à travers l'implémentation de tests unitaires, d'intégration et de non-régression Référence de l'offre : 0tm07z0lov

🏭 Secteurs stratégiques : Asset management 🗓 Démarrage : ASAP PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 💡 Contexte /Objectifs : Dans le cadre d'un projet au sein d'un client grand compte, nous sommes à la recherche d'un Data engineer avec une expertise sur la suite MSBI. Le profil recherché, Bac + 4/5 idéalement issu d’une école d’ingénieur, aura une expérience au minimum de 7/8 ans. Passionné par le développement, il aura la capacité de travailler en équipe et saura apporter une vraie valeur ajoutée par ses compétences techniques et humaines

Nous recherchons un(e) Data Engineer spécialisé(e) sur Google Cloud Platform (GCP) pour renforcer l'équipe Data de notre client Vous serez chargé(e) de concevoir, développer et maintenir des pipelines de données performants et fiables, afin de structurer et valoriser les données de l’entreprise. Votre rôle sera central dans la mise en place d’une infrastructure data moderne et évolutive, au service des équipes métiers, Data Science et BI. Concevoir, développer et maintenir des pipelines de données sur GCP (Dataflow, Dataproc, Cloud Composer, etc.) Mettre en place et administrer des data lakes et data warehouses (BigQuery, Cloud Storage) Intégrer des flux de données provenant de sources variées (API, streaming, batch) Participer à la modélisation et à la gouvernance des données Automatiser les déploiements et superviser les environnements (Terraform, CI/CD) Collaborer avec les équipes Data Science, BI et Produit Garantir la qualité, la sécurité et la conformité des données (RGPD, bonnes pratiques GCP)

Ton quotidien chez Komeet sera rythmé par : - Animation des ateliers afin d’étudier et cadrer les besoins clients. - Analyser, conseiller, et faire des recommandations de façon à améliorer l’efficience et l’efficacité de la solution Databricks chez ton client. - Préconisation, conception et mise en œuvre du LakeHouse Databricks - Rédaction de dossiers d’architecture et spécifications techniques - Mise en œuvre des stratégies d’exploitation de la plateforme Databricks - Mis en œuvre des flux d’intégration (en batch ou streaming) de données structurées/non structurées et volumineuses. - Tests, validation et documentation des développements - Réalisation d’audits et projets d’optimisation Nos choix technologiques : - Talend - DataBricks - Snowflake - DBT - Starburst - Tableau / Power BI / Looker - AWS, Azure et GCP

La tribu DATA (DAT) construit et développe des applications sur la base de puissantes plateformes DATA à des fins d’usages variés servant toutes les directions métier du groupe bancaire. Pour répondre à ces usages, DAT est au cœur de la stratégie data-centric du groupe bancaire, et intervient aussi bien au niveau de l’architecture Data, sur les dernières technologies data, Big Data, IA, Teradata, SAS, DMP, Oracle ainsi que sur les solutions analytiques et de datavisualisation. La mission consiste à assurer les fonctions suivantes au sein de la Squad Socles Data de la tribu DAT : Veiller au quotidien à la bonne marche des plateformes Data (Teradata et Big Data) Intervenir au quotidien, sous contraintes de délais, lors des incidents d’exploitation (analyse, diagnostic, résolution). Produire le relevé matinal des exécutions des traitements sur les plateformes « Entrepôt et Usages » et « Big Data ». Analyser les actions correctrices à lancer : – court terme (relance rapide) – moyen terme (consignes pour les pilotes de nuit) – long terme (correctifs d’ordonnancement ou de traitements) Créer les incidents selon le process interne (JIRA). Assurer une communication unique pour les deux environnements DATA Vulgariser la communication technico-fonctionnelle auprès des intervenants (équipes internes et métiers). Mettre en place et diffuser les indicateurs de performance et de délais. Mettre en place des états mensuels des incidents et contribuer aux reportings et comités. Analyser les indicateurs d’assurance qualité de données et communiquer auprès des acteurs concernés. Intégrer des méthodes d’amélioration continue Proposer des améliorations du chemin critique en tenant compte des applications sensibles. Maintenir en condition opérationnelle les moyens, dans le respect des normes et critères de performance. Développer des composants d’amélioration. Définir et mettre en place des outils de normalisation, d’automatisation et de sécurisation de la production. Contribuer à la conception de nouveaux projets et évolutions. Contribuer aux états réguliers de contrôle : habilitations, comptes, connexions… Participer aux projets d’optimisation et d’amélioration de la QDF (Qualité de Fonctionnement)

Au sein de la DSI, l'équipe Data (10 personnes) joue un rôle central dans la valorisation des données de l'entreprise. Vous rejoignez le pôle Solutions Data, pour contribuer à la mise en œuvre et à la maintenance du Système d'Information décisionnel. Vos missions sont les suivantes : Participer à la conception et au développement de projets data innovants Assurer le maintien en conditions opérationnelles (MCO) des bases, applications et flux de données existants Collaborer avec les équipes Métiers pour analyser et traduire les besoins fonctionnels en solutions techniques Contribuer à l'amélioration continue de la plateforme data (processus, outils, qualité des données) Documenter les développements et assurer un transfert de compétences auprès de l'équipe Data

Description du poste : Nous recherchons un Data Engineer autonome disposant d’au moins 5 ans d’expérience, capable de collecter, analyser et exploiter les données pour améliorer le pilotage des activités et identifier les leviers de création de valeur. Le consultant accompagnera également les équipes métier dans le développement, le déploiement et l’exploitation de solutions data afin d’atteindre leurs objectifs. Missions principales : – Collecter, préparer et structurer les données pertinentes pour les besoins des utilisateurs. – Construire et optimiser des pipelines ETL/ELT robustes et performants. – Analyser les données et produire des visualisations accessibles via les outils décisionnels. – Proposer des recommandations et lignes directrices pour créer de la valeur au sein des activités métier. – Accompagner l’optimisation des offres, services et processus grâce à l’analyse et l’évaluation des données. – Garantir la conformité aux règles d’éthique et de gouvernance du groupe. – Présenter les fonctionnalités des produits data et faciliter leur maintenance. – Réaliser des tests conformément à la stratégie définie. – Maintenir à jour le catalogue des produits data (datasets). – Fournir des kits de formation et des outils pour les utilisateurs. Résultats attendus : – Identification et sélection des données pertinentes pour les besoins opérationnels. – Optimisation du temps, des ressources et des outils dédiés à l’analyse de données. – Production de jeux de données et visualisations compréhensibles et accessibles. – Mise à disposition de recommandations métier génératrices de valeur. – Amélioration des processus, services et offres grâce aux analyses. – Application stricte des règles de gouvernance et d’éthique data. – Tests réalisés et conformes aux exigences. – Catalogue des datasets à jour. – Mise à disposition de supports et kits de formation pour les utilisateurs. Compétences requises en Data Engineering : – Modélisation de données : modèles relationnels, dimensionnels, Data Vault. – ETL / ELT : conception, optimisation et gestion des dépendances. – Gouvernance et qualité de données : data lineage, qualité, catalogage, gestion des métadonnées. – Architecture data : maîtrise des patterns modernes (Data Lakehouse, Data Mesh…). Langages : – SQL avancé – Python avancé – PySpark avancé Outils et technologies : – Dataiku – Power BI – Databricks – Azure Data Factory – Azure Logic Apps

Objectifs de la mission : Le Lab recherche un Ingénieur de Recherche DataOps capable de concevoir et enrichir une infrastructure de données permettant des études scientifiques sur la cognition des voyageurs. Enjeux et rôle du consultant - Traduire les besoins théoriques des chercheurs en pipelines de données robustes et architectures cloud performantes (AWS). - Garantir l’intégrité scientifique des traitements : gestion des biais statistiques, fiabilité des séries temporelles, reproductibilité. - Concevoir des environnements d’expérimentation Cloud fiables, orientés production de résultats scientifiques. - Documenter et structurer les travaux pour assurer leur pérennité. - Agir comme le bras technique du Lab dans un contexte de recherche. Environnement & contexte : R&D agile manipulant des volumes de données massifs et hétérogènes. Stack : AWS, Python (Scientific Stack), conteneurisation. Interaction clé avec l’IT Groupe pour favoriser le portage et l’exploitation des données dans d’autres projets. Livrables : Instrumentation des données pour la recherche (Scientific Data Engineering) Architecture Cloud pour l'expérimentation (Scientific Ops) Formalisation technique et Support à la valorisation Obligatoire : Thèse de doctorat (Data, ML ou Mathématiques Appliquées) garantissant sa capacité à dialoguer avec des chercheurs, couplée à une expérience opérationnelle forte en Ingénierie logicielle/Cloud. Expériences entre 7 et 9 années.

CONTEXTE : Experience : 7 ans et plus Métiers Fonctions : Data Management, Software engineer Spécialités technologiques : Data Compétences Technologies et Outils AWS Spark Airflow Snowflake Secteurs d'activités Services Informatiques Conseil en organisation, stratégie MISSIONS Rattaché(e) au périmètre du Responsable Data Platform, vos missions consisteront à : - Développer des pipelines et ETL sur AWS vers Snowflake - Mettre en place des stockage optimisé grâce aux technologies lakehouse et en particulier DeltaLake - Créer des jobs manipulant la donnée avec SQL et Python (pandas et ou Polars) - Réaliser les traitements de volume de données massives avec PySpark - Développer et maintenir des infrastructures avec de l’IaC et en particulier avec Terraform - Orchestrer les différents traitements via Airflow - Déployer et maintenir des applications via la CI/CD - Participer aux réflexions et au design d’architecture - Bonne capacité de vulgarisation et de communication - Participer aux rituels agiles de l’équipe - Contribuer à la documentation technique et fonctionnelle 5 à 10 ans en tant que Data Engineer, avec une expérience significative sur AWS. Un positionnement en tant que techlead serait un plus. De l’expérience dans un contexte BI serait un plus. Un positionnement ou une expérience en tant que DevOps serait un plus. Expertise souhaitée Python, PySpark, AWS (EMR, S3, Lambda), Airflow, SQL, Snowflake, Terraform, Databricks, Gitlab.

Cherry Pick est à la recherche d'un Data Engineer Python AWS pour l'un de ses clients dans le secteur de l'énergie. Missions : Le Data Engineer sera responsable de la conception, du développement et de la mise en production de l'architecture de données. Il devra notamment :  Collecter les exigences des métiers et des utilisateurs  Concevoir l'architecture de données  Concevoir les pipelines de données  Mettre en production l'architecture  Assurer la maintenance et l'évolution de l'architecture Le Data Engineer travaillera en étroite collaboration avec : Les Product Owners Les Data Analysts Les équipes métiers (marketing, trading, exploitation, supply chain…) Les équipes DataOps / MLOps

Our client is looking for a couple of Data Engineers for one of their teams on a six month initial contract, working hybrid out of their site in Telford twice a week. This role requires an active SC clearance and will be working via umbrella company. We have demand for an experienced developer to join our team working in the data engineering space. Our development team work on data management and ETL project deliveries and require an additional developer with experience and expertise in data driven projects and ETL based solutions. This developer role will be primarily working on Talend and Oracle RDS systems, within our existing Talend framework and patterns. Experience of working with the Talend ETL tool is required as a minimum, as well as experience working in Oracle RDS databases. Experience of developing CI/CD deployment pipelines, job schedule tooling, and SQL will also be beneficial. Experience of ETL tooling will be needed, preferably Talend but Pentaho/Informatica experience will be transferable. Due to the nature and urgency of this post, candidates holding or who have held high level security clearance in the past are most welcome to apply. Please note successful applicants will be required to be security cleared prior to appointment which can take up to a minimum 10 weeks. LA International is a HMG approved ICT Recruitment and Project Solutions Consultancy, operating globally from the largest single site in the UK as an IT Consultancy or as an Employment Business & Agency depending upon the precise nature of the work, for security cleared jobs or non-clearance vacancies, LA International welcome applications from all sections of the community and from people with diverse experience and backgrounds. Award Winning LA International, winner of the Recruiter Awards for Excellence, Best IT Recruitment Company, Best Public Sector Recruitment Company and overall Gold Award winner, has now secured the most prestigious business award that any business can receive, The Queens Award for Enterprise: International Trade, for the second consecutive period.