Find your next tech and IT Job or contract role.

Ton quotidien chez Komeet sera rythmé par : - Animation des ateliers afin d’étudier et cadrer les besoins clients. - Analyser, conseiller, et faire des recommandations de façon à améliorer l’efficience et l’efficacité de la solution Databricks chez ton client. - Préconisation, conception et mise en œuvre du LakeHouse Databricks - Rédaction de dossiers d’architecture et spécifications techniques - Mise en œuvre des stratégies d’exploitation de la plateforme Databricks - Mis en œuvre des flux d’intégration (en batch ou streaming) de données structurées/non structurées et volumineuses. - Tests, validation et documentation des développements - Réalisation d’audits et projets d’optimisation Nos choix technologiques : - Talend - DataBricks - Snowflake - DBT - Starburst - Tableau / Power BI / Looker - AWS, Azure et GCP

Nous recherchons pour l’un de nos clients grands comptes un Tech Lead spécialisé Data Engineering afin de rejoindre une squad produit au sein d’un environnement moderne et exigeant. 🎯 Objectif de la mission Contribuer au delivery des produits data, piloter les choix techniques, encadrer les bonnes pratiques, et garantir la qualité logicielle au sein d’une équipe pluridisciplinaire (Data Engineers, Data Scientists, Software Engineers…). 🎤 Soft skills Leadership technique + accompagnement d’équipe Communication structurée et vulgarisation technique Rigueur, autonomie et sens du delivery Capacité à interagir avec de multiples parties prenantes

Data Engineer Spark/Scala Paris o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Au sein de la DSI Finance de la DSI, le poste recherché porte sur le besoin d’un Data Engineer Spark/Scala confirmé (5-6 ans d’expérience). Objectifs et livrables Objectifs Le prestataire intégrera le projet d’intégration en coordination avec le chantier assiette comptable de référence en tant que Data Engineer. Les développements sur ce chantier s’appuient sur la plateforme Datalake Finance, basée sur la distribution Hadoop HortonWorks qui collecte les données des différents systèmes de synthèse afin de répondre aux nouveaux besoins de reporting Finances & Risques (COREP, calcul RWA, IFRS9, etc.…) Les tâches seront les suivantes : • la mission consistera à prendre part aux développements, au sein du datalake pour acquérir les nouvelles sources de données, les assemblées et les distribuées aux consommateurs, tout en étant garant de la pérennité et la non-régression de l’outillage déjà en place • Vous participerez à la conception et à l’implémentation de ce projet et serez amené, à ce titre, à travailler en méthode Agile avec de nombreux acteurs métiers et les équipes de maintenance Compétences techniques o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Compétences demandéesCompétences Niveau de compétence Apache Kafka Avancé Apache Hadoop Confirmé Apache Hive Avancé SCALA Confirmé Spark Confirmé

Dans le cadre d’un programme stratégique de modernisation de la plateforme data , notre client recherche un Data Engineer expérimenté (5 à 10 ans d’expérience) pour renforcer son pôle Data & Cloud Engineering. La mission s’inscrit dans un environnement à forte composante technologique, reposant sur une architecture cloud-first hébergée sur AWS , et visant à industrialiser, fiabiliser et automatiser les traitements de données à grande échelle. Le consultant interviendra sur la conception et l’optimisation des pipelines de données (Snowflake, DBT, Pandas), la gestion de l’infrastructure via Terraform , et la mise en place de processus de monitoring, sécurité et SLA . L’objectif principal est de garantir la performance, la qualité et la traçabilité des données tout en accompagnant la transformation digitale de l’entreprise dans un cadre agile et collaboratif .

La tribu DATA (DAT) construit et développe des applications sur la base de puissantes plateformes DATA à des fins d’usages variés servant toutes les directions métier du groupe bancaire. Pour répondre à ces usages, DAT est au cœur de la stratégie data-centric du groupe bancaire, et intervient aussi bien au niveau de l’architecture Data, sur les dernières technologies data, Big Data, IA, Teradata, SAS, DMP, Oracle ainsi que sur les solutions analytiques et de datavisualisation. La mission consiste à assurer les fonctions suivantes au sein de la Squad Socles Data de la tribu DAT : Veiller au quotidien à la bonne marche des plateformes Data (Teradata et Big Data) Intervenir au quotidien, sous contraintes de délais, lors des incidents d’exploitation (analyse, diagnostic, résolution). Produire le relevé matinal des exécutions des traitements sur les plateformes « Entrepôt et Usages » et « Big Data ». Analyser les actions correctrices à lancer : – court terme (relance rapide) – moyen terme (consignes pour les pilotes de nuit) – long terme (correctifs d’ordonnancement ou de traitements) Créer les incidents selon le process interne (JIRA). Assurer une communication unique pour les deux environnements DATA Vulgariser la communication technico-fonctionnelle auprès des intervenants (équipes internes et métiers). Mettre en place et diffuser les indicateurs de performance et de délais. Mettre en place des états mensuels des incidents et contribuer aux reportings et comités. Analyser les indicateurs d’assurance qualité de données et communiquer auprès des acteurs concernés. Intégrer des méthodes d’amélioration continue Proposer des améliorations du chemin critique en tenant compte des applications sensibles. Maintenir en condition opérationnelle les moyens, dans le respect des normes et critères de performance. Développer des composants d’amélioration. Définir et mettre en place des outils de normalisation, d’automatisation et de sécurisation de la production. Contribuer à la conception de nouveaux projets et évolutions. Contribuer aux états réguliers de contrôle : habilitations, comptes, connexions… Participer aux projets d’optimisation et d’amélioration de la QDF (Qualité de Fonctionnement)

Description du poste : Nous recherchons un Data Engineer autonome disposant d’au moins 5 ans d’expérience, capable de collecter, analyser et exploiter les données pour améliorer le pilotage des activités et identifier les leviers de création de valeur. Le consultant accompagnera également les équipes métier dans le développement, le déploiement et l’exploitation de solutions data afin d’atteindre leurs objectifs. Missions principales : – Collecter, préparer et structurer les données pertinentes pour les besoins des utilisateurs. – Construire et optimiser des pipelines ETL/ELT robustes et performants. – Analyser les données et produire des visualisations accessibles via les outils décisionnels. – Proposer des recommandations et lignes directrices pour créer de la valeur au sein des activités métier. – Accompagner l’optimisation des offres, services et processus grâce à l’analyse et l’évaluation des données. – Garantir la conformité aux règles d’éthique et de gouvernance du groupe. – Présenter les fonctionnalités des produits data et faciliter leur maintenance. – Réaliser des tests conformément à la stratégie définie. – Maintenir à jour le catalogue des produits data (datasets). – Fournir des kits de formation et des outils pour les utilisateurs. Résultats attendus : – Identification et sélection des données pertinentes pour les besoins opérationnels. – Optimisation du temps, des ressources et des outils dédiés à l’analyse de données. – Production de jeux de données et visualisations compréhensibles et accessibles. – Mise à disposition de recommandations métier génératrices de valeur. – Amélioration des processus, services et offres grâce aux analyses. – Application stricte des règles de gouvernance et d’éthique data. – Tests réalisés et conformes aux exigences. – Catalogue des datasets à jour. – Mise à disposition de supports et kits de formation pour les utilisateurs. Compétences requises en Data Engineering : – Modélisation de données : modèles relationnels, dimensionnels, Data Vault. – ETL / ELT : conception, optimisation et gestion des dépendances. – Gouvernance et qualité de données : data lineage, qualité, catalogage, gestion des métadonnées. – Architecture data : maîtrise des patterns modernes (Data Lakehouse, Data Mesh…). Langages : – SQL avancé – Python avancé – PySpark avancé Outils et technologies : – Dataiku – Power BI – Databricks – Azure Data Factory – Azure Logic Apps

Au sein de la DSI, l'équipe Data (10 personnes) joue un rôle central dans la valorisation des données de l'entreprise. Vous rejoignez le pôle Solutions Data, pour contribuer à la mise en œuvre et à la maintenance du Système d'Information décisionnel. Vos missions sont les suivantes : Participer à la conception et au développement de projets data innovants Assurer le maintien en conditions opérationnelles (MCO) des bases, applications et flux de données existants Collaborer avec les équipes Métiers pour analyser et traduire les besoins fonctionnels en solutions techniques Contribuer à l'amélioration continue de la plateforme data (processus, outils, qualité des données) Documenter les développements et assurer un transfert de compétences auprès de l'équipe Data

Objectifs de la mission : Le Lab recherche un Ingénieur de Recherche DataOps capable de concevoir et enrichir une infrastructure de données permettant des études scientifiques sur la cognition des voyageurs. Enjeux et rôle du consultant - Traduire les besoins théoriques des chercheurs en pipelines de données robustes et architectures cloud performantes (AWS). - Garantir l’intégrité scientifique des traitements : gestion des biais statistiques, fiabilité des séries temporelles, reproductibilité. - Concevoir des environnements d’expérimentation Cloud fiables, orientés production de résultats scientifiques. - Documenter et structurer les travaux pour assurer leur pérennité. - Agir comme le bras technique du Lab dans un contexte de recherche. Environnement & contexte : R&D agile manipulant des volumes de données massifs et hétérogènes. Stack : AWS, Python (Scientific Stack), conteneurisation. Interaction clé avec l’IT Groupe pour favoriser le portage et l’exploitation des données dans d’autres projets. Livrables : Instrumentation des données pour la recherche (Scientific Data Engineering) Architecture Cloud pour l'expérimentation (Scientific Ops) Formalisation technique et Support à la valorisation Obligatoire : Thèse de doctorat (Data, ML ou Mathématiques Appliquées) garantissant sa capacité à dialoguer avec des chercheurs, couplée à une expérience opérationnelle forte en Ingénierie logicielle/Cloud. Expériences entre 7 et 9 années.

Our client is looking for a couple of Data Engineers for one of their teams on a six month initial contract, working hybrid out of their site in Telford twice a week. This role requires an active SC clearance and will be working via umbrella company. We have demand for an experienced developer to join our team working in the data engineering space. Our development team work on data management and ETL project deliveries and require an additional developer with experience and expertise in data driven projects and ETL based solutions. This developer role will be primarily working on Talend and Oracle RDS systems, within our existing Talend framework and patterns. Experience of working with the Talend ETL tool is required as a minimum, as well as experience working in Oracle RDS databases. Experience of developing CI/CD deployment pipelines, job schedule tooling, and SQL will also be beneficial. Experience of ETL tooling will be needed, preferably Talend but Pentaho/Informatica experience will be transferable. Due to the nature and urgency of this post, candidates holding or who have held high level security clearance in the past are most welcome to apply. Please note successful applicants will be required to be security cleared prior to appointment which can take up to a minimum 10 weeks. LA International is a HMG approved ICT Recruitment and Project Solutions Consultancy, operating globally from the largest single site in the UK as an IT Consultancy or as an Employment Business & Agency depending upon the precise nature of the work, for security cleared jobs or non-clearance vacancies, LA International welcome applications from all sections of the community and from people with diverse experience and backgrounds. Award Winning LA International, winner of the Recruiter Awards for Excellence, Best IT Recruitment Company, Best Public Sector Recruitment Company and overall Gold Award winner, has now secured the most prestigious business award that any business can receive, The Queens Award for Enterprise: International Trade, for the second consecutive period.

Cherry Pick est à la recherche d'un Data Engineer Python AWS pour l'un de ses clients dans le secteur de l'énergie. Missions : Le Data Engineer sera responsable de la conception, du développement et de la mise en production de l'architecture de données. Il devra notamment :  Collecter les exigences des métiers et des utilisateurs  Concevoir l'architecture de données  Concevoir les pipelines de données  Mettre en production l'architecture  Assurer la maintenance et l'évolution de l'architecture Le Data Engineer travaillera en étroite collaboration avec : Les Product Owners Les Data Analysts Les équipes métiers (marketing, trading, exploitation, supply chain…) Les équipes DataOps / MLOps

CONTEXTE : Experience : 7 ans et plus Métiers Fonctions : Data Management, Software engineer Spécialités technologiques : Data Compétences Technologies et Outils AWS Spark Airflow Snowflake Secteurs d'activités Services Informatiques Conseil en organisation, stratégie MISSIONS Rattaché(e) au périmètre du Responsable Data Platform, vos missions consisteront à : - Développer des pipelines et ETL sur AWS vers Snowflake - Mettre en place des stockage optimisé grâce aux technologies lakehouse et en particulier DeltaLake - Créer des jobs manipulant la donnée avec SQL et Python (pandas et ou Polars) - Réaliser les traitements de volume de données massives avec PySpark - Développer et maintenir des infrastructures avec de l’IaC et en particulier avec Terraform - Orchestrer les différents traitements via Airflow - Déployer et maintenir des applications via la CI/CD - Participer aux réflexions et au design d’architecture - Bonne capacité de vulgarisation et de communication - Participer aux rituels agiles de l’équipe - Contribuer à la documentation technique et fonctionnelle 5 à 10 ans en tant que Data Engineer, avec une expérience significative sur AWS. Un positionnement en tant que techlead serait un plus. De l’expérience dans un contexte BI serait un plus. Un positionnement ou une expérience en tant que DevOps serait un plus. Expertise souhaitée Python, PySpark, AWS (EMR, S3, Lambda), Airflow, SQL, Snowflake, Terraform, Databricks, Gitlab.

Bonjour, Pour le compte de mon client, nous recherchons un data engineer. L’équipe de BUILD (qui gère les données du socle relation client et du socle connaissance client. Cette équipe est en charge de mettre à disposition des données en fraicheur pour deux équipes business. Le Data Ingénieur sera intégré dans une équipe Marketing d’une dizaine de personnes. La ressource doit accompagner la direction dans la réalisation des outils BI et analyses ad hoc pour leur permettre la réalisation de leurs usages. La mission se décompose en deux volets : 1. DIR DATA : Apporter un appui à la capacité à faire de l’équipe BUILD du projet et d’épauler la capacité à faire des métiers sur des montées de versions de leurs produits data métiers. Contexte de migration des projets métiers data basé actuellement sur Synapse vers Unity Catalog (Databricks). 2. DIR MKT : L'objectif de la mission est de permettre à la direction de piloter les offres par la réalisation d'analyse et la construction de tableaux de bord. Les indicateurs mis en visibilité permettront à la direction de suivre l'adoption des offres et services et de prendre les décisions stratégiques. Actiivités du poste : Partie direction Data Participation active à l’appui des équipes métiers lors de la migration vers Unity Catalog / suppression de synapse. Appui aux métiers pour assurer la MCO de leurs produits data métiers Participation active à l’équipe de développement BUILD du projet et aux phases de recette et de validation sur les différentes livraisons des traitements de données en lien avec l’équipe de build projet. - Participation ponctuelle aux analyses d’écarts et à l’identification des causes racines sur des problèmes de qualité et incohérences de données remontées via les clients auprès de la Relation Client, l’équipe RGPD ou par d’autres canaux internes (ex : incohérences sur les dates de naissance, doublons de clients, de segments de voyages, problèmes de référentiels, etc.) - Participation ponctuelle à la construction et évolutions sur des tableaux de bord Power BI en lien avec les besoins de monitoring de la donnée des socles sous responsabilité de la direction Data . Partie Direction MKT : Construction et maintien de tableaux de bord : Élaboration et implémentation de modèles de données optimisés pour les tableaux de bord Construction du tableau de bord Validation de la conformité et de la fiabilité des données présentées dans les tableaux de bord Traitements de données Développement et maintien d’indicateurs Optimisation des performances des traitements de données Interne Automatisation de la chaine de traitements des données depuis le socle Data TGV-IC ou d'autres sources Supervision de la chaine de traitements Réalisation d’analyse Réalisation d'extractions et analyses data ad hoc pour répondre aux besoins spécifiques des métiers Actions de gouvernance de la donnée Catalogage de la donnée : Documentation des dictionnaires de données, du lineage et des produits data business Suivi de la qualité des données Mise en place d’un outil de supervision de la qualité des données Identification des anomalies et investigations

Contexte et détails de la mission Définition du besoin La Direction Technique du Numérique mène des projets transverses en étroite collaboration avec les autres directions, notamment la direction Data. La Direction Data, au sein de la Direction du Numérique, a été créée avec la volonté de faire de la Data un levier de croissance des offres numériques. La Direction Data a 3 grandes activités : maximiser la collecte de données tout en respectant les réglementations en vigueur, développer la connaissance et l’expérience utilisateurs et mettre à disposition auprès des équipes internes des outils de pilotage et d’aide à la décision. Au sein de l’équipe Bronze, la prestation se déroulera en collaboration avec les autres équipes de la Data, au coeur de la plateforme Data. Cette équipe est composée d’un product owner, d’un data steward et de deux autres data ingénieurs. Notre stack technique est principalement constitué de Python, Spark, SQL pour les traitements de données, Airflow pour l’orchestration et Cloud Storage et Delta lake pour le stockage. La stack inclut aussi les services BigQuery, Dataproc, PubSub et Cloud Storage de la Google Cloud Platform et Terraform et Terragrunt pour la gestion de l’infrastructure. Prestations attendues : Prestation de cette équipe 1. Collecter et centraliser les différentes sources de données non homogènes 2. Assurer la conformité et la sécurité des données 3. Participer aux initiatives de gouvernance des données Prestation en data engineering En interaction avec les membres de l’équipe, la prestation consiste à : • Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l’équipe • Construire et maintenir de pipelines data robustes et scalables • Accompagner les membres de l’équipe dans l’exploitation et le requêtage des données • Organiser et structurer le stockage des données • Mettre en place et maintenir des infrastructures scalables capable de répondre aux besoins et à l’accroissement rapide du volume de données • Construire et maintenir les workflows de la CI/CD • Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur • Assurer l’évolutivité, la sécurité, la stabilité des environnements • Participer aux différentes instances de data engineering • Contribuer et veiller à la mise à jour de la documentation • Faire de la veille technologique active dans le domaine Modalités de la prestation : Présence sur site requise en fonction des besoins de la prestation et a minima équivalente à 50% du temps de la prestation. Astreintes week-end et jours fériés : Non Matériel performant à fournir par le prestataire : Pour ce faire, les postes informatiques utilisés par le prestataire lors des prestations doivent avoir : - Un antivirus à jour et activé - Un mécanisme de chiffrement du disque activé - Un système d'exploitation à jour de ses correctifs de sécurité - Un mécanisme de verrouillage du poste activé - Un moyen de stockage sécurisé des mots de passe. Usage de la langue française : L'exécution de chaque marché spécifique nécessite l'usage principal et permanent de la langue française dans les rapports avec les parties prenantes (documents, réunions, appels téléphoniques, courriers électroniques…). Les personnes en charge de l‘exécution des prestations doivent maîtriser parfaitement le français (et toute autre langue qui serait précisée après information dans le DCE du marché spécifique concerné) dans le contexte et environnement.

Dans le cadre d’un programme data stratégique dans le secteur pharmaceutique (domaine CMC – Chemistry, Manufacturing & Controls), l’entreprise souhaite renforcer son équipe Data Engineering afin de soutenir la migration, l’industrialisation et l’optimisation de ses pipelines analytiques sur AWS. La mission implique une forte collaboration avec les équipes scientifiques, Data, IT et produit, afin de clarifier les besoins métiers, structurer les modèles de données, fiabiliser les flux existants et accompagner les phases de migration vers des architectures modernes. L’objectif est d’améliorer la qualité, la performance, le coût et la robustesse de la plateforme data, tout en garantissant une documentation claire et une montée en compétence durable des équipes internes.

Missions principales : Data Engineering Concevoir, développer et maintenir des pipelines de données robustes pour alimenter les applications. Garantir l’ingestion, la transformation et le stockage de volumes importants de données. Optimiser les traitements afin d’assurer des performances adaptées aux enjeux de volumétrie. Mettre en œuvre des dispositifs de qualité des données (contrôles, alertes, supervision). Travailler en étroite collaboration avec les équipes de développement pour définir et exposer les interfaces de données (API, bases). Documenter les flux et assurer la mise à jour du catalogue de données des projets. MLOps Industrialiser les processus d’entraînement des modèles de Machine Learning dédiés à l’optimisation du dimensionnement des structures. Déployer des pipelines CI/CD pour les modèles ML (gestion des versions des données et modèles, automatisation des entraînements). Suivre et analyser les performances des modèles en production (détection de dérives, indicateurs de performance). Accompagner les Data Scientists dans la mise en production des modèles.

Data Engineer Spark/Scala o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Au sein de la DSI Finance de la DSI, le poste recherché porte sur le besoin d’un Data Engineer Spark/Scala confirmé (5-6 ans d’expérience). Objectifs et livrables Objectifs Le prestataire intégrera le projet d’intégration en coordination avec le chantier assiette comptable de référence en tant que Data Engineer. Les développements sur ce chantier s’appuient sur la plateforme Datalake Finance, basée sur la distribution Hadoop HortonWorks qui collecte les données des différents systèmes de synthèse afin de répondre aux nouveaux besoins de reporting Finances & Risques (COREP, calcul RWA, IFRS9, etc.…) Les tâches seront les suivantes : • la mission consistera à prendre part aux développements, au sein du datalake pour acquérir les nouvelles sources de données, les assemblées et les distribuées aux consommateurs, tout en étant garant de la pérennité et la non-régression de l’outillage déjà en place • Vous participerez à la conception et à l’implémentation de ce projet et serez amené, à ce titre, à travailler en méthode Agile avec de nombreux acteurs métiers et les équipes de maintenance Compétences techniques o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Compétences demandéesCompétences Niveau de compétence Apache Kafka Avancé Apache Hadoop Confirmé Apache Hive Avancé SCALA Confirmé Spark Confirmé