Trouvez votre prochaine mission ou futur job IT.

Vous maîtrisez le métier d'ingénieur données chez Databricks (sur AWS). Vos responsabilités seront les suivantes : • Concevoir, développer et maintenir des pipelines de données évolutifs sur la plateforme Databricks. • Gérer les processus d'ingestion de données provenant de diverses sources dans l'environnement Databricks (ingestion XML, Kakfa, etc.). • Mettre en œuvre et optimiser les processus ETL (Extraction, Transformation, Chargement) afin de garantir une transformation et une intégration efficaces des données. • Garantir la qualité, l'intégrité et la sécurité des données sur l'ensemble des pipelines. • Surveiller et résoudre les problèmes de performance des pipelines de données, en mettant en œuvre les maintenances et mises à jour nécessaires. • Documenter les processus, les spécifications techniques et les bonnes pratiques des pipelines de données. • Assurer le transfert de connaissances vers l'équipe d'ingénieurs données qui prendra en charge la gestion de la plateforme à l'avenir. Parler couramment l'anglais/néerlandais ou l'anglais/français est un impératif.

Ton quotidien chez Komeet sera rythmé par : Animation des ateliers afin d’étudier et cadrer les besoins clients Préconisation, conception et mise en œuvre des plateformes Data (datawarehouse, datalake/lakehouse ) Rédaction de dossiers d’architecture et spécifications techniques Mise en œuvre des stratégies d’exploitation de plateformes Data Construction et déploiement des pipelines de données (ETL / ELT) à l’aide de langage de programmation ou d’outils de type Low-Code Mis en œuvre des flux d’intégration (en batch ou streaming) de données structurées/non structurées et volumineuses. Tests, validation et documentation des développements Réalisation d'audits et projets d’optimisation

Vous travaillerez en collaboration avec l’équipe de développement pour assurer ces principales missions : • Développer les pipelines de données permettant l’ingestion des données du Core Banking sur la plateforme data existante sous GCP • Garantir la non-régression du SI existant via le développement de TNR. • Développer et assurer le run évolutif les états réglementaires spécifiques développés pour le programme Galaxy (VUC, Eckert, RUBA). • Contribution à l’amélioration continue de nos outils et méthodologies de développements Missions principales : • Participer aux analyses, études d’impacts et cadrage techniques • Concevoir des solutions en respectant les bonnes pratiques d’architecture data et développement • Réaliser le développement de nouveaux data products et assurer la maintenance évolutive et corrective des data products existants • Rédiger la documentation technique des data products • Assurer un support aux testeurs • Reporter de ton activité à ta Squad et travailler dans une démarche d’efficacité collective Livrables principaux : • Réaliser du code applicatif à l’état de l’art sur notre nouvelle Data Platform • Rédiger les documentations techniques liés à ta solution, incluant le modèle de données, les procédures, l’ordonnancements • Faire des propositions techniques

Contexte & mission Grand groupe bancaire – pôle IT Data Management & BI . Au sein de la squad Big Data & API (domaine CIB / Données Client ), vous renforcez l’équipe pour tenir la production , résorber la dette technique , faire évoluer l’architecture et livrer les développements projets. Vos responsabilités Moderniser : upgrades ( Spring Boot , Spark 2→3 ), optimisation du code (APIs & traitements). Industrialiser : CI/CD Jenkins (migration depuis TFS , création de pipelines from scratch), pratiques DevSecOps . Automatiser : déploiements via XLDeploy/XLRelease , orchestrations Control-M . Exploiter : Hadoop on-prem , Spark/PySpark , Hive/SQL/HQL , Unix/Bash . Développer : APIs et traitements data en Python/Java/.NET .

VOTRE QUOTIDIEN RESSEMBLERA A… Vous rejoignez notre client en qualité de Data Engineer F/H et serez en charge de : Recueillir les besoins auprès de la MOA et des utilisateurs Rédiger des spécifications techniques et fonctionnelles. Modéliser et créer les flux sur l'ETL Développer et exécuter des requêtes SQL avancées. Gérer les bases de données Vertica et assurer leur performance. Assurer la recette et le suivi de production Assurer la qualité des données et leur conformité aux standards en vigueur. Former et accompagner les utilisateurs. Environnement Technique : Semarchy / Stambia, Vertica, SQL Le poste est basé à Lille (59) . Dans le cadre de vos fonctions, vous pourrez bénéficier de 1 jour de télétravail par semaine après votre période d'intégration.

Dans le cadre d’un projet stratégique lié à l’industrialisation de nouvelles lignes de production, nous recherchons un Data Engineer Sénior pour intervenir sur la conception et le développement de flux de données. La mission consiste à spécifier, développer et maintenir des pipelines d’ingestion et de transformation de données dans un environnement Big Data. Le consultant interviendra en régie, au sein d’une équipe Data pluridisciplinaire, en lien avec les équipes IT et métiers. Expérience : Minimum 2 ans en tant que Data Engineer dans des environnements Big Data

Notre client recherche un Data Engineer senior pour concevoir et maintenir des pipelines de réplication et de traitement de données dans un environnement cloud AWS à grande échelle. Ce poste s’inscrit dans un programme de transformation data visant à développer des applications qui enrichissent l’expérience client et rendent les équipes métiers autonomes dans l’exploitation des données. L’environnement technique intègre : Outils et plateformes : AWS (S3, Kinesis, DMS, Lambda…), Airflow, Terraform, GitLab CI/CD, Python, Snowflake, Dataiku, Braze, Power BI, IA/ML Bases de données : Exadata, Oracle, SQL Server, Snowflake Architectures : Data Lake, Event-driven, Streaming (+100 To/jour) Cas d’usage : moteur de recommandation, chatbot IA, feature store, socle vidéo, plateforme de contenu, partage de données partenaires, data self-service Missions Concevoir, développer et maintenir des pipelines ETL/ELT pour la réplication et le traitement de données issues de sources hétérogènes. Connecter et intégrer les données depuis différentes bases (Exadata, Oracle, etc.) vers AWS. Mettre en œuvre des traitements de nettoyage, mapping, déduplication et enrichissement des données. Collaborer avec les architectes pour appliquer les modèles cibles et les bonnes pratiques de gouvernance data. Automatiser les pipelines via GitLab CI/CD. Concevoir et déployer l’infrastructure avec Terraform, Ansible et Python (IaC). Assurer le monitoring, la qualité et la performance des flux de données. Contribuer aux initiatives FinOps pour optimiser les coûts cloud. Documenter les processus et alimenter les référentiels techniques.

Smarteo recherche pour l'un de ses clients, Un Data Engineer sur Paris + TT Projet : Participation à la définition des solutions applicatives Développement, Intégration et Recette technique Assurer l’assistance technique auprès de nos client Surveiller et améliorer l'efficacité des processus Tenir à jour la documentation des systèmes et des processus. Principaux livrables : Participer au cadrage technique Refonte et re-design de l'application existante Initialisation et préparation de l'environnement de DEV et de la chaine DEVOPS Développement Front avec UX/Design, gestion des exceptions. Développement des pipelines de données (Extraction via API externe et d'autres sources, Intégration dans une Base de données SQL et construction des données nécessaires pour exposition dans le portail) Intégration et déploiement continue via une chaine CI/CD sur l'ensemble des environnements Documentation technique et utilisateurs. Recette technique et tests de bout en bout. Traitement des incidents & assistance utilisateurs Respect des normes et règles de développement Python. Travailler étroitement avec les équipiers pour s’assurer que les solutions mises en œuvre répondent bien aux besoins métiers et sont alignées avec les meilleures pratiques. Compétences requises : Maitrise de Python et de Framework Streamlit Expertise en déploiement et configuration de Streamlit en environnement python Maîtrise de HAProxy et des concepts de reverse proxy et connexion SSL/TLS Maitrise Bash et chaine DEVOPS (GitLab, Jenkins, Ansible, Nexus, Sonar, …) Maitrise des base de données relationnelle SQL Experience sur la consommation et l'exposition API REST Kubernetes, pratiques MLOPS Une bonne autonomie et capacité de prendre le lead sur la définition des solutions applicatifs et le développement des évolutions bonne communication et accompagnement utilisateurs Sens du travail en équipe Best to have : - Connaissance LLM et IA GEN Si vous êtes intéressé, merci de me faire parvenir votre TJM ainsi que votre CV à jour au format Word

Nous recrutons un Data Engineer pour structurer, fiabiliser et industrialiser nos flux de données. Vous serez chargé de construire des pipelines robustes et performants, de nettoyer et transformer les données brutes, et de garantir leur disponibilité pour les besoins analytiques et data science. Vous interviendrez sur toute la chaîne de traitement : ingestion, transformation, stockage et mise à disposition des données. Vous travaillerez avec des outils tels que SQL, Python, Spark et Airflow, au sein d’un environnement moderne, en lien étroit avec les équipes Data Science, BI et Produit. Poste stratégique pour soutenir la croissance de notre stratégie data-driven.

● Diplômé(e) d’un Bac+5 en école d'ingénieur ou équivalent universitaire avec une spécialisation en informatique, ou justifiant d'une expérience significative équivalente ● Expérience de 3 à 7 ans en BigQuery, SQL, DBT, Python, Looker/LookML TEST CODINGAME Expérience significative dans le domaine de la Data et du Cloud, notamment sur Google Cloud Platform (GCP). Très bonne maîtrise de BigQuery avec une expérience sur des traitements de gros volumes de données. Maîtrise de SQL avancé pour la manipulation, l’analyse et la valorisation de données. Connaissance approfondie de DBT (Data Build Tool) pour la gestion et l’orchestration de pipelines de données. Expérience significative dans la modélisation de données et l’implémentation de couches sémantiques avec Looker/LookML. Maîtrise des outils de CI/CD, en particulier via GitLab CI/CD et Docker Compose, pour l’automatisation des workflows data. Bonne connaissance de l’environnement Linux et des outils de ligne de commande. Expérience solide avec les systèmes de gestion de version (Git). Travail en méthodologie agile (Scrum), avec une capacité à collaborer efficacement dans des équipes pluridisciplinaires.

Développer et maintenir des pipelines de données évolutifs à l’aide de Python, Spark et des services AWS. Effectuer des calculs sur des données chronologiques et événementielles issues de parcs solaires et de systèmes de stockage d'énergie. Concevoir et mettre en œuvre une infrastructure sous forme de code (IaC) avec Terraform pour gérer les ressources cloud. Collaborer avec les responsables des parcs solaires et de stockage afin de comprendre les besoins en données et de fournir des informations pertinentes. Développer des API ou des interfaces de données pour exposer les données traitées à des fins d'analyse et de visualisation. Garantir la qualité, la fiabilité et la performance des données à toutes les étapes du pipeline. Documenter les processus et contribuer aux meilleures pratiques en ingénierie des données et en analyse des énergies renouvelables.

VOTRE QUOTIDIEN RESSEMBLERA A… Vous rejoignez notre client et interviendrez sur l'alimentation des datamarts. A ce titre, vous serez en charge de : Comprendre l’activité et les attentes des utilisateurs, en lien avec la MOA et les équipes métiers. Appréhender le SI de production et échanger avec les équipes techniques pour assurer une bonne intégration des solutions. Structurer les données via des modèles adaptés (ex : schéma en étoile, tables de dimensions). Développer des traitements d’alimentation Concevoir et modéliser des schémas de données. Créer et alimentation des datamarts (ex : via DBT). Mettre en place de processus CDC. Gérer les anomalies et assurer la maintenance Accompagner les équipes métiers et rédiger la documentation technique. Environnement Technique : Business Object, BI, Semarchy, Talend, AWS, Amazon RedShift, PySpark, SQL, Power Designer Le poste est basé à Nantes (44) . Dans le cadre de vos fonctions, vous pourrez bénéficier de 1 jour de télétravail par semaine après votre période d'intégration.

VOTRE QUOTIDIEN RESSEMBLERA A… Vous rejoignez notre client en qualité de Data Engineer F/H et serez en charge de : Participer à la configuration de la plateforme selon les besoins métier. Concevoir et optimiser des modèles de données et des workflows d’intégration. Rédiger des spécifications techniques et fonctionnelles. Développer et exécuter des requêtes SQL avancées. Gérer les bases de données Vertica et assurer leur performance. Assurer la qualité des données et leur conformité aux standards en vigueur. Former et accompagner les utilisateurs. Environnement Technique : Semarchy / Stambia, Vertica, SQL Le poste est basé à Dijon (21) . Dans le cadre de vos fonctions, vous pourrez bénéficier de 1 jour de télétravail par semaine après votre période d'intégration.

CONTEXTE La mission consiste à renforcer une équipe de Data Engineers intervenant sur un projet de réconciliations de flux bancaires. Vous interviendrez d’un nouveau lot sur un projet déjà initié il y a un an. Vous intégrerez une équipe existante composée de 4 Data Engineers et d’un Chef de Projet. Au sein de l’équipe, vous aurez à charge la réalisation de ce lot projet. Le projet est piloté en agilité, par conséquent le delivery sera détaillé sous formes d’US. Chaque US comprend du développement, des tests, de la documentation. Les technologies associées sont Python, Pandas, Kubernetes et Azure. MISSIONS S'agissant d'un projet mené en agilité, le découpage des livrables est réalisé par sprints. Le contenu de chaque sprint est identique, seul le détail des US (User Stories) change. A noter que ces livrables sont réalisés par l'équipe projet, il n'y a pas de responsabilité de production individuelle. Les sprints projet s'échelonnent généralement sur 2 semaines. Sur la base des 3 mois de prestation, il y aurait donc 6 sprints. Livrables n°X : Sprint n°X Lot 1 : développement des US et tests associés ; Lot 2 : Documentation projet, mapping des données, modélisation des pipelines, documents d'exploitation ; Lot 3 : Mise en place du CI/CD sur notre usine logicielle ; Lot 4 : Mise en place du monitoring ;

En tant que Data Engineer (F/H) , venez renforcer notre équipe lyonnaise en ayant les responsabilités suivantes : Analyser et comprendre les besoins : Étudier l’existant pour identifier les axes d’amélioration et co-construire des solutions adaptées avec les équipes métiers. Concevoir et développer des pipelines de données : Créer des pipelines de données robustes, performants et évolutifs à l’aide de technologies comme Snowflake . Modéliser et optimiser : Concevoir des modèles de données performants et optimiser les requêtes pour répondre aux exigences métiers tout en garantissant un haut niveau de performance. Supervision et monitoring : Déployer des solutions de monitoring et d’alertes pour assurer la disponibilité et la fiabilité des traitements de données. Gérer les incidents techniques : Diagnostiquer et résoudre les problèmes liés aux pipelines ou infrastructures de données. Collaboration avec les équipes transverses : Participer aux projets en interagissant avec les experts métiers, les architectes techniques et les chefs de projet.

Je recherche un profil senior Data Engineer avec une évolution rapide vers un poste de Tech Lead. Points clés : • Solides connaissances et pratique en Python (design, tests, processus de développement, etc.) • Data Engineering : architecture big data / modélisation / optimisation / environnement distribué • Connaissance du cloud AWS ; un niveau intermédiaire minimum est requis, avec une expérience pratique • Bon esprit d'équipe et capacité d'adaptation • Bonnes compétences en communication en anglais L'objectif est de développer une plateforme basée sur des technologies Big Data robustes et évolutives. Cette plateforme sera capable de traiter un volume important de données dans les différents pays où le client opère. Son objectif principal est de capturer divers indicateurs dans un référentiel centralisé, permettant d'accéder à des vues standardisées et transversales de ces indicateurs. Outre ses responsabilités techniques, le data engineer veillera au respect des directives du groupe concernant l'utilisation du cadre interne et l'architecture. Il collaborera également avec les autres parties prenantes du projet afin de promouvoir ces directives et de proposer des solutions communes pour la plateforme. Le rôle du data engineer senior dans ce projet consistera à concevoir et à mettre en œuvre les composants suivants de la plateforme : • Ingestion des données • Traitement et normalisation des données. • Distribution des données aux différentes parties prenantes. • Construire et améliorer le cadre commun, notamment en matière de surveillance, de CI/CD, de tests, de performances, de résilience, de pratiques de développement et de qualité du code.