Trouvez votre prochaine mission ou futur job IT.

Concevoir et développer des pipelines de traitement de données (ETL/ELT) sur Databricks. Intégrer et transformer des données issues de différentes sources (API, bases SQL/NoSQL, fichiers, data lakes, etc.). Mettre en place des workflows automatisés et orchestrés (via Azure Data Factory, Airflow, ou Databricks Workflows). Optimiser les performances des jobs Spark et la consommation des clusters. Participer à la modélisation des données (Data Lake / Delta Lake / Data Warehouse). Assurer la qualité, la sécurité et la gouvernance des données (contrôles, documentation, catalogage). Collaborer avec les Data Scientists, Analysts et Architectes pour garantir la cohérence et la fiabilité des environnements data. Surveiller et maintenir la plateforme Databricks en production (monitoring, troubleshooting, coûts).

Almatek recherche pour l'un de ses clients un Data Engineer NoSQL sur Nanterre Contexte et rôle Renforcement d’un pôle d’expertise technique autour des bases de données NoSQL. L’expert contribuera à la conception, l’industrialisation et l’exploitation de plateformes NoSQL, en environnement conteneurisé et cloud hybride Compétences techniques requises Maîtrise ElasticSearch (ELK Stack), configuration, optimisation et monitoring Expertise bases de données Graph (Cypher, RDF, LPG) Connaissance PostgreSQL / Oracle appréciée Maîtrise Docker, Kubernetes, OpenShift, Linux RedHat Bon niveau en scripting Shell, SQL/PLSQL Compréhension des environnements AWS / GCP Connaissance des outils DevOps (GitLab, Jenkins) Bonnes notions de Big Data, datavisualisation et virtualisation de données Bonne capacité de rédaction technique en français Soft skills Autonomie, rigueur, sens du résultat Capacité à communiquer et formaliser Force de proposition et leadership technique Livrables attendus Études techniques, POC et recommandations d’architecture Guides techniques, souches conteneurisées, scripts de déploiement Rapports d’audit et documentation de capitalisation

Le Data Engineer aura pour mission principale d’interagir avec les parties prenantes pour capturer les besoins en données, extraire les data dumps, configurer des Vector Databases (VDBs) et développer/configurer une compétence RAG (Retrieval-Augmented Generation) afin d’améliorer la performance des solutions d’IA générative. Il sera en charge de tester les data pipelines pour garantir des processus efficaces en lien avec les besoins métiers et IA. Ses principales responsabilités incluent : Être le premier point de contact pour les utilisateurs internes concernant les besoins en données des applications d’IA générative Collaborer étroitement avec les Product Owners, développeurs et ingénieurs IA pour recueillir et documenter les besoins Capturer et documenter les besoins et lacunes de données et proposer des stratégies correctives Valider la qualité des données extraites (complétude, exactitude, pertinence) Configurer et optimiser l’utilisation de bases de données vectorielles pour l’accès rapide aux données Tester et ajuster les compétences RAG pour garantir la pertinence contextuelle des informations générées Effectuer des tests complets sur les pipelines de données, participer à l’évaluation de la performance des modèles IA

Profil du candidat Contexte Pour un acteur majeur du transport aérien, nous recherchons un Data Engineer. Contexte de migration vers GCP. Compétences techniques : Grande connaissance GCP BigQuery and Java/Spark Appétence pour les environnements industriels /logistique ou du transport. Excellente rigueur, esprit d’analyse et sens de l’organisation. Aisance relationnelle, esprit d’équipe et proactivité. Minimum 5 ans d'expérience Compétences transverses : Niveau d’anglais niveau C1 ou C2 obligatoire. Autonomie Très bon relationnel Force de proposition Localisé en Ile de France, télétravail partiel autorisé, présentiel 3 jours par semaine.

Vous aimez relever des défis techniques ambitieux et contribuer à la mise en place d’architectures data performantes et innovantes ? Vous souhaitez évoluer au cœur d’un environnement cloud moderne et collaboratif ? Cette opportunité est faite pour vous ! Nous recherchons un·e Data Engineer – GCP confirmé·e pour accompagner la construction et le déploiement de solutions data pour notre client du secteur de l’assurance. Intégré·e à la DataFabric, vous rejoindrez une équipe agile composée de 5 à 7 Data Engineers, en lien direct avec le Tech Lead. Vous participerez activement au build et au run des traitements livrés en production sur la plateforme Google Cloud Platform (GCP). Vos principales responsabilités : Analyser, concevoir et modéliser les solutions data adaptées aux besoins métiers Développer et maintenir les pipelines de données sur GCP pour l’acquisition, la transformation, le stockage et la mise à disposition des données Rédiger les documents techniques associés (spécifications, cahier de recette, documentation d’exploitation) Réaliser les recettes techniques et assurer la qualité des livrables grâce à des tests de non-régression Participer activement à la maintenance et à l’amélioration continue des traitements data en production Environnement technique : GCP : BigQuery, Cloud Storage, Cloud Composer, Airflow, GKE Langages & outils : SQL, Python CI/CD : maîtrise des outils d’intégration et de déploiement continu Infrastructure as Code : Terraform

Dans le cadre de la structuration de son pôle Data, un grand groupe international lance la création d’un poste de Lead Data Engineer . Vous jouerez un rôle central dans l’encadrement de l’équipe Data Engineering (5 à 6 personnes) et dans la mise en place des bonnes pratiques de développement, d’industrialisation et de gouvernance sur un socle technologique Azure / Snowflake / dbt . Missions : Leadership & coordination technique Encadrer et animer une équipe de 5 à 6 Data Engineers. Garantir la qualité, la cohérence et la maintenabilité des développements (dbt, Python, Snowflake). Mettre en place des standards de développement, de revue de code et d’automatisation. Servir de relais technique entre le Data Architect, les Data Engineers et les équipes projet. Challenger les choix techniques et contribuer à la roadmap Data. Conception & industrialisation Piloter la migration des flux Informatica vers la nouvelle stack Snowflake / Azure Data Factory . Concevoir et optimiser les pipelines de données (ingestion, transformation, exposition). Garantir l’industrialisation via Terraform , Azure DevOps , PowerShell et CI/CD pipelines . Assurer la sécurité , la supervision et le FinOps des environnements Data. Architecture & gouvernance Participer à la modélisation et à la mise en place du modèle d’entreprise (EDM) et du Data Warehouse (3NF, étoile). Superviser la qualité, la traçabilité et la conformité des données (Data Quality, GDPR). Contribuer à la documentation et à la standardisation des pratiques.

Vos missions ? Intégré(e) à nos équipes ou chez nos clients, vous contribuez à développer et valoriser l'ensemble des données en résolvant des problématiques business concrètes via les technologies liées à la Data A ce titre, vos missions seront les suivantes : - Comprendre et traduire les besoins métiers : Animer et collaborer étroitement avec les experts métier au travers d'ateliers d'idéation pour identifier les problématiques opérationnelles afin de proposer des solutions à mettre en œuvre, - Analyser et explorer les données : Comprendre, analyser et valoriser les données de différentes natures - Définir les modèles : Sélectionner ou créer les modèles mathématiques les plus pertinents et adaptés à chaque problématique, et réaliser leur apprentissage, - Déployer les modèles : Collaborer avec les équipes de Data Ingénierie au déploiement des modèles entrainés en production, et accompagner les équipes de développement produit dans leur utilisation, - Analyser les performances des modèles : Assurer la mesure de la performance et le suivi de la dérive des modèles en production. Reporter sur la performance opérationnelle des modèles au travers d'indicateurs clés et les partager avec les directions métiers, Compétences requises : - Maitrise de TALEND - Analyse de données

Contexte Dans le cadre du chantier Knowledge Management (KM), une base de connaissance doit être constituée à partir de documents non structurés (PDF, Word, HTML). Cette base servira à formaliser la connaissance sous une forme agnostique des usages, en vue d'une réutilisation large et durable. Un pipeline initiale de structuration des connaissances a été établi, mais doit maintenant être industrialisé pour une exécution fiable, scalable et maintenable. Objectif de la mission Development des pipelines d'ingestion, transformation et alimentation de la base de connaissance, tout en assurant le versioning et la traçabilité des traitements.

Nous recherchons un(e) data engineer capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : • Participer à la conception et réalisation d'une solution Data depuis l'acquisition jusqu'à l'exploitation de la donnée en accompagnant la réflexion des directions métiers • Identifier, collecter et intégrer les données nécessaires à la résolution de problématiques métier et opérationnelles • Garantir la qualité des données en mettant en place les outils de mesure et de suivi adéquats en appliquant les règles de Data Gouvernance et de Data Management • Transcrire des besoins métier en règles de gestion data • Industrialiser le déploiement de vos réalisations à travers l'implémentation de tests unitaires, d'intégration et de non-régression Référence de l'offre : a5057rwa3n

Basée à Lille, Lyon, Nantes, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Data engineer / Data analyst (H/F) à Lyon, France. Contexte : Fonctionnement : 2 jours sur site + 3 jours télétravail Les missions attendues par le Data engineer / Data analyst (H/F) : Missions principales : • Gestion, production et diffusion des reportings assureurs/partenaires • Participation à l’élaboration et au suivi des plans d’action liés au reportings assureurs (mensuels, trimestriels et annuels) • Documentation des process et des procedures liés aux reporting assureurs (Data Galaxy, ...) • Contribution aux process d'amélioration et d'automatisation des reportings assureurs • Analyse et correction des anomalies remontées sur différents typologies de données : portefeuille, cotisation, réclamation • Collaboration avec différents équipes métiers : Direction clients, comptabilité, … • Assistance et conseil auprès de la direction Solution Assurance dans le process des conventions sur le volet DATA Environnement de travail : • L’équipe, composée de 15 personnes, fonctionne dans un cadre agile, favorisant la collaboration, la communication et l’amélioration continues • Le poste offre une grande richesse technique et fonctionnel, grâce à la diversité des outils utilisés (SQL, Snowflake, Oracle, SAP BO, Talend, Data Services, etc.) et à la variété des domaines d’assurance (santé, prévoyance, …) • Cette diversité, associée à des échanges réguliers avec les équipes métiers, offre un environnement riche d'expérience qui permet de développer à la fois des compétences techniques et fonctionnelles

Hello, Pour le compte de l'un de mes clients parisiens, je suis à la recherche d'un Data Engineer DBT senior (ou confirmé ++). Dans l'idéal, le DE aura les skills suivants : ○ 5 ans d’expérience minimum en Data Engineering. ○ Une expérience obligatoire sur DBT (au moins 6 mois à 1 an en production). ○ Une expérience sur Daxter est un plus, sinon Airflow. ○ Une capacité à apporter de la méthodologie et des bonnes pratiques à l’équipe. Un prérequis avec Snowflake & une expertise cloud.

Notre client, société financière, recherche un Data Engineer pour rejoindre sa Data Factory. Responsabilités : Au sein d'une équipe dynamique, vous interviendrez sur l'ensemble des étapes des projets décisionnels : - Recueil et analyse des besoins (échanges avec la MOA et les utilisateurs) ; - Rédaction de spécifications fonctionnelles et techniques ; - Modélisatnique ; - Mise en production et suivi.

Dans le cadre d’un projet industriel d’envergure nationale, nous recherchons un Data Engineer / Data Manager pour accompagner la mise en place et le suivi des processus de production de données au sein d’équipes techniques et métiers. La mission allie coordination, support utilisateur, data management et reporting opérationnel dans un environnement à forte exigence qualité. Vos missions principales : Animation & coordination : • Appuyer le Data Manager projet dans la coordination des contributeurs métiers • Suivre la qualité et la complétude des données d’entrée nécessaires aux traitements • Produire des KPI d’avancement et des reportings réguliers • Participer à l’animation du processus de production et aux réunions de suivi Administration & exploitation de l’application métier : • Paramétrer, administrer et superviser l’application • Exécuter les traitements, injections et extractions de données • Gérer les habilitations, l’archivage et les accès utilisateurs Support & accompagnement : • Assurer le support fonctionnel niveau 1 & 2 et le suivi des incidents • Contribuer au plan de contrôle interne des habilitations • Participer à la recette fonctionnelle : planification, organisation, PV de validation Documentation & capitalisation : • Rédiger et maintenir la documentation technique et fonctionnelle • Créer des fiches d’assistance, manuels utilisateurs et procédures • Participer à l’accompagnement au changement et à la diffusion des bonnes pratiques Profil recherché : • Expérience confirmée en Data Management, Data Engineering ou MCO applicatif • Bonne maîtrise des outils : Power BI, Jira, ServiceNow, Excel, Office 365, Netvibes • Langages : SQL, Python, PowerQuery, DAX, JSON, XML • Connaissance des environnements industriels ou projets techniques complexes • Compétences en recette, support, reporting et coordination multi-acteurs Soft skills : • Leadership naturel, rigueur, pédagogie • Esprit d’analyse et de synthèse • Excellent relationnel, diplomatie et sens du service Les + de la mission : • Projet structurant dans un contexte industriel stratégique • Équilibre entre technique, coordination et accompagnement métier • Équipe collaborative et dynamique

Bonjour, Nous recherchons un data engineer pyspark / Palantir pour le compte de notre client. L’organisation Tech & Data est une organisation matricielle Agile reposant sur 4 piliers : Data and System Engineering, composée des équipes suivantes : Data Center of Excellence, Products and Systems Engineering et Enterprise Architecture La société est composée des équipes supportant les Crews et les domaines fonctionnels transverses : Gouvernance, Mise en œuvre du modèle opérationnel T&D, Sécurité & Conformité, Contrôle financier, Sourcing & Vendor Management, Gouvernance et Processus. Technical, composée des équipes dédiées aux IT Operations, Réseau, Cloud, Services Workplace & Cloud Productivity Crews et domaines fonctionnels transverses Contrainte forte du projet : Palantir Foundry. Livrable : Data Pipeline Risk Compétences techniques : Palantir Foundry – Confirmé – Impératif Python / Pyspark – Confirmé – Impératif Connaissances linguistiques : Français courant (impératif) Anglais courant (impératif) Description détaillée : Nous recherchons un Data Engineer pour développer des pipelines de données pour nos fondations Risk dans Palantir Foundry. Le Data Engineer devra construire, livrer, maintenir et documenter les pipelines de données dans le périmètre des fondations Risk. Il devra notamment livrer les données dans notre Risk Analytical Data Model (représentation medallion de nos données Risk) selon une approche moderne et performante. Livrables attendus : Pipelines de données pour les fondations Risk, livrés dans les délais Code documenté et testé unitairement Contrôles qualité et santé des données implémentés Expérience et compétences attendues : +5 ans en tant que Data Engineer Expérience solide sur Palantir Foundry, principalement sur les modules orientés Data Engineer (code repository, ontologie…) Maîtrise de Python et Pyspark Bonnes pratiques de développement (gitflow, tests unitaires, documentation) Bonne compréhension de l’architecture data mesh et medallion architecture Expérience sur Databricks un atout Expérience en (ré)assurance ou dans le domaine du risque financier un atout Esprit d’équipe Curiosité et goût du challenge Capacité à communiquer avec différents interlocuteurs Rigueur et sens analytique Définition du profil : Le Data Engineer assure la maîtrise de la donnée et est garant de la qualité de son utilisation afin d’en faciliter l’exploitation par les équipes. Son périmètre d’intervention est axé sur les systèmes applicatifs autour de la gestion et du traitement des données, ainsi que sur les plateformes Big Data, IoT, etc. Il assure la supervision et l’intégration des données provenant de sources multiples et vérifie la qualité des données entrant dans le Data Lake (recette des données, suppression des doublons, etc.).

Rejoignez notre équipe innovante Data Fabric et jouez un rôle moteur dans l'élaboration des infrastructures de données de nouvelle génération. Nous construisons des Platform Data & Data Market Place complexes, nécessitant des solutions d'ingénierie robustes et scalables. Votre expertise sera déterminante pour transformer les données brutes en Data Products fiables et gouvernés, directement exploitables par l'entreprise. 🎯 Vos Missions Principales Conception et Développement des Pipelines : Concevoir, coder et optimiser des pipelines de données ETL/ELT (Batch et Streaming) utilisant Spark et les langages Scala et/ou Python . Implémenter des solutions de traitement et de transformation sur Databricks (Delta Lake) et/ou Snowflake . Industrialisation DataOps : Mettre en œuvre les pratiques DataOps et DevOps (CI/CD, tests automatisés, monitoring) pour automatiser et fiabiliser le déploiement des Data Products . Gérer et optimiser les ressources et l'infrastructure Big Data sur les environnements Cloud (AWS et/ou Azure) . Architecture et Expertise : Contribuer activement à l'évolution de l'architecture Data Fabric et à la modélisation des données. Garantir la performance, la qualité et la sécurité des données au sein de la Data Market Place . Collaboration : Travailler en étroite collaboration avec les équipes métier, les Data Scientists et l'IT pour assurer l'alignement des solutions techniques avec les objectifs business. ⚙️ Environnement et Compétences Techniques Requises Big Data & Processing (Expertise Indispensable) : Maîtrise d' Apache Spark (Scala ou Python/PySpark). Expérience solide avec Databricks et/ou Snowflake . Cloud Computing : Excellente connaissance d'au moins un des fournisseurs : AWS (S3, EMR, Kinesis, Glue) ou Azure (ADLS, Synapse Analytics, Azure Databricks). Langages : Expertise en Python ou Scala . Une connaissance de Java est un plus. Maîtrise du SQL . Industrialisation : Solide expérience en DevOps/DataOps (Git, CI/CD). Connaissance des outils d'infrastructure as Code (Terraform, CloudFormation) et de conteneurisation (Docker, Kubernetes) appréciée. LES + : Power BI, Talend Exemple de mission : · Évaluer les solutions techniques, · Garantir la performance et la disponibilité des plateformes data, · Implémenter et Orchestrer les pipelines de données, · Contribuer à l’amélioration de la qualité des données en synergie avec les équipes techniques, produits et métiers (définition des métriques, déploiement et monitoring des indicateurs, implémentation des règles du contrôle d’accès, documentation), · Participer au programme de migration de données et de modernisation des plateformes data (stockage et stratégie de data Lake, bases de données, SAP S4/HANA modules SD, MM, FI, SCM).

Une grande organisation internationale du secteur bancaire est responsable de la production informatique à l’échelle mondiale. L’équipe DATA/IA conçoit, opère et porte l’expertise des plateformes DATA facilitant la mise en place d’architectures modernes, distribuées et hautement résilientes, tant sur site que dans le cloud. Le Data Engineering/ Expertise Big Data rejoindra l’équipe DATA/IA, actuellement composée d’une vingtaine de personnes réparties entre Paris et Singapour, et évoluera dans un environnement technique et fonctionnel riche. Les principales missions sont: Accompagner les projets dans leur migration vers des infrastructures modernes on prem et sur le cloud public : • Intervenir en assistance/expertises auprès de nos clients, obtenir leurs retours et comprendre leurs exigences • Réaliser l'étude détaillée des besoins clients en lien avec les architectes • Construire avec les CloudOps les infrastructures DATA pour le projet • Accompagnement des projets dans l'adoption de ces technologies via des workshops, formation, documentation • Paramétrer / configurer les services afin de répondre aux exigences projets • Définir la stratégies de backup et restauration • Réaliser les tests de performances, de résilience et de reprise d'activité • Implémenter le monitoring et l'alerting • Rédiger les documents d'exploitation Participer au RUN de nos services : • Gestion des demandes et incidents • Patching / Upgrade • Participation à l'astreinte de l'équipe • Amélioration continue de nos procédures/documentation Compétences recherchées : • Connaissance approfondie sur les technologies Data suivantes: Cloudera, Kafka, Spark, Flink, Nifi, AirFlow, Starburst/trino • Connaissance des Cloud Public AWS et GCP et Terraform • Connaissance des solutions Data sur le Cloud Public : AWS EMR, MSK, GCP DataProc, BigQuery, Cloud Storage, Cloud Dataflow, etc. • Connaissance approfondie linux et kubernetes • Connaissance approfondie des solutions CI/CD (Gitlab, GitOps, ArgoCD, etc) • Maîtrise de langages de programmation (Scala, Java, Python…) • Travail en Agile • Anglais • Certification ITIL V4 obligatoire 3J/Semaine sur site Les astreintes (HNO, etc…) : Oui