Find your next tech and IT Job or contract Scala

A ce titre, nous cherchons un profil possédant la double compétence Data engineer et développeur backend Les activités attendues sont: - Ecrire les jobs spark de manipulation des collections de données pour des pipelines d'ingestion, de nettoyage, de preparation, d'enrichissement, de croisement des données - Développer des µService d'accès au données (API REST, serveur graphQL) pour mettre à disposition des applications internes ou directement à des clients externe - Développer jusqu'à la mise en production les traitements Big Data - Assurer la maintenance corrective des solutions Big Data développées - Collaborer avec l’ensemble des interlocuteurs concernés, transverses et métier Compétences attendues Java (J2EE / Jdk 21) Scala Spark / Spark Streaming Parquet Trino Delta Lake Kafka Docker – Kubernetes – Helm - Argo Workflow Web Services Rest / graphQL TU (JUnit / Mockito / PowerMock / ScalaMock) Git / Maven Les capacités d'innovation et de proposition seront appréciées. La maitrise de l'anglais est indispensable. La mission est prévue sur le reste de l'année 2025

Rejoignez notre équipe innovante Data Fabric et jouez un rôle moteur dans l'élaboration des infrastructures de données de nouvelle génération. Nous construisons des Platform Data & Data Market Place complexes, nécessitant des solutions d'ingénierie robustes et scalables. Votre expertise sera déterminante pour transformer les données brutes en Data Products fiables et gouvernés, directement exploitables par l'entreprise. 🎯 Vos Missions Principales Conception et Développement des Pipelines : Concevoir, coder et optimiser des pipelines de données ETL/ELT (Batch et Streaming) utilisant Spark et les langages Scala et/ou Python . Implémenter des solutions de traitement et de transformation sur Databricks (Delta Lake) et/ou Snowflake . Industrialisation DataOps : Mettre en œuvre les pratiques DataOps et DevOps (CI/CD, tests automatisés, monitoring) pour automatiser et fiabiliser le déploiement des Data Products . Gérer et optimiser les ressources et l'infrastructure Big Data sur les environnements Cloud (AWS et/ou Azure) . Architecture et Expertise : Contribuer activement à l'évolution de l'architecture Data Fabric et à la modélisation des données. Garantir la performance, la qualité et la sécurité des données au sein de la Data Market Place . Collaboration : Travailler en étroite collaboration avec les équipes métier, les Data Scientists et l'IT pour assurer l'alignement des solutions techniques avec les objectifs business. ⚙️ Environnement et Compétences Techniques Requises Big Data & Processing (Expertise Indispensable) : Maîtrise d' Apache Spark (Scala ou Python/PySpark). Expérience solide avec Databricks et/ou Snowflake . Cloud Computing : Excellente connaissance d'au moins un des fournisseurs : AWS (S3, EMR, Kinesis, Glue) ou Azure (ADLS, Synapse Analytics, Azure Databricks). Langages : Expertise en Python ou Scala . Une connaissance de Java est un plus. Maîtrise du SQL . Industrialisation : Solide expérience en DevOps/DataOps (Git, CI/CD). Connaissance des outils d'infrastructure as Code (Terraform, CloudFormation) et de conteneurisation (Docker, Kubernetes) appréciée. LES + : Power BI, Talend Exemple de mission : · Évaluer les solutions techniques, · Garantir la performance et la disponibilité des plateformes data, · Implémenter et Orchestrer les pipelines de données, · Contribuer à l’amélioration de la qualité des données en synergie avec les équipes techniques, produits et métiers (définition des métriques, déploiement et monitoring des indicateurs, implémentation des règles du contrôle d’accès, documentation), · Participer au programme de migration de données et de modernisation des plateformes data (stockage et stratégie de data Lake, bases de données, SAP S4/HANA modules SD, MM, FI, SCM).

Dans le cadre de la transformation d’un groupe média international, un ambitieux projet de développement d’une nouvelle plateforme de gestion des assets médias (MediaHub) est en cours. Construite en interne à partir de logiciels libres et suivant une méthodologie Agile (Scrum) , cette plateforme a pour objectifs : Mutualiser les catalogues de médias entre les différentes entités du groupe (TV et cinéma). Repenser l’ensemble des workflows utilisateurs afin d’améliorer l’efficacité opérationnelle (ergonomie, automatisation). Intégrer rapidement de nouveaux usages (UHD, HDR, IMF, etc.) et faciliter l’interconnexion avec l’écosystème média (majors, plateformes de streaming, etc.). Fournir une application MediaHub MAM assurant la gestion des essences média (fichiers audio, vidéo, sous-titres, etc.), composée de micro-services développés en Scala et Rust , déployés dans le Cloud (AWS) et On Premise (VMWare) . Organisation : Équipes en Feature Teams complètes (PO, DevOps, QA, Développeurs) avec Scrum Master et UI/UX Designer. Méthodologie Agile avec sprints de 2 semaines. Matériel fourni : MacBook Pro. Missions : Développer et maintenir des micro-services back-end au sein de la plateforme MediaHub. Participer activement aux cérémonies Agile (sprint planning, daily, rétrospectives). Contribuer à l’ensemble du cycle de vie des User Stories (conception, développement, tests, cohérence des livrables, mise en production). Être force de proposition dans l’amélioration continue des pratiques techniques et organisationnelles. Collaborer avec les Lead Tech et les équipes transverses pour garantir la qualité et la fiabilité des développements.

Bonjour, Pour le compte de notre client nous recherchons un TECH LEAD BIG DATA Le domaine d’intervention du Tech Lead Data Engineering comprend les études, l’architecture du SI Big Data, le choix des solutions et outils, le pilotage technique du Build et du Run. Comme référent technique Big Data, vous assurez le lead technique de l’équipe de développeurs, avec en responsabilité, la conception et la mise en œuvre des solutions Big Data, ainsi que le pilotage technique de projets. Sous la responsabilité du responsable du SI Big Data, vous piloterez techniquement les activités de Data Engineering : - étude et prise en compte des besoins de traitement de la data, - gestion des priorités et de la cohérence des besoins, - choix des outils et solutions - conception et mise en œuvre des architectures de données évolutives et performantes, sécurisées et résilientes - direction et encadrement technique d’une équipe de data ingénieurs composée d’intervenants externes : suivi, support, adoption des bonnes pratiques de développement sécurisé - suivi de la qualité, de la sécurité des données et des traitements, de la performance opérationnelle des traitements - participation et support au delivery nécessitant l’expertise technique et data - veille technologique pour rester à l’état de l’art en matière de traitement massif des données, et d’utilisation de l’IA pour l’automatisation, la prédiction, la génération de data et de code. - support des équipes Data Science et R&D sur le cycle de déploiement/optimisation et industrialisation des solutions d’IA - conception et mise en place d'API pour l'intégration des solutions Big Data avec d'autres systèmes, - développement et intégration de modèles d'IA générative pour des applications spécifiques, - assurer la maintenance et l'évolution des API et des modèles d'IA générative.

Tâches : - Développer et réaliser de nouvelles fonctionnalités/usages définis et priorisés (user stories) au sein de l’équipe client, tout en respectant les règles de gestion et les critères d’acceptation associés. Contexte Equipe de 12 personnes composée d'un PO et d'un Scrum Master, a pour objectif de constituer une vision 360 des clients en temps réel afin de servir des usages digitaux communautaires. En plus de contribuer pleinement aux enjeux majeurs de modernisation du système d’information Marketing. L'équipe assure aussi au quotidien le bon fonctionnement de produits à valeur ajoutée L’équipe évolue dans un cadre Scrum basé sur les valeurs et pratiques agiles. Attendu : Contribuer et recueillir les besoins - Définir les architectures des solutions avec le reste de l’équipe - Fabriquer et tester les solutions en mettant l'accent sur l'automatisation des tests - Déployer dans les différents environnements - Garantir le bon fonctionnement en production - Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code

En tant que Data Engineer Databricks, nous vous proposons d’intégrer une équipe d’ingénieurs expérimentés et multi-compétentes. Au sein de nos clients issus de différents secteurs d'activité (Industrie, Services, Transport, Logistique, Banque, Assurances, Énergie), vous jouez un rôle clé dans la migration des données et des tâches de l'environnement Cloudera vers Databricks. Vous êtes également chargé d'automatiser le déploiement des jobs via le CI/CD. Pour réussir ces différents challenges, nous vous proposerons des actions de formation, des parrainages, des certifications sur les outils concernés et un dispositif d’évaluation personnel régulier.

Contexte Équipe IT Data Management & BI – Squad Big Data & API. Le data lake “ESG” sert de plateforme de données pour des équipes IT et métiers. La mission peut évoluer vers d’autres squads Data selon les besoins. Missions Assurer le rôle de Data Engineer et développeur d’API au sein de la squad. Exploitation/production : supervision des traitements, corrections, optimisation des performances. Gestion de la dette technique : refactor, qualité, sécurité. Architecture : revue de l’existant et propositions d’évolutions . Développements projets : pipelines de données et APIs d’exposition.

Hanson Regan is looking for a Data Engineer for a 5-month renewable position, based in Mechelen 2 days Monday & Wednesday onsite (3 days remote) Senior Data Engineer in SCALA Primary Skills MUST HAVE: Terraform DWH (SNowflake or databricks) Kubernetes GITlab Python Softskills & Language requirements: - Excellent Communication - English to work with Offshore (India Teams) To meet the needs of our clients, we only accept applications from freelancers working within their own company (no payroll/ portage companies) Please do not hesitate to contact me if you are interested in this position to discuss it in more detail.

Le poste Vos missions ? En tant que Lead Data vous serez en charge des missions suivantes: - Accompagner et faire monter en compétence les membres de l'équipe Data - Définir la vision et la roadmap data de l'entreprsie - Compréhension du besoin client et être capable de le traduire aux équipes métier - Veiller à la cohérence et la qualité des données utilisées - Suivi de l'évolution des outils data - Développer des algorythmes et des modèles Machine Learning - Mettre en production des solutions data en collaboration avec les équipes IT et DevOps La stack Technique : - MongoDB, PostgreSQL - Talend - Python (lib : Pandas, Scikit Learn, Tensorflow, Matplotlib, Plotly...) - Scala, R, - Docker, Jenkins - Gitlab/Github

Nous accompagnons un client dans la mise en place et l’évolution de ses plateformes Data sur Google Cloud Platform (GCP) . Dans ce cadre, nous recherchons un Data Engineer confirmé GCP pour renforcer l’équipe existante et participer activement à la construction et à l’industrialisation des pipelines de données. Profil recherché 3 à 6 ans d’expérience en tant que Data Engineer. Solide maîtrise de Google Cloud Platform : BigQuery, Dataflow, Pub/Sub, Dataproc. Excellente pratique des langages de programmation : Python, SQL (Scala/Java est un plus). Expérience CI/CD (GitLab, Jenkins) et conteneurisation (Docker, Kubernetes). Bonnes connaissances des problématiques de sécurité, gouvernance et qualité de données . Expérience en méthode Agile/Scrum . Autonomie, rigueur, capacité à communiquer efficacement avec des interlocuteurs variés.

Le Data Office a pour mission de consolider, manager et valoriser le patrimoine de données, qui est un capital stratégique pour mon client, via le développement de produits et services data transverses à l’entreprise et au service du business. Au sein du Data Office, la mission de l’équipe Core Data est de développer et maintenir une plateforme centralisée, sécurisée, fiable et performante au service des usages data de l’ensemble des directions métier de mon client. Elle est notamment responsable d’un datalake opérationnel sur le cloud AWS et d’un patrimoine applicatif de jobs de transformation et production de données (Scala Spark). Elle assure également la maintenance de la plateforme Dataiku. Dans le cadre de son activité, mon client recherche un(e) Ingénieur de Production Data, qui sera amené(e) à intervenir à l’intersection des enjeux Infra DevOps sur AWS et Big Data, et collaborera en étroite synergie avec l’architecte cloud, le tech lead et les data engineers.

Vous aimez être au cœur des projets Data et avez une appétence pour les environnements techniques modernes ? Vous appréciez autant la vision stratégique que la rigueur opérationnelle ? Alors cette opportunité est faite pour vous. 🎯 Votre mission En tant que Responsable d’Applications au sein du Datalab, vous jouerez un rôle clé dans la maintenance , l’ évolution et la performance des applications Data. Vous serez le lien privilégié entre les équipes métiers et techniques, garantissant la qualité de service et la fiabilité des solutions en place. Vos principales responsabilités : Assurer et coordonner la maintenance corrective et évolutive des applications. Garantir la qualité de service (SLA, sécurité, performance) en lien avec les équipes transverses. Piloter et prioriser les demandes d’évolution en collaboration avec les responsables métiers. Conduire les projets d’évolution de bout en bout, de la conception jusqu’à la mise en service. Contribuer à la stratégie de tests et de recette, et piloter les livraisons correctives. Produire et suivre les indicateurs de performance, tout en assurant une documentation rigoureuse. Être un interlocuteur privilégié pour la production informatique et les parties prenantes métier. 🧰 Votre boîte à outils idéale Méthodologie ITIL Expert Impératif Méthodologie Agile Confirmé Impératif Azure Datafactory Confirmé Important Databricks (Spark SQL, Scala) Confirmé Important Outil ITSM (ServiceNow ou équivalent) Confirmé Souhaité

Data Engineer & Expert Cloudera – CDI – Gennevilliers (92) – 60/70 K€ Contexte du poste Dans le cadre d’un projet Groupe couvrant 5 divisions métiers, la DSI renforce son équipe Data avec le recrutement d’un Data Engineer. L’objectif est de concevoir et mettre en place un Data Layer commun et de développer une série d’indicateurs métiers structurants pour le pilotage des activités. Le Data Engineer interviendra également sur l’ implémentation des user stories issues du backlog défini par le PPO. L’équipe actuelle se compose de 4 Chefs de projet BI et 1 Architecte Big Data . À terme, elle intégrera 2 Consultants BI , 2 PPO et 1 autre Data Engineer . Missions principales Participer à la spécification et au développement au sein de la nouvelle infrastructure Cloudera Réaliser les scripts d’intégration et de transformation des données en Scala / Spark Concevoir et préparer les jeux de données nécessaires au reporting dans Power BI Concevoir, documenter et optimiser les modèles de données pour la performance et la maintenabilité Être force de proposition pour l’évolution de la plateforme et l’amélioration des performances globales

Bonjour, Pour l’un de mes clients, je recherche un(e) : Description : Construire et industrialiser des infrastructures Cloud Public sur Azure, configurer les équipements CI/CD et collaborer avec les équipes Dev, sécurité et projets pour la transformation data. Compétences techniques : Big Data : Azure DataLake, EventHub, Databricks, ADF - Confirmé Cloud : Microsoft Azure - Confirmé Infrastructure as Code : ARM, YAML - Confirmé Intégration/déploiement continu : Git, Azure DevOps - Confirmé Langues : Français courant Missions principales : Construire et industrialiser les infrastructures Cloud Azure Mettre en place CI/CD et outils de surveillance pour haute disponibilité Participer aux validations techniques des mises en production Collaborer avec Dev, sécurité et projets Profil requis : Bac+3/5 en informatique Expérience 5-10 ans en contexte Data Connaissances : Cloud Azure, IaC (ARM/YAML), CI/CD (Git, Azure DevOps), Big Data (DataLake, EventHub, Databricks, ADF, Power BI), Web (FunctionApp, WebApp), Micro-services/containers (AKS), Bases SQL DB/CosmosDB Plus : Spark, Scala Mots-clés : Azure, Cloud, DevOps, Data, CI/CD, ARM, YAML, Git, Azure DevOps, DataLake, EventHub, Databricks, ADF, Power BI Si vous êtes intéressé(e) et que votre profil correspond, merci d’envoyer votre CV à jour. Je reviendrai vers vous rapidement pour échanger.

Contexte de la mission Dans le cadre du programme de modernisation de la plateforme data du Groupe, vous rejoignez la direction Data Engineering de la DSI Banque de Proximité et Assurance (BPA) en tant que Lead Data Engineer spécialisé en streaming. Vous serez responsable de la conception, de l’industrialisation et de l’optimisation des pipelines de données temps réel, en lien avec les enjeux métiers autour de la fraude, de la connaissance client, et de la supervision des parcours digitaux. Vous encadrerez une équipe de 3 à 5 data engineers et collaborerez étroitement avec les architectes, les data scientists et les équipes cloud. Stack technique & environnement Streaming & ingestion : Apache Kafka (Confluent), Kafka Connect, REST Proxy Traitement temps réel : Apache Spark Structured Streaming, Apache Flink (POC en cours) Orchestration : StreamSets, Airflow Cloud & stockage : Google Cloud Platform (BigQuery, Cloud Storage), Hadoop (legacy) Langages : Python, Scala, SQL CI/CD & Infra : GitLab CI, Terraform, Docker, Kubernetes (GKE) Monitoring : Grafana, Prometheus, Elastic Stack

Nous recherchons un Ingénieur IT Quant pour rejoindre les équipes d’un acteur majeur de la finance de marché . Au sein d’un environnement exigeant et stimulant, vous interviendrez au cœur de la modélisation et de l’industrialisation des outils de pricing et de risk management , en lien direct avec les équipes Front Office et Quant Research . Développer, maintenir et optimiser les librairies de pricing et de calcul de risque (P&L, VaR, Greeks). Concevoir des outils de simulation et d’analyse de scénarios pour les traders et les risk managers. Intégrer les modèles quantitatifs développés par les équipes R&D dans les systèmes de production. Participer à la refonte et à l’optimisation des architectures techniques (C++, Java, Python). Assurer la performance, la fiabilité et la scalabilité des applications utilisées en salle des marchés. Environnement technique Langages : Java, C++, Python (idéalement connaissance de C# ou Scala appréciée) Frameworks : Spring, STL, Boost Systèmes : Linux / Windows Outils : Git, Jenkins, Docker, CI/CD Bases de données : SQL / NoSQL Méthodologie : Agile / DevOps