Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Pour le besoin de mon client, je suis à la recherche d'un profil Data Engineer confirmé Piloter les projets DevOps complexes : planification, suivi des délais, budget et livrables. Coordonner les équipes (techniques, métiers, sécurité) et animer les comités de suivi... ... ... ... .... ... .... ... ... ... .... ..... .. .... .. .. .. .. . .. ... .. .. .. .. . .. . . . .. . . .. . .. . .. . .. . . .. . . .. . . .. . . . . .. . . . . . . .. . . .. . . .. .. . . . . . . .. . . . . . . . . . . . . . .. . .

Dans le cadre d’un vaste programme de modernisation du système d’information d’un acteur bancaire, nous recherchons un Architecte Technique Solution . Vous interviendrez au sein d’équipes agiles (tribus / squads) en lien direct avec les métiers. Votre rôle consistera à définir et animer les architectures techniques, produire les livrables associés et en superviser l’évolution. Vous accompagnerez les équipes projets dans l’implémentation des solutions, dans une approche DevOps et Agile. Vous contribuerez également aux phases de tests, benchmarks et à la gestion des obsolescences techniques. Enfin, vous participerez au suivi de la construction des produits techniques en coordination avec les socles technologiques et fournisseurs.

Multinationale iconique sur son marché, cette entreprise est un véritable tremplin dans votre carrière. Sens du travail et innovation permanente vous trouverez l'excellence à tout les étages. Entité : Equipementier Site : Clermont-Ferrand, 3 j sur site client obligatoire par semaine ou 1 semaine sur 2 sur site au choix Prix d’achat max : 520 €HT Date de démarrage : asap Langue parlée : Français / Anglais Durée mission : 14 mois (fin 17/09/2026) Mission : Tech lead data en binôme. Nombre d’années d’expérience : min 6 ans Profil : Tech Lead Data

Au sein du département IT, l'équipe a pour vocation de fournir aux services Technologies & Opérations et Banque de Proximité et Assurance, l’ensemble des applications nécessaires à leur fonctionnement. L'appel d'offre vise à renforcer notre binôme de data engineers, en priorité sur le projet DatOps que nous opérons pour le compte de la Direction des Opérations. Celui-ci s'appuie sur la plateforme GCP, et représentera l'activité majeure du consultant. En mineure, il interviendra en parallèle sur un second projet, qui vise à le doter d'une plateforme data basé sur le Hadoop on premise du groupe. Nous recherchons un profil data engineer GCP + Hadoop qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les demandes métier sur le projet DatOps. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. Les tâches suivantes seront confiés au consultant : Mettre en œuvre de nouvelles ingestions de données, data prep/transformation Maintenir et faire évoluer nos outils de gestion des pipeline de données Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme

- Gestion de la production - Gestion de la dette technique - Revoir l'architecture actuelle et proposer des évolutions - Développements liés aux projets Concrètement : la mission principale de la prestation aura pour but de : - traiter nos obsolescences de Framework (ex : springboot , spark2 ) - moderniser et industrialiser nos pipelines de build en intégrant les bonnes pratiques devsecops : - migration depuis tfs vers jenkins - création directe sur jenkins Le but étant d'optimiser notre code , d'assainir et d'automatiser nos déploiements via xldéploy. Le code concerne nos apis et nos process de transformation hadoop/spark ( en java , python

Dans le cadre d’un projet pour l’un de nos clients dans le secteur de la finance , nous recherchons un Data Engineer avec une forte expertise en Python , Spark , et Git . La mission s’inscrit dans un environnement Big Data et suit une méthode Agile . Objectifs de la mission Le consultant contribuera à : Développer de nouveaux modèles et indicateurs Industrialiser ces développements dans un environnement de production APIser les services Produire une documentation fonctionnelle et technique Livrables attendus Développements en Python et Spark Scripts d’intégration (Shell, éventuellement Perl / PHP) Documentation technique & fonctionnelle Services API Code versionné sous Git / GitHub Méthodologie Travail en mode Agile / Scrum

Description Grâce à ses compétences alliant développement bigdata, appétences pour les modèles d’IA et architecture applicative, le data engineer participe à la conception d’applications mettant à l’échelle des algorithmes créateurs de valeur pour l’entreprise. Livrables • Définition et analyse des structures de données. • Contribution dans les assets des différentes équipes produits pour interconnecter et collecter les données. • Mise à disposition de la data et des recommandations à des systèmes externes (APIs, exports, injection de données). • Connaître et respecter dans nos propositions de valeur les exigences et problématiques liées aux réglementations en vigueur (RGPD, Data privacy, etc.) et aux standards et tendances du secteur (éco-conception, etc.). • Garant de la production (mise en place de monitoring et alerting et intervention si nécessaire). • Développement et maintien du continuous delivery (participer à l’intégration continue et à l’usine logicielle, déploiements et tests automatisés). • Présentation et explication des réalisations à des publics métiers et techniques.

Bonjour, Pour le compte de notre client nous recherchons un TECH LEAD BIG DATA Le domaine d’intervention du Tech Lead Data Engineering comprend les études, l’architecture du SI Big Data, le choix des solutions et outils, le pilotage technique du Build et du Run. Comme référent technique Big Data, vous assurez le lead technique de l’équipe de développeurs, avec en responsabilité, la conception et la mise en œuvre des solutions Big Data, ainsi que le pilotage technique de projets. Sous la responsabilité du responsable du SI Big Data, vous piloterez techniquement les activités de Data Engineering : - étude et prise en compte des besoins de traitement de la data, - gestion des priorités et de la cohérence des besoins, - choix des outils et solutions - conception et mise en œuvre des architectures de données évolutives et performantes, sécurisées et résilientes - direction et encadrement technique d’une équipe de data ingénieurs composée d’intervenants externes : suivi, support, adoption des bonnes pratiques de développement sécurisé - suivi de la qualité, de la sécurité des données et des traitements, de la performance opérationnelle des traitements - participation et support au delivery nécessitant l’expertise technique et data - veille technologique pour rester à l’état de l’art en matière de traitement massif des données, et d’utilisation de l’IA pour l’automatisation, la prédiction, la génération de data et de code. - support des équipes Data Science et R&D sur le cycle de déploiement/optimisation et industrialisation des solutions d’IA - conception et mise en place d'API pour l'intégration des solutions Big Data avec d'autres systèmes, - développement et intégration de modèles d'IA générative pour des applications spécifiques, - assurer la maintenance et l'évolution des API et des modèles d'IA générative.

L'objectif de la mission est de renforcer une équipe avec un rôle de Développeur / Data Engineer orienté DevOps au sein d'une Squad : Gestion de la production Gestion de la dette technique Revoir l'architecture actuelle et proposer des évolutions Développements liés aux projets La mission principale de la prestation aura pour but de : traiter nos obsolescences de Framework (ex : springboot , spark2 ) moderniser et industrialiser nos pipelines de build en intégrant les bonnes pratiques devsecops : migration depuis tfs vers jenkins création directe sur jenkins Le but étant d'optimiser notre code , d'assainir et d'automatiser nos déploiements via xldéploy. Le code concerne nos apis et nos process de transformation hadoop/spark ( en java , python )

Tâches : - Développer et réaliser de nouvelles fonctionnalités/usages définis et priorisés (user stories) au sein de l’équipe client, tout en respectant les règles de gestion et les critères d’acceptation associés. Contexte Equipe de 12 personnes composée d'un PO et d'un Scrum Master, a pour objectif de constituer une vision 360 des clients en temps réel afin de servir des usages digitaux communautaires. En plus de contribuer pleinement aux enjeux majeurs de modernisation du système d’information Marketing. L'équipe assure aussi au quotidien le bon fonctionnement de produits à valeur ajoutée L’équipe évolue dans un cadre Scrum basé sur les valeurs et pratiques agiles. Attendu : Contribuer et recueillir les besoins - Définir les architectures des solutions avec le reste de l’équipe - Fabriquer et tester les solutions en mettant l'accent sur l'automatisation des tests - Déployer dans les différents environnements - Garantir le bon fonctionnement en production - Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code

Contexte & mission Grand groupe bancaire – pôle IT Data Management & BI . Au sein de la squad Big Data & API (domaine CIB / Données Client ), vous renforcez l’équipe pour tenir la production , résorber la dette technique , faire évoluer l’architecture et livrer les développements projets. Vos responsabilités Moderniser : upgrades ( Spring Boot , Spark 2→3 ), optimisation du code (APIs & traitements). Industrialiser : CI/CD Jenkins (migration depuis TFS , création de pipelines from scratch), pratiques DevSecOps . Automatiser : déploiements via XLDeploy/XLRelease , orchestrations Control-M . Exploiter : Hadoop on-prem , Spark/PySpark , Hive/SQL/HQL , Unix/Bash . Développer : APIs et traitements data en Python/Java/.NET .

Pour l’un de nos clients grand compte, nous recherchons un Data Engineer Senior maîtrisant Python , Py Spark , les API , AWS , et ayant une forte expertise en modélisation des données . Le rôle implique la conception et la mise en œuvre de composants de la plateforme data, incluant : L’ingestion et le traitement des données La construction et l’amélioration d’un cadre technique commun : Monitoring CI/CD Tests automatisés Performance Résilience Qualité du code Bonnes pratiques de développement Activités principales Recueillir, analyser et challenger les besoins métiers Concevoir des solutions en accord avec les architectures définies Contribuer au développement en tant qu’expert / lead technique Écrire un code propre, réutilisable, fiable et conforme aux standards qualité Identifier et résoudre les problèmes (bugs, goulots d’étranglement, etc.) Fournir des solutions robustes et prêtes pour la production Mettre en place des outils de monitoring et d’alerte pour assurer la fiabilité des services en production Documenter les développements en anglais et partager les connaissances avec l’équipe Communiquer efficacement avec les différentes équipes projet

Basée à Lille, Lyon, Nantes, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Développeur / Data Engineer / DevOPS H/F à Paris, France. Contexte : Les missions attendues par le Développeur / Data Engineer / DevOPS H/F : L'objectif de la mission est de renforcer l'équipe avec un rôle de Développeur / Data Engineer orienté DevOps au sein de la Squad : - Gestion de la production - Gestion de la dette technique - Revoir l'architecture actuelle et proposer des évolutions - Développements liés aux projets Concrètement : la mission principale de la prestation aura pour but de : - traiter nos obsolescences de Framework (ex : springboot , spark2 ) - moderniser et industrialiser nos pipelines de build en intégrant les bonnes pratiques devsecops : - migration depuis tfs vers jenkins - création directe sur jenkins Le but étant d'optimiser notre code , d'assainir et d'automatiser nos déploiements via xldéploy. Le code concerne nos apis et nos process de transformation hadoop/spark ( en java , python ou.net )

Contexte Équipe IT Data Management & BI – Squad Big Data & API. Le data lake “ESG” sert de plateforme de données pour des équipes IT et métiers. La mission peut évoluer vers d’autres squads Data selon les besoins. Missions Assurer le rôle de Data Engineer et développeur d’API au sein de la squad. Exploitation/production : supervision des traitements, corrections, optimisation des performances. Gestion de la dette technique : refactor, qualité, sécurité. Architecture : revue de l’existant et propositions d’évolutions . Développements projets : pipelines de données et APIs d’exposition.

Genious Systèmes recherche pour son client un(e) Data Scientist F/H Dans le cadre d’un renfort d’équipe avec des compétences de Data Scientist, il participera aux bons usages techniques et fonctionnels des données au sein d’une direction métier. Accompagner les utilisateurs lors de la mise en place de Data Prep, d’analyse de données, de KPIs, de dashboards... Accompagner techniquement et former d’autres Data Scientists ainsi que des Data Analysts, Valider la mise en place des bonnes pratiques. Assurer le suivi des performances et participera aux phases d’optimisation. Participation à l’homogénéisation et l’industrialisation des phases de Data Prep. Maîtrise Python Spark sur un environnement Cloud ainsi que le dashboarding et la Data Viz (Looker, Kibana, Grafana). L’environnement technique sera principalement constitué de : Databricks Looker Prometheus Tempo Grafana Elastic Kibana

Contexte de la mission En renfort de l’entité Solutions Data , le Data Engineer Senior interviendra dans un environnement hybride Cloud / On-Premise (cible On-Premise) pour participer activement aux activités Run, Build, Expertise et Accompagnement . 🚀 Missions principales Participer à l’élaboration du design technique des produits logiciels. Contribuer à la recherche et mise en œuvre de solutions techniques adaptées. Prendre en charge une partie des développements . Accompagner et coacher les autres développeurs (optimisation de code, bonnes pratiques). Collaborer avec l’ architecte Data pour l’intégration des produits dans le SI. Garantir la qualité des produits logiciels livrés. Accompagner les directions métiers dans la réalisation de leurs cas d’usage Data. 🔧 Compétences obligatoires Spark / Java (maîtrise avancée) Python (maîtrise avancée) SQL (maîtrise avancée) Cloud AWS : S3, Glue, Redshift, Step Functions, Lambda CI/CD : Git, Jenkins ETL : XDI et/ou ODI 🌟 Compétences souhaitées (atouts) Docker Terraform Power BI / Business Objects 📍 Localisation Mission basée à Châtillon (92) .