Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark à Lyon

Basée à Lille, Lyon, Nantes, Grenoble, Marseille, Paris et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Lead tech Java Angular Spark (H/F) à Lyon, France. Contexte : Le Groupe réalise des études et des produits data innovants sur des sujets tels que la maintenance prédictive, la mobilité électrique, les charges sur le réseau. Les missions attendues par le Lead tech Java Angular Spark (H/F) : Activité principale En tant que Lead Tech Java/Angular, vous serez responsable de : - Développer et maintenir des applications web en Java Spring Boot (backend) et Angular (frontend). - Avoir une sensibilité accrue aux performances et à la maintenabilité, à la sécurité (ex : Grafana, Kibana, Elastic search, Datadog). - Expérience confirmée en conception d'architecture scalable et en collaboration avec des équipes Data. - Maintien de la qualité logicielle : Effectuer des revues de code régulières, promouvoir et diffuser les bonnes pratiques de développement au sein de l'équipe. - Appui aux projets : Fournir une aide ponctuelle et des conseils techniques aux différents projets en cours. - Cadrage technique des sujets : Participer à la définition des besoins techniques et à la planification des solutions à mettre en place. - Échanges transverses avec les autres équipes : Collaborer avec les équipes transverses pour remonter les besoins et implémenter un cadre commun de travail. - Veille technique et curiosité sur l'état de l'art des nouvelles technos. Activité secondaire - Cadrage, accompagnement technique des différents projets - Accompagnement des PO - Industrialisation de projets - Capacité à intervenir tout le cycle de vie d'un projet : du POC à la prod Stack technique de l'équipe • Python • Java (21, 25), • spring boot (3.5 à 4.0), • spring batch (5, 6), • spring security, • Angular (18 à 22), • spark, • hadoop, • Postgresql (15), • grafana, • kibana • Kafka • airflow

Au sein du SI de notre client dans le domaine de l'énergie, le périmètre concerne le pilotage de la partie BI et notamment les points suivants : • Piloter le système client et les processus métier associés • Garantir la qualité et la cohérence des données • Fournir les données pour l’analyse et l’amélioration continue du système Elle est utilisée par environ 1000 utilisateurs (analystes, experts métiers, experts SI). Le projet est composé de cinq équipes couvrant à la fois le développement des traitements fonctionnels, des reportings ainsi que la gestion des plateformes et de l’outillage. Dans un contexte de transformation du SI décisionnel, l’équipe porte actuellement des enjeux forts de modernisation des traitements Big Data, avec une migration en cours vers Spark ainsi qu’un projet de refonte complète dans le cloud basé sur Databricks à moyen terme.

Hello, Pour le compte de l'un de mes clients dans le secteur de l'énergie, je suis à la recherche d'un lead tech orienté Python & Spark. Impératifs : Excellente maîtrise de Python (+ 5 ans) Excellente maîtrise de Spark Maitrise des bonnes pratiques techniques et capacités de leadership technique pour communiquer efficacement et avec pédagogie. Description du profil : Référent technique dans une équipe Agile. Assure la responsabilité d'un ou plusieurs processus techniques. Minimum 5 années d'expérience en développement Python, avec une spécialisation en data engineering ou data science, et une expérience en leadership technique. Compétences attendues sur le profil : - Excellente maîtrise de Python et de ses librairies pour le traitement et l'analyse de données. - Familiarité avec Spark (PySpark ou Scala) pour le traitement de grandes volumétries de données. - Expérience en développement d'API et de dashboards avec FastAPI et Dash. - Bonne connaissance des bases de données SQL, notamment PostgreSQL et Teradata. - Maîtrise des outils de versioning et d'intégration continue, notamment Git et Gitlab CI/CD. - Compétences en gestion d'équipe et en leadership technique. En tant que Lead Tech Data, vous serez responsable de : - Développement d’applications et de traitements orientés data en Python : Création et maintenance d'API, de dashboards et de pipelines pour analyser et visualiser les données. - Maintien de la qualité logicielle : Effectuer des revues de code régulières, promouvoir et diffuser les bonnes pratiques de développement au sein de l'équipe. - Appui aux projets : Fournir une aide ponctuelle et des conseils techniques aux différents projets en cours. - Cadrage technique des sujets : Participer à la définition des besoins techniques et à la planification des solutions à mettre en place. - Échanges transverses avec les autres équipes : Collaborer avec les équipes transverses pour remonter les besoins et implémenter un cadre commun de travail.

Basée à Lille, Lyon, Nantes, Grenoble, Marseille, Paris et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Lead tech Python Spark (H/F) à Lyon, France. Contexte : Le Groupe réalise des études et des produits data innovants sur des sujets tels que la maintenance prédictive, la mobilité électrique, les charges sur le réseau. Les missions attendues par le Lead tech Python Spark (H/F) : Activité principale Développement d’applications et de traitements orientés data en Python : Création et maintenance d'API, de dashboards et de pipelines pour analyser et visualiser les données. Maintien de la qualité logicielle : Effectuer des revues de code régulières, promouvoir et diffuser les bonnes pratiques de développement au sein de l'équipe. Appui aux projets : Fournir une aide ponctuelle et des conseils techniques aux différents projets en cours. Cadrage technique des sujets : Participer à la définition des besoins techniques et à la planification des solutions à mettre en place. Échanges transverses avec les autres équipes : Collaborer avec les équipes transverses pour remonter les besoins et implémenter un cadre commun de travail. Activité secondaire Cadrage, accompagnement technique des différents projets Accompagnement des PO Industrialisation de projets Etudes data Stack technique de l'équipe Python : FastAPI, Dash, Pandas, parallélisation, packaging, PyTest Spark (PySpark / Scala) SQL : PostgreSQL, Teradata Hadoop Git Gitlab CI/CD Jira / Confluence / Bitbucket

Dans le cadre de la modernisation de son système de gestion des données, notre client recherche un(e) Data Engineer afin de participer à la transformation et à l’industrialisation de ses traitements data. Vous intégrerez une équipe technique engagée sur des projets stratégiques liés à la migration d’applications historiques vers des technologies Big Data et Cloud plus performantes et évolutives. Vos missions Participer à la migration de traitements décisionnels développés sous Informatica et PL/SQL vers des solutions Big Data basées sur Spark (Java). Assurer la maintenance corrective et évolutive des traitements existants afin de garantir leur stabilité et leur performance. Concevoir, développer et optimiser des pipelines de données dans un environnement Cloud moderne autour de Databricks. Industrialiser les traitements data afin d’améliorer leur fiabilité, leur automatisation et leur exploitabilité. Développer et maintenir des flux de données performants répondant aux besoins métiers et techniques. Collaborer avec les différentes équipes projets pour comprendre les besoins fonctionnels et proposer des solutions adaptées. Participer aux phases de tests, de validation et de mise en production des traitements. Contribuer à l’amélioration continue des pratiques de développement et d’exploitation des plateformes data. Veiller à la qualité, à la cohérence et à la disponibilité des données au sein des environnements de production.

Contexte de la mission Dans le cadre de la gestion et de l’évolution de ses plateformes Data, notre client recherche un Responsable RUN Data & BI afin d’assurer le pilotage opérationnel des activités Décisionnel, Big Data et Business Intelligence. Rattaché au Responsable du pôle Plateformes de Données et Applications Data, le consultant interviendra en tant que relais opérationnel sur l’ensemble des activités de maintien en conditions opérationnelles des plateformes Data et contribuera à garantir la qualité de service du système d’information tout au long du cycle de vie des solutions. Le poste s’inscrit dans un environnement stratégique où les enjeux de disponibilité, de performance, de qualité de service et d’accompagnement de la transformation des équipes sont majeurs. Missions principales Pilotage opérationnel des activités Data Assurer le maintien en conditions opérationnelles des plateformes Décisionnel, Big Data et BI ; Piloter directement les opérations et plans d’actions associés ; Garantir le respect des engagements de service et des niveaux de qualité attendus ; Identifier, qualifier et remonter les alertes ainsi que les risques opérationnels ; Assurer le suivi des incidents, problèmes et actions correctives ; Veiller à la bonne exécution des processus opérationnels au quotidien. Gouvernance & Pilotage Construire et suivre les feuilles de route opérationnelles ; Élaborer les plannings détaillés des projets et activités ; Assurer le suivi des budgets, plans de charge et capacités ; Produire les tableaux de bord de pilotage et indicateurs clés (KPI) ; Préparer et animer les instances de gouvernance : COPIL ; COMOP ; ateliers de suivi ; Produire les reportings périodiques à destination des parties prenantes. Management transverse & accompagnement des équipes Animer les équipes du pôle Data ; Accompagner les collaborateurs dans leur montée en compétences ; Participer à la transformation des activités et des méthodes de travail ; Être force de proposition sur l’amélioration continue des processus et de l’organisation ; Apporter une analyse critique sur les résultats, les méthodes et les orientations proposées. Gestion des risques & qualité de service Mettre les risques sous contrôle et suivre les plans de remédiation ; Construire et maintenir les cartographies de risques ; Définir et suivre les plans de mitigation ; Garantir le respect des procédures qualité et sécurité du SI ; Assurer la cohérence des solutions mises en œuvre avec les besoins métiers. Contribution à la stratégie Data Participer à la définition des orientations Data et Décisionnel ; Contribuer à la déclinaison opérationnelle des feuilles de route Data ; Garantir la pertinence des solutions mises en œuvre vis-à-vis des besoins métiers ; Participer aux projets d’évolution des plateformes et outils Data.

Nous recherchons pour le compte de notre client dans le domaine de la retraite, Responsable MCO Data, BI et Big Data Objectif : le pilotage du maintien en condition opérationnelles des activités Décisionnel, Big Data et Bureau , et contribuer à garantir la qualité de service du système d'information tout au long du cycle de vie des solutions data. Missions : Rattaché au responsable du pôle Plateformes de données et Applications Data, au sein de l’entité Valorisation de la donnée, le profil aura pour principales missions : • Piloter directement des opérations (plans d’action spécifiques) • Planifier les projets et mettre les risques sous contrôle • Être en capacité de qualifier et de remonter les alertes le cas échéant • Animer les équipes du pôle • Assurer la maîtrise des délais, des plans de charge et des budgets définis • Garantir le respect des procédures et méthodes d’assurance de qualité et de sécurité du SI • Garantir l’atteinte des objectifs fixés en termes de niveau de service • Apporter une analyse critique sur les méthodes de travail et les résultats envisagés • Contribuer à la définition des orientations de la DSI-RC et à leur déclinaison opérationnelle pour les domaines fonctionnels SI Décisionnel et Big Data • Garantir la pertinence du SI mis en œuvre pour répondre aux objectifs Métier définis par la MOA ainsi que de la bonne exécution des process au quotidien • Accompagner les équipes dans la transformation de leur activité et dans leur montée en compétence.

🚀 Mission Freelance – Lead Tech Data Python / Spark (H/F) Dans le cadre du renforcement d’une équipe Data, nous recherchons un Lead Tech Data Freelance pour intervenir sur des sujets de développement, industrialisation et accompagnement technique autour des plateformes et traitements Data. 📍 Mission : Freelance 📅 Démarrage : ASAP 🏠 Mode d’intervention : Hybride / à définir 👤 Séniorité : Lead / Senior 🎯 Vos missions 🔹 Développer et maintenir des applications et traitements orientés Data en Python 🔹 Concevoir et maintenir des API , dashboards et pipelines de données 🔹 Participer à l’industrialisation des projets et à l’amélioration continue 🔹 Garantir la qualité logicielle : • Revues de code • Diffusion des bonnes pratiques • Accompagnement des équipes 🔹 Assurer le cadrage technique et accompagner les projets 🔹 Collaborer avec les équipes transverses et les Product Owners 🔹 Réaliser des études et analyses Data 🛠 Stack technique Python : FastAPI, Dash, Pandas, packaging, PyTest, parallélisation Data / Big Data : Spark (PySpark / Scala), Hadoop BDD : SQL, PostgreSQL, Teradata Outils : Git, GitLab CI/CD, Jira, Confluence, Bitbucket

Vous rejoignez CGI, leader mondial du conseil et des services numériques à Lyon et accompagnez nos clients. A Lyon, nos équipes accompagnent nos clients grands comptes dans la mise en œuvre de leurs projets stratégiques. Nos services couvrent l'ensemble du cycle de production logiciel, de l’amont des projets à la maintenance de solutions dans des domaines variés comme l'énergie, le transport, la pharma, le secteur public, la finance ou les télécommunications. Notre agence abrite également le centre mondial d'excellence de CGI dédié à la digitalisation de la supply chain, offrant ainsi de multiples perspectives d’évolution de carrière Fonctions et responsabilités Nous recherchons un(e) Développeur/euse Big Data Confirmé(e) pour intervenir sur la migration de traitements legacy vers des architectures modernes et participer à la refonte complète dans le cloud. Travail en Agile Migration de traitements existants (Informatica, PL-SQL) vers Spark Java Conception et développement de pipelines de données robustes et performants Maintenance corrective et évolutive des traitements SQL/PL-SQL existants Participation au projet de migration cloud sur Databricks Garantie de la performance, de la robustesse et de la qualité des données Participation active au RUN et à l'amélioration continue Contribution aux bonnes pratiques de développement Mise à jour du référentiel documentaire et partage de connaissances au sein de l'équipe Stack technique Spark / Java / SQL / PL-SQL / Databricks / Oracle / Informatica / Jenkins / Terraform / Git / Maven / Control-M Qualités requises pour réussir dans ce rôle Maîtrise de Spark (indispensable) Maîtrise de SQL / PL-SQL (indispensable) Programmation orientée objet Java ou Python Expérience sur des systèmes existants et culture du RUN en production

Nous recherchons un Tech Lead Data Engineer expérimenté H/F en CDI sur Lyon pour une entreprise de renommée française afin de piloter la conception et l’évolution de notre plateforme data. Vous serez référent technique sur les sujets liés au traitement de données massives, à l’industrialisation des pipelines et à l’optimisation des architectures data. Vous interviendrez dans un environnement moderne orienté Big Data et Cloud, avec une forte utilisation de Python, Spark et des outils d’automatisation CI/CD. 3 jours de Télétravail Missions principales Concevoir et développer des pipelines de données robustes et scalables Encadrer techniquement l’équipe Data Engineering Développer des traitements distribués avec Spark Assurer l’intégration et la transformation de données à grande échelle Optimiser les performances des bases PostgreSQL et des traitements Big Data Participer à l’architecture des solutions Hadoop et Data Lake Industrialiser les déploiements via GitLab CI/CD Garantir la qualité, la sécurité et la fiabilité des données Collaborer avec les équipes Data Science, DevOps et métiers Mettre en place les bonnes pratiques de développement et de gouvernance data

Dans le cadre du renforcement d’une équipe spécialisée dans les projets data à fort enjeu, nous recherchons un(e) Lead Tech orienté(e) Data Engineering / Data Science capable d’intervenir sur des environnements techniques exigeants et de contribuer à la montée en compétence des équipes. Vous évoluerez au sein d’un contexte stimulant, mêlant développement, traitement de données à grande échelle et accompagnement technique. Vos missions Au quotidien, vous serez amené(e) à : Concevoir et développer des solutions de traitement et d’analyse de données en Python Participer à la mise en place et à l’optimisation de pipelines data performants Travailler sur des architectures distribuées et des traitements volumineux via Spark et Hadoop Assurer la qualité, la maintenabilité et la performance des développements réalisés Collaborer avec les équipes techniques et métiers afin de comprendre les besoins et proposer des solutions adaptées Apporter un rôle de référent technique auprès des équipes Participer aux bonnes pratiques de développement, d’intégration continue et de déploiement Accompagner les collaborateurs sur les sujets techniques avec pédagogie et clarté Environnement technique Python Spark PostgreSQL Hadoop Git / GitLab CI/CD