Trouvez votre prochaine offre d’emploi ou de mission freelance Hadoop

Profil recherché AMOE Développeur confirmé (BAC+5 ou équivalent). >> Expérience sur au moins 4 projets Big Data HDP (HortonWorks 2.5). Maîtrise des technologies : Scala, Spark, Hive, HDFS, Phoenix/HBase, Oozie, Hue Linux/Shell/SQL, Git Azure, Databricks Qualités personnelles : autonomie, rigueur, sens de l’analyse, esprit d’équipe . Objectifs de la mission Assistance à la MOE pour la maintenance corrective et évolutive des 2 applications. Sensibilité élevée des données (restituées au COMEX). Réalisation des tâches suivantes : Analyse, développement, correction d’anomalies. Tests unitaires, assistance aux recettes. Mise à jour de documentation et préparation des livraisons. Mise en production.

Les équipes Data Systems de notre client recherchent un Senior Cloud Data Engineer passionné, basé à Paris, pour accompagner la forte croissance de leurs activités. En rejoignant l'équipe : Vous intégrerez une équipe autonome, impliquée dans un programme de transformation autour de projets de Data Engineering. Vous apporterez votre expertise sur la stratégie data, serez impliqué dans l’architecture et l’implémentation, et aurez l’opportunité d’expérimenter de nouvelles technologies. Vous jouerez un rôle clé en guidant les bonnes pratiques, en garantissant la fiabilité, la maintenabilité et la scalabilité des solutions que nous proposons à nos clients. Vos missions Concevoir, développer et déployer des solutions data sur le cloud (principalement AWS, mais aussi Azure ou GCP). Construire et maintenir des pipelines de données performants, sécurisés et automatisés. Travailler sur des architectures modernes type Lakehouse (Hudi, Iceberg, Delta) et appliquer des optimisations (Compaction, Z-Order, etc.). Orchestrer des pipelines avec Airflow et exploiter des environnements Hadoop / Spark. Développer en Python, SQL, Docker, avec mise en place de CI/CD et principes DevOps. Garantir la performance, la disponibilité et la sécurité des applications. Accompagner les membres moins expérimentés de l’équipe et partager les bonnes pratiques. Participer à des projets innovants et contribuer à l’évolution de notre offre Cloud Data Engineering. Profil recherché 5 ans minimum d’expérience pratique dans la construction de pipelines de données sur le cloud (AWS de préférence, Azure ou GCP acceptés). 3 ans minimum en architecture, conception, développement et support de solutions data. Connaissance des bases de données, ETL, BI, Big Data, Machine Learning et Advanced Analytics. Maîtrise des environnements Hadoop, Spark, Airflow. Expérience des architectures Lakehouse. Solides compétences en Python, SQL, CI/CD, automatisation et gestion de conteneurs (Docker). Connaissances de base en services cloud (réseau, sécurité, stockage, IAM). Bonne compréhension des méthodologies Agile et DevOps. Esprit ouvert, curieux et orienté apprentissage continu. Bon relationnel et capacité à collaborer avec des équipes pluridisciplinaires. Excellente communication écrite et orale en français et en anglais. Expérience souhaitée : infrastructures Linux, applications conteneurisées. Ce que nous offrons Participation à des projets data innovants et stratégiques. Un environnement stimulant, multiculturel et orienté partage de connaissances.

Nous recherchons un ingénieur Big Data confirmé pour intervenir sur une plateforme Datalake de grande envergure. Vous apporterez votre expertise technique sur l’exploitation et l’évolution d’un écosystème Big Data complexe et moderne, et contribuerez à son maintien en condition opérationnelle ainsi qu’à son amélioration continue. Vos principales missions : Assurer le maintien en conditions opérationnelles de la plateforme Big Data (MCO, incidents, demandes projets/utilisateurs). Contribuer à l’ implémentation et à l’automatisation des solutions. Réaliser et suivre les mises en production . Participer à l’ amélioration continue des outils et processus d’exploitation. Communiquer et accompagner les utilisateurs finaux. Produire les livrables attendus : Récapitulatif mensuel des tickets traités (incidents, demandes). Statut bimensuel des projets en cours.

L'objectif de la mission est de renforcer une équipe avec un rôle de Développeur / Data Engineer orienté DevOps au sein d'une Squad : Gestion de la production Gestion de la dette technique Revoir l'architecture actuelle et proposer des évolutions Développements liés aux projets La mission principale de la prestation aura pour but de : traiter nos obsolescences de Framework (ex : springboot , spark2 ) moderniser et industrialiser nos pipelines de build en intégrant les bonnes pratiques devsecops : migration depuis tfs vers jenkins création directe sur jenkins Le but étant d'optimiser notre code , d'assainir et d'automatiser nos déploiements via xldéploy. Le code concerne nos apis et nos process de transformation hadoop/spark ( en java , python )

Bonjour, Pour le compte de notre client nous recherchons un TECH LEAD BIG DATA Le domaine d’intervention du Tech Lead Data Engineering comprend les études, l’architecture du SI Big Data, le choix des solutions et outils, le pilotage technique du Build et du Run. Comme référent technique Big Data, vous assurez le lead technique de l’équipe de développeurs, avec en responsabilité, la conception et la mise en œuvre des solutions Big Data, ainsi que le pilotage technique de projets. Sous la responsabilité du responsable du SI Big Data, vous piloterez techniquement les activités de Data Engineering : - étude et prise en compte des besoins de traitement de la data, - gestion des priorités et de la cohérence des besoins, - choix des outils et solutions - conception et mise en œuvre des architectures de données évolutives et performantes, sécurisées et résilientes - direction et encadrement technique d’une équipe de data ingénieurs composée d’intervenants externes : suivi, support, adoption des bonnes pratiques de développement sécurisé - suivi de la qualité, de la sécurité des données et des traitements, de la performance opérationnelle des traitements - participation et support au delivery nécessitant l’expertise technique et data - veille technologique pour rester à l’état de l’art en matière de traitement massif des données, et d’utilisation de l’IA pour l’automatisation, la prédiction, la génération de data et de code. - support des équipes Data Science et R&D sur le cycle de déploiement/optimisation et industrialisation des solutions d’IA - conception et mise en place d'API pour l'intégration des solutions Big Data avec d'autres systèmes, - développement et intégration de modèles d'IA générative pour des applications spécifiques, - assurer la maintenance et l'évolution des API et des modèles d'IA générative.

Smarteor recherche pour l'un de ses clients, Un Architecte Solution Data sur Paris + TT Projet : La définition / accompagnement des roadmap technologiques de ces produits, dans le respect de la trajectoire de modernisation du SI fixé. La promotion des offres technologiques La définition des architectures techniques et des livrables correspondants Principaux livrables : Définir et animer l’architecture technique des solutions, produire les livrables d’architecture techniques, compléter et superviser l’évolution de ces Architectures Technique au cours de leur mise en œuvre Accompagnement des équipiers (architecte applicatif, squad) et du Cluster (chef de projet, ingénieur de production, intégrateur, etc) dans l’implémentation et la vie de la solution technique définie, dans une logique Devops et agile Dont contribution aux phases de tests et benchs Dont le traitement des obsolescences techniques Suivi des mises en œuvre/construction de produits techniques, en liaison avec les socles technologiques fournisseurs (animation et/ou suivi) Dossiers et schéma d’architecture, et livrables associés Documents de vulgarisation Rapports techniques, Compétences requises : Architecture technique de solutions hybrides (native, monde open, mainframe) Dont Conteunerisation , micro-services, kubernetes Dont Virtualisation (EsX/VM) et réseaux (flux, transferts, DNS, firewall,proxy…) Base de données relationnelles et NoSQL (MongoDB, Elastic, etc..), gestion de cache Framework BigData (Hadoop, Spark, etc..) Connaissances en développement sur des nouvelles technologies Environnement de travail Windows Concept DEVOPS et AGILITE Bon esprit de synthèse orale et écrite Aisance relationnelle Prise de recul, esprit synthétique et d’alerting Si vous êtes disponible et intéressé, merci de me faire parvenir votre TJM ainsi que votre CV à jours en format word.

Basée à Lille, Lyon, Nantes, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Développeur / Data Engineer / DevOPS H/F à Paris, France. Contexte : Les missions attendues par le Développeur / Data Engineer / DevOPS H/F : L'objectif de la mission est de renforcer l'équipe avec un rôle de Développeur / Data Engineer orienté DevOps au sein de la Squad : - Gestion de la production - Gestion de la dette technique - Revoir l'architecture actuelle et proposer des évolutions - Développements liés aux projets Concrètement : la mission principale de la prestation aura pour but de : - traiter nos obsolescences de Framework (ex : springboot , spark2 ) - moderniser et industrialiser nos pipelines de build en intégrant les bonnes pratiques devsecops : - migration depuis tfs vers jenkins - création directe sur jenkins Le but étant d'optimiser notre code , d'assainir et d'automatiser nos déploiements via xldéploy. Le code concerne nos apis et nos process de transformation hadoop/spark ( en java , python ou.net )

Contexte Vous intervenez au sein du Chapitre Data de notre client, basé à Vannes , dans un environnement Big Data Cloudera . Le Chapitre agit en transverse et contribue à la fabrication des cas d’usage Data pour plusieurs Squads métiers. Vous serez amené à : Collaborer avec différentes équipes métiers Travailler avec des interlocuteurs changeants Échanger avec les membres du Chapitre local et national Responsabilités Participer à la définition de l’architecture Data (en lien avec les architectes et la Squad) Concevoir, affiner et développer des solutions de collecte & stockage de données multi-sources Mettre en œuvre des tests unitaires & automatisés Déployer les produits dans différents environnements Superviser la production , gérer les incidents et le support Contribuer à l’amélioration continue des pratiques et de la qualité de code

🎯 Contexte de la mission : Vous rejoignez une équipe agile (Tribe composée de 3 Squads) dédiée à l’administration, à l’évolution et à la sécurisation d’une plateforme Big Data stratégique utilisée pour les calculs réglementaires et financiers d’un grand groupe bancaire. Vous interviendrez au sein de la Squad Data Platform , qui assure l’expertise technique sur la stack (Cloudera Hadoop, Linux, Ansible, K8s, Dataiku, Tableau, etc.). 🚀 Vos missions : Assurer le maintien en conditions opérationnelles de la plateforme Gérer les incidents, évolutions, et montées de version Implémenter des solutions IT répondant aux besoins métiers (calculs réglementaires, stress tests, reporting) Participer à l’ automatisation des déploiements via Ansible Contribuer à l’ amélioration continue de la plateforme (sécurité, obsolescence, résilience, documentation, etc.) Proposer des solutions adaptées aux différents composants techniques : Hadoop (HDFS, Hive, Spark) Dataiku DSS, Tableau Applications internes (Java, Angular, Spark, Shell) Participer à la rédaction de documentation technique et à la conception des solutions dans le respect des normes IT internes

Merci de bien lire l'annonce ci dessous et vérifier que vous correspondez au besoin. Nous recherchons exclusivement des candidats basés à Vannes ou en Bretagne . Merci de ne pas envoyer de candidature si vous êtes situés hors de cette zone géographique. En tant que Data Engineer , votre mission principale sera de produire des solutions techniques robustes et performantes pour exploiter au mieux les données du client. Cependant, votre rôle ne se limitera pas à l’aspect technique : vous serez également un partenaire stratégique des métiers , capable d’identifier leurs besoins, de comprendre leurs enjeux et de proposer des solutions techniques adaptées. Vos responsabilités : Concevoir, développer et maintenir des pipelines de données performants et évolutifs Participer à la définition de l'architecture Data Développer les solutions de collecte et de stockage des données Mettre en place les tests unitaires et automatisés Garantir la qualité, la sécurité et l’intégrité des données tout au long de leur cycle de vie. Implémenter des solutions qui optimisent la gestion des données pour les équipes métier. Collaborer étroitement avec les équipes métier pour comprendre leurs objectifs stratégiques. Faciliter la communication entre les équipes techniques et les non-techniciens Vous serez à la croisée des chemins entre technique et métier , jouant un rôle clé pour transformer les données en un véritable levier de décision. Votre capacité à allier expertise technique et vision stratégique fera de vous un acteur indispensable pour relever les défis de l’entreprise.

La mission va se dérouler au sein de l'IT Data Management & BI dans l'équipe Big Data & API / Squad CCO qui aujourd'hui gére l'Entrepôt des données client de la CIB à travers l'application INDIXIS utilisée par les équipes IT et métiers. L'objectif de la mission est de renforcer l'équipe avec un rôle de Développeur / Data Engineer orienté DevOps au sein de la Squad : - Gestion de la production - Gestion de la dette technique - Revoir l'architecture actuelle et proposer des évolutions - Développements liés aux projets Concrètement : la mission principale de la prestation aura pour but de : - traiter nos obsolescences de Framework (ex : springboot , spark2 ) - moderniser et industrialiser nos pipelines de build en intégrant les bonnes pratiques devsecops : - migration depuis tfs vers jenkins - création directe sur jenkins Le but étant d'optimiser notre code , d'assainir et d'automatiser nos déploiements via xldéploy. Le code concerne nos apis et nos process de transformation hadoop/spark ( en java , python ) Expertises spécifiques : - Spark / PySpark /Python / Java / SpringBoot / .net - Hadoop sur infra on premise - Hive / SQL/HQL - Unix/Bash - Pipeline CI/CD jenkins - XLDeploy/XLRelease - Control-M - API

Notre client grand compte est à la recherche d'un Data Engineer Scala/Hadoop Profil : Data Engineer (Spark / Hadoop) Nombre d’années d’expérience minimum : 5 Compétences techniques requises/indispensables : Solide maîtrise de Java Forte maîtrise de Spark Très bonne connaissance de l’écosystème Hadoop (Hive, Hdfs, Yarn, Hbase, …) Maîtrise des bases de données relationnelles et NoSQL Expérience dans l’optimisation performances des traitements Batch Spark Expérience avec les outils CI/CD (Git, Jenkins, Kubernetes, …)

Dans le cadre d’un projet stratégique lié à l’industrialisation de nouvelles lignes de production, nous recherchons un Data Engineer Sénior pour intervenir sur la conception et le développement de flux de données. La mission consiste à spécifier, développer et maintenir des pipelines d’ingestion et de transformation de données dans un environnement Big Data. Le consultant interviendra en régie, au sein d’une équipe Data pluridisciplinaire, en lien avec les équipes IT et métiers. Expérience : Minimum 2 ans en tant que Data Engineer dans des environnements Big Data

Une grande entreprise du secteur de l’énergie recherche un(e) Développeur(se) Data confirmé(e) pour assurer le maintien en conditions opérationnelles (MCO) de son DataLake en production. Le DataLake est alimenté par une quinzaine de sources différentes et repose sur une stack technique moderne basée sur Hadoop (distribution TDP) . Vous rejoindrez une petite équipe autonome (2 devs) fonctionnant en mode agile, en lien avec les équipes DevOps, TDP, exploitation et les métiers.

Au sein d'une entité, la chaîne informatique de risques opérationnels contient les contrôles anti-fraude de la 1ere ligne de défense sur les opérations de marché des activités de trading de SGCIB. L'entité travaille sur la transformation de la chaine afin de tirer profil de la technologie big data, d'un datalake Microsoft Azure et donner un maximum d'autonomie aux utilisateurs. A ce titre le bénéficiaire souhaite bénéficier de l'expertise du prestataire en termes de Data engineering. Dans ce cadre, la prestation consiste à contribuer à / au(x) : - l'architecture technique en big data Azure : spark, hdi/azure storage et livy - l'Implémentation des nouvelles données/traitements dans le datalake Microsoft Azure.

Spark (spark streaming et batch), Kafka, scala, java Valeurs et Pratiques agiles ; cadre Scrum. Stack Hadoop Cloudera Hdfs, Hive, Hbase, Phoenix DEVOPS : GITLAB CI/CD, Jenkins, Artifactory, SonarQube, XL Release, ELK, Grafana … TESTS : XRAY et JUNIT, bonnes pratiques d'automatisation (Craftmanship) Compétences Humaines L'envie constante d'apprendre et de progresser Intelligence collective : Une bonne communication et l'esprit d'équipe La pugnacité nécessaire pour trouver les solutions les plus efficaces et être force de proposition 3 jours sur site/ 2 jours en TT