Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Hive

💼 Poste : Bigdata Engineer Cloud 🏭 Secteurs stratégiques : Banque d’investissement 📍Localisation : Ile de France 🗓 Démarrage : ASAP Expérience souhaité : 0 - 3 ans Principales missions sont : Création et maintenance des architectures Big Data pour les besoins interne de l’entreprise. • interaction avec REST APIs • Kafka • gestion des jobs et administration Ansible • Technologies Confluence /JIRA pour la gestion documentaire, Git /Bitbucket Création et maintenance des architectures Big Data pour les besoins interne de l’entreprise. • interaction avec REST APIs • Kafka • gestion des jobs et administration Ansible • Technologies Confluence /JIRA pour la gestion documentaire, Git /Bitbucket

Principales responsabilités : - Collecte de données provenant de sources externes - Exploitation des capacités du Datalake (GCP) - Implémentation de la chaîne de traitement - Développement en conformité avec les normes architecturales établies - Élaboration et documentation des user stories - Création de scripts de déploiement - Priorisation de la résolution des anomalies - Contribution à la mise en place de la chaîne de livraison continue - Automatisation des tests fonctionnels - Encadrement et supervision des travaux des ingénieurs de données de l'équipe Environnement technique : GCP, Spark, Kafka, Scala

POSTE ET MISSIONS Nous recherchons un développeur Java senior pour rejoindre notre équipe technique. La mission nécessite une solide expérience dans le développement Java, une connaissance approfondie de Spring Boot, Tomcat et des API. Il faut avoir de l’expérience dans l’automatisation des tests avec les collections Postman. Les développements devront être réalisés dans le respect des bonnes pratiques de développement et des règles de sécurité. La maîtrise de l'initiation de paiement serait un atout. Description : • Réaliser les API donnant accès aux services internes en respectant les exigences de performance et de sécurité • Définir les nouvelles APIs en collaboration avec les équipes métiers et d’architecture • Développer et maintenir les APIs (basé sur les techno type Java, Maven, RAML, Anypoint) • Créer les tests unitaires / intégrations associés à chaque API • Déployer les APIs sur les différents environnements

• Mettre en place l’outillage Datascience et MLOPS et identifier les patterns et normes pour un usage par 40 caisses régionales • Évaluer et adopter de nouvelles technologies et méthodologies pour améliorer les processus MLOps et l'efficacité de l'équipe • Diriger l'élaboration et la mise en œuvre des pipelines / solutions MLOps pour l'entraînement, le déploiement et la surveillance des modèles ML • Superviser et encadrer une équipe technique, en fournissant une orientation technique, en fixant des objectifs et en assurant la montée en compétence des équipes internes • Participer à l'exploration continue (étude d'opportunité, cadrage) et aider à estimer l'effort et la valeur délivrée par les choix de designs éligibles pour favoriser la priorisation par le Product Owner et le Pôle Utilisateur (évolutivité, testabilité, déployabilité...) • Collaborer avec les parties prenantes internes pour comprendre les besoins métier et fournir des solutions ML efficaces et évolutives • Décliner le cadre d’Architecture d’Entreprise(processus, normes, patterns …) et contribuer à son évolution • Faciliter la prise de décision de manière collaborative sur la meilleure architecture (conformité, sécurité, risques...), avec un juste équilibre entre le respect de la cible d'entreprise et la réponse pragmatique au besoin • Maitrise les objectifs visés par le cadre d'Architecture d’Entreprise et décrit des solutions qui s'y conforment et sont implémentables sous forme incrémentale dans les sprints • Suivre et facilite la visibilité de la conformité des solutions de son périmètre par rapport à la stratégie d'entreprise • Responsable de la documentation produit(s) en veillant à sa pertinence, fiabilité et sa cohérence avec les cadres de référence de l'architecture (processus, guides, patterns...).

En tant que Data Engineer, vous travaillerez en direct avec le Team Lead, les business analystes et le PO. Vous aurez à cœur de comprendre le business model. Les projets à adresser visent le développement et maintenance de modules de gestion des données de consommation (intégration, transformation et exposition), de contrats, et leur représentation à travers différentes interfaces. Vous interviendrez aussi bien sur de l'analyse de besoin, design, développement, support, maintenance corrective et évolutive. Vous travaillerez dans une équipe auto-organisée en mode agile avec un Product Owner et 3 BA (Business analystes). Les activités de cette équipe couvrent l'analyse, le développement, les tests, le déploiement et le support. Vos activités principales seront : · La montée en compétence sur les process, produits et applications existantes · La compréhension du business et la réalisation de développements en pair avec un responsable fonctionnel · L’analyse et spécifications des besoins et algorithmes · Implémenter les corrections et évolutions en couvrant tous les aspect conception, codage, sécurité, gestion des erreurs, évolutivité, scalabilité, revues de code, testing, intégration continue, ...- · Fournir des services aux utilisateurs avec le plus haut niveau de satisfaction. · Fournir des estimations de charge et délais · Soutenir l'amélioration continue des services. Identifier les goulots d'étranglement et les bugs et définir des solutions à ces problèmes · Rédiger et mettre à jour les documentations · Proposer des solutions innovantes répondant aux problématiques fonctionnelles et techniques. · Travailler en étroite collaboration avec les BA, les utilisateurs, architectes et autres équipes de développement. · Fournir une communication efficace et opportune aux différentes équipes concernées

Dans le cadre de cette prestation, les différentes activités à réaliser à chaque Incrément ou Release sont les suivantes : T1 : Élaborer l’architecture logiciel pour le projet et préparer les dossiers de conception et de justification T2 : Coordonner la conception au sein de l’équipe logiciel T3 : Piloter les développements et vérifier leur cohérence avec les principes d’architecture T4 : Garantir le respect des standards du domaine, de la politique de re-use T5 : S’assurer de la consistance et cohérence système et logiciel en liaison avec l’architecte système T6 : Garantir la testabilité de l’architecture. Participer à l’élaboration des plans de test et aux actions correctives nécessaires lors de leur exécution

Basée à Lille, Lyon, Nantes, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Développeur Big Data (H/F) à Lyon, Auvergne-Rhône-Alpes, France. Contexte : Fonctionnement : sur site à Lyon + Télétravail à 50% Les missions attendues par le Développeur Big Data (H/F) : Description du profil : Ses missions tournent autour de 4 axes : o Apporter une expertise en Big Data pour faciliter la manipulation des données o Définir les solutions techniques permettant le traitement massif de données o Mettre en place des solutions de stockage de données o Veiller la sécurisation et la clarté des pipelines de données pour faciliter l’analyse et la transformation Il s’appuie si nécessaire sur les référents techniques des diverses briques si ces dernières sortent du cadre de sa mission. Il met en avant ses qualités pour mener à bien ses missions : o Autonomie, rigueur et force de proposition o Capacités d'analyse et de synthèse. o Esprit d’équipe 4 années d'expérience sont attendues sur le rôle au minimum. Activité principale : o Assure la création, la maintenance, l'optimisation et la sécurité des bases de données o Participe aux développements de flux de données permettant d’alimenter des bases de données o Assure la bonne exécution des traitements et identifie et corrige l’application en cas de problèmes Activité secondaire : o Veille technologique sur les outils utilisés au sein du projet o Partage et formation sur les guides de bonnes conduites Stack technique du projet : Hadoop, Spark, Spring, Java, Kafka, SQL, PostgreSQL, GIT, Ansible, Docker, Kubernetes, Tableau desktop, Power BI

Sur les environnements de préproduction : Contribution à la stratégie des tests, traçabilité de ces derniers au sein des outils de support de la qualification Dans le cadre de la préparation de la Mise en Production (MEP) et/ou de Mise en Service (MES) à venir : Contribution au plan de MEP/MES, Répétition des gestes de MEP/MES en respectant les modes opératoires prévus et le cadencement du plan de MEP/MES Rédaction des tâches de changements Exploitabilité de la solution et Validation d'Aptitude au Bon Fonctionnement (VABF) : Procédures standards : Arrêt / Marche des composants, fourniture des logs, etc... Continuité / Disponibilité des composants applicatifs définissant le service concerné Supervision de la plate-forme et des composants applicatifs Stratégie de Sauvegarde et de Restauration Journalisation / Archivage / RGPD Sur l'environnement de production : Réalisation de la MEP/MES et support à la Validation de Service Régulier (VSR) des projets Assurer le Maintien en Conditions Opérationnelles (MCO) dans un contexte des engagements de services définis avec les directions métiers : Gestion des incidents de production remontés par le service client, les directions métiers, nos filiales et les clients pro, le domaine Loterie ou la Direction des Opérations, Analyse et escalade en anomalie, voir problème lorsque nécessaire, Suivi des incidents pris en charge et anomalies créées Assurer de traitement de Demandes de Travaux (DMT) spécifiques

Êtes-vous passionné.e par le développement d'applications web robustes en Java, avec une expertise particulière dans le Framework Struts ? Nous recherchons un.e expérimenté.e qui souhaite relever de nouveaux défis et garantir l'excellence technique de nos produits. Rejoignez-nous et jouez un rôle clé dans la création d'applications web innovantes et fiables, en utilisant votre expertise en Java et Struts. 🔥 Vos responsabilités : Développement sous Java : Prendre en charge une partie des développements en respectant les règles et méthodes définies, avec une expertise avancée en Java. | Analyse et Évolution : Analyser, corriger et/ou faire évoluer les applications informatiques pour répondre aux besoins changeants du projet. Participation aux Tests : Participer activement aux différentes phases de tests, en garantissant une couverture exhaustive des fonctionnalités et en rédigeant la documentation projet associée. Collaboration en Équipe : Travailler efficacement au sein d'une équipe multidisciplinaire, en assurant une cohérence parfaite avec les objectifs du projet et en respectant les normes d'assurance qualité ISO 9001.

Contexte de la mission Le prestataire s'engage à effectuer les missions décrites dans les "Objectifs et livrables" sur les environnements d’homologation et/ou de production. Ces missions se dérouleront principalement dans le cadre de maintien en conditions opérationnelles et se feront dans le respect : De la documentation et les modes opératoires définis et industriels, Des processus opérationnels ITIL (gestion des incidents, des problèmes, des changements), Des outils et workflows mis en place par la gestion des processus. Objectifs et livrables Les missions que pourront effectuer le prestataire sont les suivantes : Sur les environnements de préproduction : Contribution à la stratégie des tests, traçabilité de ces derniers au sein des outils de support de la qualification Dans le cadre de la préparation de la Mise en Production (MEP) et/ou de Mise en Service (MES) à venir : Contribution au plan de MEP/MES, Répétition des gestes de MEP/MES en respectant les modes opératoires prévus et le cadencement duplan de MEP/MES Rédaction des tâches de changements Exploitabilité de la solution et Validation d'Aptitude au Bon Fonctionnement (VABF) : Procédures standards : Arrêt / Marche des composants, fourniture des logs, etc... Continuité / Disponibilité des composants applicatifs définissant le service concerné Supervision de la plate-forme et des composants applicatifs Stratégie de Sauvegarde et de Restauration Journalisation / Archivage / RGPD Concernant ces derniers points, ils constituent un Document Technique d'Exploitation (DTE) et des consignes opérationnelles qui seront maintenus à jour et communiqués au service ou plus largement au sein de la Direction des Opérations. Sur l'environnement de production : Réalisation de la MEP/MES et support à la Validation de Service Régulier (VSR) des projets Assurer le Maintien en Conditions Opérationnelles (MCO) dans un contexte des engagements de services définis avec les directions métiers : Gestion des incidents de production remontés par le service client, les directions métiers, nos filiales et les clients pro, le domaine Loterie ou la Direction des Opérations, Analyse et escalade en anomalie, voir problème lorsque nécessaire, Suivi des incidents pris en charge et anomalies créées Assurer de traitement de Demandes de Travaux (DMT) spécifiques

Espace-Freelance, réseau de consultants indépendants, recherche pour l’un de ses clients directs : un Data Engineer Expérimenté (H/F) – Paris Mission à pourvoir en régie sur Paris Présence sur site : 3 jours / semaine Compétences obligatoires : Python ; AWS ; PySpark ; Airflow ; Github ; anglais courant Votre mission : - Apporter une expertise sur la constitution des datasets et KPIs - Accompagner l’équipe sur les meilleurs choix techniques - Assurer la qualité des traitements et des données - Comprendre un modèle de données et s’en servir - Maitriser et contrôler la qualité de code - Mettre en place des indicateurs de mesure de qualité sur chaque développement REF : EFP/GMCPP/ODVB Plus d’offres sur :

Pour le compte de l' un de nos clients dans le domaine assuranciel, nous recherchons un Consultant/Chef de projet Cloud L’objectif de la mission est de définir et de mettre en place les principes de l’architecture des applications Cloud Native. - Définir les principes de conception d’une application dite Cloud Native en positionnant le rôle des API et du maillage de service - Définir les principes de mises en place des architectures de type microservices dont la granularité associée - Définir et accompagner la mise en œuvre du maillage de services via l’approche ServiceMesh o Recueillir les besoins et les critères permettant de faire le choix de la plateforme de ServiceMesh o Cadrer les principes et accompagner la mise en œuvre au sein de notre solution de gestion de conteneurs o Définir et accompagner la mise en œuvre des principes de développements de l’approche ServiceMesh - Définir les patterns de conception cible des applications comme Circuit Breaker, Canary Deployement, Blue/Green Deployement, A/B Testing, …. - Définir les patterns de conception d’architecture EDA et EventMesh ainsi que leurs déclinaisons opérationnelles o Recueillir les besoins et les critères permettant de faire le choix de la plateforme de gestion des évènements o Cadrer les principes et accompagner la mise en œuvre de la plateforme de gestion d’évènements - Cadrer les principes de recette et de validation de la nouvelle approche de développement qui sera choisie o Définir les principes de migration des anciens patterns de conception /développements vers la nouvelle approche - Former et accompagner le changement chez les parties prenantes - Conception de support de communication La prestation aura lieu principalement à Paris avec des déplacements réguliers sur le site du Mans et d’autres à prévoir de manière moins fréquente sur les sites de Niort, Levallois et Saran

Bonjour, je recherche pour un de mes clients un ARCHITECTE KAFKA Dans le cadre de la création de l’équipe streaming basé sur la technologie KAFKA Confluent Cloud, En tant qu'Architecte Kafka sur Confluent, vous serez responsable de la conception et de l'implémentation des architectures de streaming de données à grande échelle en utilisant Apache Kafka et la plateforme Confluent. Vous travaillerez étroitement avec les équipes de développement et d'opérations pour assurer la scalabilité, la sécurité et l'efficacité des solutions de données. Responsabilités principales Concevoir des architectures de données résilientes et évolutives en utilisant Apache Kafka et Confluent. Collaborer avec les équipes IT et business pour définir les exigences techniques et les objectifs de performance. Élaborer des stratégies de déploiement de Kafka, incluant la configuration des clusters, le choix des machines, et la définition des paramètres de performance. Assurer l'intégration de Kafka avec diverses sources de données et plateformes de traitement en aval. Diriger les évaluations de sécurité et les audits de conformité pour les infrastructures Kafka. Fournir un soutien technique et une expertise lors de la résolution de problèmes complexes. Développer et maintenir la documentation technique, y compris les architectures de référence et les meilleures pratiques. Mentorat et formation des développeurs et des autres architectes dans l'utilisation optimale de Kafka et Confluent. Compétences et qualifications Expérience approfondie avec Apache Kafka et la plateforme Confluent. Expérience démontrée en architecture de solutions de données à grande échelle. Maîtrise des langages de programmation tels que Java, Scala ou Python. Connaissance approfondie des pratiques de sécurité des données et des architectures microservices. Excellentes compétences en communication, en présentation et en leadership. Expérience attendue Expérience dans le développement opérationnel de flux sous KAFKA Expérience significative sur la plateforme Confluent Expérience significative dans un environnement Agile/ Hybrid Expérience de management d’équipes de développeurs et de suivi du delivery Test unitaire/Compliance /Performance Documentation & procédures afin de facilité au support le Monitoring technico fonctionnel des interfaces/Jobs Expérience SAP (ECC & S4/HANA) serait apprécié Coordination avec l’équipe de DEV afin de délivrer un support N3. Outils : KAFKA toolset Programmation et scripting (Java, PL/SQL, SQL, Unix, etc) Job Scheduling / Ordonnanceur (OpCon) Database (SQL Server) Gestion de la demande et service incident (JIRA / SNOW)

💡 Contexte /Objectifs : L'entité a pour charge la maintenance, le support et l'évolution de l'outil concernant le pilotage financier de la banque, des directions centrales et de la facturation interne du groupe. Les outils sont basés sur les technologies Big Data pour le stockage, Talend et Spark/Scala pour les traitements, la suite MSBI SQL Server et cube SSAS pour l'analyse mutlidimensionnelle et enfin du Power BI pour la restitution. Le Bénéficiaire souhaite mettre en œuvre plusieurs évolutions de son socle technique. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de Data Engineering. Dans ce cadre la prestation consiste à contribuer à/au(x) : - Support de l'application (notamment lors des clôtures mensuelles) - La maintenance évolutive - La conception et l'implémentation de nouvelles fonctionnalités - La refonte technique - La migration de Talend vers Spark/scala Environnement anglophone 2 - Livrables attendus Les livrables attendus sont : - Optimisation des performances - Le support de l'application et la documentation - La livraison des evolutions - La livraison des nouvelles fonctions demandées dans le cadre des projets.

Développeur spark /scala dans le secteur de l'assurance ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;; ;;;;;; ;;;;; ;;;;; ;;;;;; ;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;; ;;;;;; ;;;;; ;;;;; ;;;;;; ;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;; ;;;;;; ;;;;; ;;;;; ;;;;;; ;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;; ;;;;;; ;;;;; ;;;;; ;;;;;; ;;;;;;

En tant qu'ingénieur de production, votre mission s’articule de manière non exhaustive autour des sujets suivants : Installer et configurer les applications Mettre en place, configurer la supervision et l’ordonnancement Mettre en place, superviser et gérer les sauvegardes Installer les packages applicatifs livrés par les TMA Automatiser/scripter les déploiements Participer à la rédaction des docs (DAT/DEX/doc techniques, MODOP, etc...) Participer aux réunions projets internes Participer aux réunions avec les TMA Participer à la prise en charge et traiter les incidents N2/N3, problèmes, change et demande de service Participer aux projets clients Assurer la sécurité du SI, Antivirus, Patch Management, ... L’Ingénierie de Production est en mesure d’intervenir au sein de l’équipe 'Run' ou 'Projet' pour répondre à des actions ponctuelles ou des expressions de besoins client allant de quelques jours à plusieurs semaine/mois. La mission peut nécessiter des astreintes ou opérations planifiées en HNO selon les besoins clients.