Trouvez votre prochaine offre d’emploi ou de mission Big Data

Nous sommes à la recherche pour l’un de nos clients dans le secteur de l’énergie d’un développeur Big Data. Ses missions tournent autour de 4 axes : o Apporter une expertise en Big Data pour faciliter la manipulation des données o Définir les solutions techniques permettant le traitement massif de données o Mettre en place des solutions de stockage de données (SQL, NoSQL, etc.) o Veiller la sécurisation et la clarté des pipelines de données pour faciliter l’analyse et la transformation Il s’appuie si nécessaire sur les référents techniques des diverses briques si ces dernières sortent du cadre de sa mission. Activité principale : o Assure la création, la maintenance, l’optimisation et la sécurité des bases de données o Détecte, propose et suit les optimisations des requêtes SQL, PL/SQL afin de garantir les meilleures performances de nos applications métier o Assure le support aux équipes de développement afin d’identifier et proposer des solutions performantes SGBD les mieux adaptées d’un point de vue métier Activité secondaire : o Veille technologique sur les outils utilisés au sein du projet o Partage et formation sur les guides de bonnes conduites Stack technique du projet : Informatica, Java, Tableau Server, Oracle, Hadoop, Cascading, Maven, Hive, HDFS, Indexima, Control-M, Git, Jenkins, Ansible, Spark, Terraform Des astreintes sont à prévoir. Lieu : Lyon Télétravail possible à 50 : 2jours/sem et 3jrs/sem Démarrage : 01/03/2024

Concevoir et implémenter de nouvelles solutions techniques ; Developper des solutions en s’appuyant sur des APIs internes & externes, et développer vos propres API ; Exploiter les capacités de stockage et de traitements d’un écosystème Bigdata ; Evoluer dans un environnement Agile (français / anglais). Environnement technique : Java 8-17, Python 2-3, Spark, Azure Datalake, Azure HDi, Azure Kubernetes, Linux, Jenkins, Maven, Sonar, Ansible, Spring boot, Spring Data Jpa, Sosgresql, Elasticsearch, Kibana

Nous recherchons pour l’un de nos clients dans le secteur de l’énergie un Développeur Big Data avec plus de 6 ans d’expériences. MISSIONS PRINCIPALES : o Apporter une expertise en Big Data pour faciliter la manipulation des données o Définir les solutions techniques permettant le traitement massif de données o Mettre en place des solutions de stockage de données (SQL, NoSQL, etc.) o Veiller la sécurisation et la clarté des pipelines de données pour faciliter l’analyse et la transformation o Assure la création, la maintenance, l’optimisation et la sécurité des bases de données o Détecte, propose et suit les optimisations des requêtes SQL, PL/SQL afin de garantir les meilleures performances de nos applications métier o Assure le support aux équipes de développement afin d’identifier et proposer des solutions performantes SGBD les mieux adaptées d’un point de vue métier o Veille technologique sur les outils utilisés au sein du projet o Partage et formation sur les guides de bonnes conduites ENVIRONNEMENT TECHNIQUE : nformatica, Java, Tableau Server, Oracle, Hadoop, Cascading, Maven, Hive, HDFS, Indexima, Control-M, Git, Jenkins, Ansible, Spark, Terraform DETAILS MISSIONS : Localisation : Lyon Date de début : 01/03/2024 TJM : selon profil Travail Hybride

Nous sommes à la recherche d’un profil pour l’administration des plateformes type Hadoop et des clusters ElasticSearch pour une mission d’assistance technique pour l’un de nos client grand compte dans le secteur bancaire Tâches à réaliser : Installation et configuration des différents distributions sur Hadoop Installation et configuration des différents composants : Zookeeper, HDFS, Spark, Hive, Kerberos, Sentry, Anaconda, Hue, Kafka, Monitoring des clusters avec Ambari, Cloudera manager Administration des clusters : droits d’accès, Policy Ranger, création d’environnements, CI/CD Ansible, Jenkins, Développement des playbooks Ansible Optimisation des clusters ElasticSearch et Kafka à tous les niveaux notamment sur les parties requêtes, utilisation des features, architecture et performance Compétences recherchées : Maitrise ElasticSearch ELK Maitrise Ansible Tower Maitrise des grands usages et intégration de Dynatrace Expérience nécessaire : de 3 à 5 années minimum Méthodologie : Scrum, Safe et Kanban

La mission sera, au sein du domaine PGER , de mener une analyse fine de l’implémentation existante basée sur la distribution Hadoop Cloudera et de proposer/mettre en place des solutions permettant au système d’afficher des performances optimales sur les traitements quotidiens, et d’identifier/sécuriser les points de reprise en cas d’incidents. Le consultant sera amené, à travailler en méthode Agile avec les acteurs projet. Expertises spécifiques : Compétences recherchées : Maitrise de l’écosystème Hadoop particulièrement la distribution Cloudera ( HDFS, HIVE, HBASE, YARN, TEZ,RANGER..) Maitrise de Spark ( développement de jobs , analyse des logs, recherche de bug optimisation des traitements, Analyse du DAG) Maitrise de JAVA 8 Maitrise de SQL. Idéalement connaissance dans le DevOps ( Jenkins, Bitbucket, XLDeploy,Sonar) Bonne communication, autonomie et fluidité du travail en équipe. Description : Mettre en place la collecte et la mise à disposition des données au sein de l’entreprise Industrialiser et mettre en production des traitements sur les données (par exemple : mise à disposition de tableaux de bords, intégration de modèles statistiques) en lien avec les équipes métiers et les équipes qui les analysent.

La DSI Corporate met en place sur le projet Base des Pertes une solution basée sur les technologies Big Data. La mission sera, au sein du domaine Pertes, Garanties et Entrepôt Risques , de mener une analyse fine de l’implémentation existante basée sur la distribution Hadoop Cloudera et de proposer/mettre en place des solutions permettant au système d’afficher des performances optimales sur les traitements quotidiens, et d’identifier/sécuriser les points de reprise en cas d’incidents. Le consultant sera amené, à travailler en méthode Agile avec les acteurs projet. Description : Mettre en place la collecte et la mise à disposition des données au sein de l’entreprise Industrialiser et mettre en production des traitements sur les données (par exemple : mise à disposition de tableaux de bords, intégration de modèles statistiques) en lien avec les équipes métiers et les équipes qui les analysent Activités et tâches : Acheminement de la donnée Mise à disposition de la donnée aux équipes utilisatrices Mise en production de modèles statistiques Suivi de projet de développement Développement job spark

Assurer le maintien en conditions opérationnelles des environnements en collaboration avec les N3 Traitement des incidents d’exploitation sur tous les environnements : analyse, diagnostic et implémentation de solutions Assistance aux clients dans leur optimisation de traitements / requêtes Astreintes 2 jours par mois déclenchées sur incident, à se répartir sur l’équipe support Automatisation de l’infrastructure BigData / actions récurrentes via ANSIBLE Implémentation des recommandations N3 Participer aux déploiements de cluster Produire de la documentation sous Confluence, Git mais aussi Jira en renseignant les détails de résolution Agilité à l’échelle sur toutes les équipes, participation aux rituels SCRUM

Data engineer Montpellier Big Data, Scala/Java (expérience obligatoire dans l’un des deux langages)  Ecosystème Big Data (Hadoop, Spark, Apache Kafka, Avro ...) + 1j/3sem à Massy" Janvier "Contexte Au sein de la direction « Plateforme Data », le consultant intégrera une équipe SCRUM et se concentrera sur un périmètre fonctionnel spécifique. Son rôle consistera à contribuer à des projets data en apportant son expertise Profil Diplômé(e) d’un Bac+5 en école d'ingénieur ou équivalent universitaire avec une spécialisation en informatique. Expérience souhaitée de plus de 3 ans en tant que Data Engineer. Compétences  Expérience en architecture de systèmes distribués Big Data  Scala/Java (expérience obligatoire dans l’un des deux langages)  Ecosystème Big Data (Hadoop, Spark, Apache Kafka, Avro ...)  Maîtrise de la CI/CD et des outils de déploiement et orchestration (Jenkins, GitLab, Kubernetes,Docker, Ansible …)  Concepts fondamentaux de Kafka  Bases de données NoSQL (Cassandra, BigTable…)  Moteur de recherche (Elastic Search...)"

La mission sera, au sein du domaine Pertes, Garanties et Entrepôt Risques , de mener une analyse fine de l’implémentation existante basée sur la distribution Hadoop Cloudera et de proposer/mettre en place des solutions permettant au système d’afficher des performances optimales sur les traitements quotidiens, et d’identifier/sécuriser les points de reprise en cas d’incidents. Le consultant sera amené, à travailler en méthode Agile avec les acteurs projet. Expertises spécifiques : Compétences recherchées : Maitrise de l’écosystème Hadoop particulièrement la distribution Cloudera ( HDFS, HIVE, HBASE, YARN, TEZ,RANGER..) Maitrise de Spark ( développement de jobs , analyse des logs, recherche de bug optimisation des traitements, Analyse du DAG) Maitrise de JAVA 8 Maitrise de SQL. Idéalement connaissance dans le DevOps ( Jenkins, Bitbucket, XLDeploy,Sonar) Bonne communication, autonomie et fluidité du travail en équipe. Description : Mettre en place la collecte et la mise à disposition des données au sein de l’entreprise Industrialiser et mettre en production des traitements sur les données (par exemple : mise à disposition de tableaux de bords, intégration de modèles statistiques) en lien avec les équipes métiers et les équipes qui les analysent.

Intégré au sein du département Architecture d’Entreprise en DSI, vous intervenez pour renforcer l’équipe d’architectes data, dont la mission est de garantir le traitement, l’utilisation et la circulation des données au sein du SI en cohérence avec les ambitions et contraintes de l’Entreprise. Ainsi, vous agissez à favoriser sur le long terme l’alignement stratégique du SI, la réactivité nécessaire et la réduction des coûts. Voici vos principales missions : Vous contribuez à l’identification des objets métier de l’Entreprise, vous créez et maintenez le lien entre les objets applicatifs et le modèle d’Objet métier d’Entreprise pour cadrer leurs déclinaisons au sein des projets et des produits IT. Vous contribuez à la démarche de convergences des SI du groupe sous l’angle de la donnée (dictionnaire de la donnée commun, cible d’architecture data groupe, définition des étapes de transformation,...) Vous assurez que la solution implémentée est conforme en exploitant au mieux les possibilités de l’état de l’art, lors de points de contrôle répartis dans le cycle de vie des projets (animation de Design Authorities et de Comités d’Architecture) Vous garantissez la cohérente du référentiel d’architecture ainsi que son intégrité, depuis les objets applicatifs, liens vers les objets métier jusqu’aux implémentations physiques Vous aidez à l’amélioration du référentiel pour mieux couvrir les besoins de l’architecture de donnée Vous contribuez à la gouvernance de la donnée par une collaboration avec les équipes porteuses de la démarche ; vous animez et pilotez la cartographie des données du SI Vous construisez des vues transverses du SI destinées a comprendre le cycle de vie de la donnée de bout en bout dans le SI (data lineage) Vous développez la pratique d’architecture de données au sein de la DSI (vous communiquez les principes et le processus d’architecture des données, vous coachez aux pratiques d’architecture de données), vous participez à la communauté des architectes du Groupe et contribuez à la convergence (les pratiques, les solutions, les mutualisations ) inscrite à la stratégie d’Entreprise Vous anticipez l’amélioration continue des pratiques d’Architecture de données dans l’Entreprise

FRG Consulting recherche pour un cabinet de conseil en plein essor spécialisé dans les domaines de la data et de l'intelligence artificielle, un Tech Lead Big DATA GCP. Leur mission est d'accompagner leurs clients dans la valorisation de leurs données pour optimiser leurs performances et leur prise de décision. Description du poste : En tant que Tech Lead Big Data Expert en GCP, vous occuperez un rôle clé, combinant une expertise technique solide en Big Data sur Google Cloud Platform (GCP) avec une dimension managériale transverse auprès des équipes techniques et commerciales. Responsabilités : Concevoir et développer des solutions Big Data avancées sur GCP en utilisant des outils tels que dbt, Dataflow, Terraform et Docker. Diriger une équipe technique de 2 à 3 Data Engineers, les encadrer, les former et les accompagner dans la réalisation des projets. Utiliser votre bagage technique de Software Engineer pour garantir la qualité du code, l'optimisation des performances et l'adoption des meilleures pratiques de développement logiciel. Assurer une liaison étroite avec les équipes commerciales pour comprendre les besoins des clients, proposer des solutions techniques adaptées et garantir la réussite des projets. Collaborer avec les équipes de vente pour apporter un support technique lors des phases pré et post-vente, en présentant des solutions techniques de manière claire et convaincante. Contribuer à la définition et à l'évolution de l'architecture Big Data, en assurant l'évolutivité, la fiabilité et les performances des solutions. Maintenir une veille technologique constante pour intégrer les avancées et meilleures pratiques dans les projets, tout en partageant cette expertise avec les équipes. Exigences : Minimum de 5 ans d'expérience en tant que Software Engineer avec une expertise spécifique dans le domaine du Big Data sur la Google Cloud Platform. Solides compétences en programmation et en développement logiciel, avec une capacité à assurer la qualité du code et l'optimisation des performances. Maîtrise avancée de dbt, Dataflow, Terraform et Docker pour le déploiement et la gestion de solutions Big Data. Au moins 2 certifications Google Cloud Platform (GCP) attestant d'une expertise technique. Expérience avérée dans la gestion et le leadership d'équipes techniques, avec une capacité à former, encadrer et motiver. Excellentes compétences en communication pour interagir efficacement avec les équipes techniques et commerciales, ainsi qu'avec les clients. Capacité démontrée à comprendre les besoins métier et à traduire ces besoins en solutions techniques. Avantages : Rejoindre une équipe dynamique et innovante évoluant dans un environnement stimulant. Participer à des projets de pointe dans le domaine de la data et de l'IA. Possibilité de contribuer activement à la croissance et à l'évolution de l'entreprise. Perspectives d'évolution professionnelle au sein d'une entreprise en croissance.

Description et livrables de la prestation Au sein de l’équipe Socles Big Data et Machine Learning, l’architecte solution Big Data et ML sera amené à: Contribuer à l’évolution de l’offre de service de la plateforme Big Data Définir et maintenir le cadre de référence des principes d’architecture Big Data D’accompagner les développeurs dans l’appropriation de ce cadre de référence, Définir les solutions permettant de répondre aux besoin d’exposition, de consommation ou d’export de données des métiers D’accompagner les développeurs et les différentes parties prenantes dans la mise en œuvre des solutions proposées Mission principale : - Définition de socle technique en fonction de la roadmap 2024

Contexte de la prestation L’URSSAF est devenu opérateur de service essentiel de la DSN (Déclaration Sociale Nominative). A ce titre, elle a l’ambition de devenir l’opérateur de référence de la fiabilisation de la DSN dans l’objectif de fiabiliser le Recouvrement des cotisations sociales et les droits des salariés. Pour atteindre cet objectif, l’URSSAF opère une transformation de son système d’information DSN en mettant le big data au cœur de son architecture de traitement de la donnée. Objectifs de la prestation : Tech Lead Big Data - Spark Télétravail : 100 pourcent Missions : - Participer à la revue des exigences (User Stories) avec les membres du triptyque PO/proxy PO/Assistant PO et à la spécification des critères d’acceptation - Porter la conception technique des solutions mises en œuvre - Porter la mise en œuvre des enablers exploration de solution (POC) , changement d’infrastructure , changement d’architecture , Industrialisation - Participer à l’évaluation des charges de développement - Participer au sprint en tant que développeur expert - Assurer le support technique aux développeurs - Garantir le respect des normes de développement - Garantir la qualité des livrables Logiciels et Documentaires Compétences requises : - Expérience minimum de 5 ans en tant que Tech Lead Big Data dont 3 ans sur Spark, et au moins un projet Big Data Spark mené de bout en bout jusqu’à la production, - Expertise de l’écosystème Hadoop et Cloudera (Spark, Parquet, Oozie, HDFS, S3, )

Description du projet : Assurer : L’intégration des solutions PowerBI/Snowflake/SSIS/Data Factory dans le cadre de projets L’Intégration de la solution Datastage - projet montée de version Point d’entrée pour les incidents N3 (run) Autonome sur les technologies suivantes (classées par priorité) : Base de données : - Postgres ++ - MongoDB ++ - MariaDB ++ - Oracle ++ - SQL Server ++ ETL : -Datastage (adminstrateur/intergrateur du produit) - SSIS ++ - Data Factory ++++ Datalake : - Snowflake +++ Outil de restitution : -PowerBI ++++ La prestation devra être réalisée autour de 2 grandes missions principales: 1. Mode projet - Integration des composants applicatifs : analyser les besoins projets identifiés dans le DAT (Document d’Architecture Technique) déployer/configurer les composants de la solution appliquer les règles de sécurités en vigueur (RSSI) rédiger le dossier d’installation (infrastructure) et la recette technique documenter le DEX (Dossier d’Exploitation) accompagner les équipes d’exploitations pour la mise en production 2. Support incident de niveau N3 assurer le support sur tous les environnements être point d’entrée avec les éditeurs (Microsoft, IBM etc...) assurer la veille technologique identifier les failles de sécurité - proposer du patching Le prestataire devra posséder un savoir être sans faille: Relationnel, travail en équipe Ouvert à l’échange Solidaire des autres intervenants Capacité à expliquer, à former MAJ documentaire : DI - Dossiers d’installation Cahiers de recette technique DEX - Dossiers d’exploitation

Au sein d’un environnement riche et complexe, vous évoluerez avec des experts passionné(e)s à la fois techniques et fonctionnels (Ingénieurs spécialisées, chef de projet, scrum master, product owner, analystes...). Stacks Technique: ETL Talend Python Spark Hadoop / SQL Server Vous justifiez idéalement d’une expérience d’au moins 5 ans sur un poste similaire. Votre curiosité, proactivité et votre esprit d’équipe seront vos meilleurs atouts !

Architecte DATA Big Data, NoSQL Hadoop Spark ETL (Talend) ML Localisation : Mer (gare à proximité à 5 min du client) Besoin : Rôle transverse et en relation étroite avec CDO, CISO, DPO, architectes fonctionnels et architectes techniques, les chefs de projets de la DSI, cellule Data de la Direction des Opérations Proposer et optimiser les architectures de données en lien avec les projets. Pour traduire les besoins en solution d’hébergement (On Prem / Cloud), en solutions de stockage de données (structurées / non-structurées), en organisation de données (Datalake, Datawarehouse) et modalités d’alimentation et des restitutions. S’assure du respect des usages, normes et standards Groupe et leur traduction dans le contexte client (dictionnaire de données). Ceci inclut la bonne gestion des données de référence, des métadonnées et de leur sécurité. Participation aux comités de gouvernance des données, qualité des données, d’architecture, etc. Participation au traitement des recommandations d’audit : • Schéma directeur data • Définition des principes de stockage, conservation et restitution des données sensibles (DCP) dans de DWH et dans les SI client Participation aux ateliers de la communauté Data du Groupe • Pour assurer une veille organisationnelle et technologique • Pour entendre et répercuter les REX groupe • Pour représenter le client et présenter les REX et usages client Etre en mesure de solliciter pertinemment et challenger les interlocuteurs techniques et les fournisseurs (infogérants et éditeurs) sur les sujets Data : Cloud, choix de technos. Profil Parcours : connaissance des architectures DATA avec expérience minimum de 3 ans sur un poste similaire Connaissances / Compétences / Savoir être :  Maîtriser les principales technologies de bases de données (Relationnelles, Big Data, NoSQL), d'infrastructures serveurs (Hadoop, Spark), des technologies de streaming, des ETL (Talend), des outils de data visualisation (Cognos, PowerBI) et de Data Science (Python, MLOps), des API  Connaissance en IA et en Machine Learning  Maitrise du contexte réglementaire (RGPD, AI Act) et de l’état de l’art de la gouvernance de données et de la sécurité associée  Connaissances fonctionnelles banques/valeurs mobilières  Aisance relationnelle : capacité à créer du lien autour de la donnée, de convaincre, d’engager et de travailler en en équipe