Trouvez votre prochaine offre d’emploi ou de mission freelance Data Engineering

Contexte de la mission : Dans le cadre d'un programme de transformation digitale et data, notre client recherche un(e) Senior Data Engineer afin de renforcer une équipe en charge du développement de produits data stratégiques au sein d'un Cloud Center of Excellence et d'un Digital Accelerator. La mission se déroule dans un environnement international et vise à concevoir, développer et faire évoluer une plateforme data ainsi que les produits associés, tout en contribuant à l'amélioration continue des pratiques d'ingénierie et d'industrialisation des données. Objectifs et livrables : Le/la consultant(e) aura pour principales missions de : · Concevoir, développer et maintenir des pipelines de données ETL/ELT. · Développer et industrialiser les traitements de transformation de données. · Concevoir et faire évoluer des Data Lakes, Data Warehouses, Data Marts et cubes de données. · Intégrer différentes sources de données (API, fichiers, traitements batch et temps réel). · Optimiser les performances des traitements et des requêtes SQL. · Mettre en œuvre les bonnes pratiques de développement, d'intégration et de déploiement. · Collaborer avec les équipes Produit, Data, Plateforme et Product Owners. · Participer aux phases de cadrage et de Data Discovery. · Mettre en place et maintenir les chaînes CI/CD dédiées aux workflows data. · Évoluer dans un environnement Agile. Livrables attendus : · Développement et déploiement des composants data. · Documentation technique et fonctionnelle. · Documentation des modèles de données. · Rapports d'audit et de contrôle qualité. · Rapports de tests d'acceptation. · Support technique et transfert de compétences. Compétences requises : · Solide expérience en Data Engineering. · Maîtrise des architectures ETL/ELT. · Excellente maîtrise de SQL. · Expérience sur Microsoft SQL Server (SSIS, SSAS, PBIRS). · Connaissance des architectures Data Warehouse et Data Lake. · Développement de pipelines de données. · Optimisation des performances (Performance Tuning). · Maîtrise d'outils ETL tels que Talend, Azure Data Factory (ADF) ou SSIS. · Expérience des chaînes CI/CD avec Azure DevOps ou GitLab. · Expérience en environnement Agile.

ContexteDans le cadre de l'accélération de la transformation Data et de l'industrialisation des usages analytiques, nous recherchons un Product Owner Data Alteryx pour accompagner la mise en œuvre de la roadmap de la plateforme Alteryx et piloter le développement des cas d'usage métiers autour de l'automatisation et de la valorisation des données. Le Product Owner interviendra à l'interface entre les équipes métiers, les équipes Data et les équipes techniques afin de garantir l'adéquation des solutions développées avec les besoins des utilisateurs et les objectifs stratégiques de l'entreprise. Missions : Pilotage de la roadmap AlteryxParticiper à la définition, à la priorisation et au suivi de la roadmap de la solution Alteryx. Recueillir, challenger et formaliser les besoins métiers liés aux usages Data et analytiques. Identifier les opportunités d'automatisation et d'optimisation des processus grâce à Alteryx. Assurer l'alignement entre les priorités métiers et les capacités de la plateforme. Gestion du backlog produitConstruire et maintenir le backlog produit. Rédiger les User Stories et définir les critères d'acceptation. Prioriser les demandes en fonction de la valeur métier et des contraintes techniques. Animer les cérémonies Agile (backlog refinement, sprint planning, démonstrations, rétrospectives). Coordination des équipesCoordonner les échanges entre les équipes métiers, Data Engineering, BI et IT. Suivre l'avancement des développements et lever les éventuels points de blocage. Organiser les phases de recette fonctionnelle et accompagner la mise en production des workflows. Gouvernance et adoptionParticiper à la définition des standards de développement et des bonnes pratiques Alteryx. Contribuer à la gouvernance de la plateforme et à la gestion des droits d'accès. Accompagner les utilisateurs dans l'adoption de la solution. Produire et maintenir la documentation fonctionnelle et les supports de formation.

Contexte Notre client, l'un des premiers énergéticiens au niveau mondial, est présent sur l'ensemble de la chaîne de l'énergie, en électricité et en gaz naturel, de l'amont à l'aval. Il s'appuie sur un portefeuille d'approvisionnement diversifié et un parc de production flexible et performant pour proposer des solutions énergétiques innovantes aux particuliers, aux collectivités et aux entreprises. Au sein du groupe, une entité dédiée à la décarbonation des infrastructures de ses clients entreprises et collectivités locales (BtoB) porte cette mission. Au sein de cette entité, le pôle Data & IA de la direction Digital & Data a pour objectif de valoriser les données pour en faire un vrai levier de compétitivité, soutenir les enjeux stratégiques du métier et identifier de nouvelles sources de performance. Nous recherchons un data scientist senior passionné par l'intelligence artificielle (machine learning, deep learning, IA générative). Vous travaillerez sur la conception, l'optimisation et l'implémentation de solutions innovantes pour répondre aux besoins métiers et améliorer les capacités des systèmes IA. Concevoir, implémenter et optimiser des modèles d'IA générative (text-to-text, etc.) pour des applications innovantes Participer à l'industrialisation des solutions d'IA et à leur mise en production Assurer le monitoring, l'évaluation et l'amélioration continue des modèles (MLflow, etc.) Veille technologique et expérimentation sur les avancées des modèles LLM La mission principale est le développement et la conception d'agents pour la plateforme data de l'entité. Cette plateforme propose des fonctionnalités d'exploration des datasets et d'interrogation en langage naturel. L'objectif est d'intégrer de nouvelles features et de nouveaux agents sur des cas d'usage spécifiques (data viz, data quality, cartographie, time series, speech to speech, etc.). Livrables Code source (composants applicatifs et tests unitaires) Dossier de cadrage des agents Participation au dossier d'architecture Participation au dossier RGPD Participation au dossier Privacy Participation au dossier Cyber Design des agents Livraison d'agents IA sur la plateforme Tests techniques et fonctionnels (jeux de tests analytics) Compétences requises CompétenceImportanceNiveau requisDatabricks10Avancé (5-8 ans)Esprit orienté qualité et livrable9Senior (8-10 ans)Expertise NLP et traitement du langage et du contexte9Avancé (5-8 ans)Orienté service9Senior (8-10 ans)Autonomie, proactivité, capacité à challenger8Senior (8-10 ans)Data Engineering (Python, PySpark, API REST)8Senior (8-10 ans)Gen AI & LLM : RAG, Embedding, modèle de langage8Avancé (5-8 ans)Gen AI Amazon Bedrock8Avancé (5-8 ans)Gestion et coordination de projet8Senior (8-10 ans)LLM Ops / CI-CD / Monitoring exploitation des agents8Avancé (5-8 ans)

Dans le cadre du renforcement de sa Data Factory, nous recherchons actuellement un.e Lead Tech Data & IA pour intervenir chez l'un de nos clients du secteur bancaire. Vous intégrerez une squad technique en charge de la conception, du déploiement et de l'évolution des plateformes permettant aux utilisateurs de développer et d'industrialiser des cas d'usage avancés en Data Science, Machine Learning, MLOps, IA Générative et LLMOps. La mission s'inscrit dans un contexte stratégique de transformation avec plusieurs enjeux majeurs : modernisation de l'offre Data Science et MLOps existante ; construction d'une nouvelle plateforme cible Studio IA ; évolution du portail de services Data & IA ; industrialisation des usages IA dans un environnement sécurisé et à grande échelle. Vous interviendrez comme référent technique de la squad afin de définir les architectures cibles, sécuriser les choix technologiques et accompagner les équipes dans la mise en œuvre des solutions. 🎯 Votre rôle En tant que Lead Tech Data & IA, vous êtes garant.e de la vision technique de la plateforme Studio IA. Vous accompagnez les équipes dans la conception, l'industrialisation et l'évolution des solutions Data et IA, depuis les phases de cadrage jusqu'au déploiement en production. Vous jouez un rôle clé dans : la définition des architectures techniques ; la mise en place des pratiques MLOps / LLMOps ; l'industrialisation des cas d'usage IA ; l'accompagnement des équipes internes ; la construction de la roadmap technique. Vos missions🏗 Architecture et conception technique Vous définissez les solutions techniques permettant de construire une plateforme Data & IA scalable, sécurisée et industrialisée. Vos principales responsabilités seront de : Concevoir les architectures applicatives, techniques et infrastructure ; Traduire les besoins métiers en solutions techniques réalistes ; Définir les patterns d'architecture et bonnes pratiques ; Garantir la conformité avec les standards SI, sécurité et urbanisation ; Concevoir des solutions évolutives, maintenables et résilientes ; Accompagner les squads dans leurs choix techniques. 🚀 Construction de la plateforme Studio IA Vous participez activement à la définition et à la construction de la plateforme cible. Vous serez amené.e à : Concevoir l'architecture technique du Studio IA ; Définir les composants nécessaires à l'industrialisation des cas d'usage IA ; Étudier l'intégration des frameworks Machine Learning et IA Générative ; Participer à l'intégration de modèles LLM, APIs IA et bases vectorielles ; Définir les besoins en calcul, stockage, orchestration et supervision ; Accompagner les choix technologiques de la plateforme. 🤖 MLOps, LLMOps et industrialisation Vous contribuez à la mise en place d'une chaîne complète d'industrialisation des modèles. Vos missions incluent : Définir et améliorer les processus MLOps et LLMOps ; Structurer les pipelines de développement, tests, déploiement et supervision ; Garantir la reproductibilité et la traçabilité des modèles ; Industrialiser les workflows Machine Learning ; Mettre en place les pratiques CI/CD adaptées aux environnements Data et IA ; Évaluer de nouvelles technologies et approches. 🧭 Pilotage technique et roadmap Vous contribuez aux orientations techniques de la Data Factory. À ce titre, vous serez chargé.e de : Participer à la construction de la roadmap Data Science, MLOps, IA et LLMOps ; Réaliser des études d'opportunité et analyses de faisabilité ; Identifier les impacts techniques, coûts, risques et dépendances ; Accompagner le Product Owner dans les choix de priorisation ; Faciliter les arbitrages entre vision cible et contraintes opérationnelles. 🔎 Qualité, gouvernance et accompagnement des équipes Vous êtes garant.e de la qualité technique des solutions développées. Vous intervenez sur : Les revues d'architecture et de conception ; Les revues de code ; L'amélioration des pratiques de développement ; La définition des standards techniques ; L'identification des risques techniques et sécurité ; La montée en compétence des équipes internes ; Le partage des connaissances. 📚 Documentation technique Vous assurez la capitalisation des connaissances. Vous serez amené.e à produire et maintenir : Dossiers d'architecture ; Schémas techniques et applicatifs ; Documentation des flux ; Standards et patterns ; Documentation MLOps / LLMOps ; Procédures d'exploitation. 🧭 Environnement technique🛠 Data & IA Dataiku Data Science Machine Learning MLOps LLMOps IA Générative Hugging Face OpenAI / Anthropic APIs RAG Bases vectorielles ☁️ Cloud & Infrastructure AWS (services Data Science / IA) Google Cloud Platform Kubernetes Docker Kubeflow Linux Stockage objet type S3 Sécurité Réseaux Supervision Haute disponibilité 🔄 Data Engineering Hadoop Kafka Elasticsearch Logstash Kibana Airflow MLflow 💻 Développement & DevOps Python SQL Bash Scala GitLab Jenkins Artifactory CI/CD

Almatek recherche pour l'un de ses client Un Expert Talend Data Management / ETL Senior sur Vélizy. Contexte de la mission Dans le cadre de la transformation digitale et data, une solution globale ETL basée sur Talend est en cours de déploiement à l'échelle mondiale. L'équipe IS/IT Digital Services (IDS) est responsable du déploiement, de la gestion et de l'évolution de cette solution. Le consultant interviendra en tant qu'expert technique Talend en support des équipes internes et en collaboration avec les tech leads ETL et les experts du groupe. Environnement Fonctionnel & Technique Outil principal : Talend Data Management Contexte : Data intégration / ETL / Data gouvernance Environnement : International (multi-entités groupe) Collaboration étroite avec : Tech leads ETL Experts techniques Équipes métiers et data Missions principales Data Engineering & Développement Conception et développement de jobs Talend Développement de connecteurs et pipelines ETL Déploiement, tests d'acceptation et documentation Audit des jobs existants Architecture & Stratégie Data Co-définition de l'architecture ETL et des patterns Définition des standards de développement et bonnes pratiques Participation à la stratégie de data intégration et gouvernance Mise en place des templates techniques Support & Expertise Technique Support à l'implémentation des projets (intégration, transformation, qualification des données) Optimisation et configuration de la plateforme Talend Analyse de faisabilité technique et estimation des charges Définition des prérequis techniques Migration & Amélioration Analyse des écarts pour les migrations vers Talend Participation à des initiatives Inner Source Contribution à l'amélioration continue de la plateforme Communication & Formation Animation de sessions de formation / transfert de connaissances Participation aux présentations et à la communauté ETL mondiale Rédaction des spécifications techniques RUN & Qualité Définition de la stratégie de logging et gestion des événements Mise en place des bonnes pratiques pour assurer la performance et la stabilité des systèmes Responsabilités clés Expertise Talend sur l'ensemble du cycle de vie projet Collaboration avec des équipes internationales Contribution à la standardisation des pratiques ETL Garant de la qualité technique et des bonnes pratiques Forte autonomie sur les sujets techniques

Data Analyst with SQL Server SSIS and Network Engineer Our Client a bank based in Central London is seeking a highly motivated Data Analyst to play a key role in building and maintaining a robust digital data infrastructure. This position supports data users across the business, ensuring high-quality data extraction, reporting, and analytics capabilities. Working closely with the IT Manager and various business units, you will help strengthen compliance and regulatory risk management through effective management information (MI) reporting and analytical insights. The Client would ideally like you to have experience of Network Engineering in addition to the Data Engineering skills. Ideally have the following skills LAN/WAN Administer, maintain, and optimize Windows and Linux server environments. · Manage VMware virtualized infrastructure (vSphere 8 and above). · Oversee enterprise backup and disaster recovery solutions using Veeam Backup & Replication. · Manage Veeam ONE monitoring and Veeam Recovery Orchestrator (VRO) environments. · Administer endpoint security and encryption solutions, including Symantec Endpoint Protection (SEP) and Symantec Endpoint Encryption (SEE). · Support endpoint DLP, SIEM, and security monitoring tools (e.g., Splunk, Tenable). · Manage patching processes using Manage Engine Patch Manager Plus. · Support Microsoft 365 services and related cloud technologies. The candidate must have strong technical expertise in Windows/Linux, VMware, Microsoft 365, networking, cybersecurity, and infrastructure management who also enjoys solving complex challenges and driving operational excellence Responsibilities Develop, maintain, and enhance the Branch's digital data infrastructure to ensure reliability and accessibility. Deliver accurate and timely data extraction, MI analysis, and reporting to support operational, compliance, and regulatory needs. Work collaboratively with IT and business departments to understand data requirements and provide analytical support. Explore, evaluate, and propose new technologies/tools to improve data management, governance, and reporting efficiency. Ensure data integrity and support the implementation of best practices in data governance. Assist in identifying and managing data-related risks, supporting the Branch's compliance and regulatory frameworks. Must have: Strong analytical skills with experience in data extraction, transformation, and reporting. Proficiency in SQL Server, data visualisation tools (e.g., Power BI, Tableau), and data management technologies. Understanding of data governance, regulatory reporting, and compliance requirements (banking/financial sector experience a plus). Excellent problem-solving skills and attention to detail. Ability to collaborate effectively with cross-functional teams and communicate complex information clearly. Coming from an IT support function is a bonus Data Analysis and Management  Maintain and develop SSIS packages  Perform ad-hoc data extraction and analytics based on requirements from business  Develop data visualisation for business  Work with business to enhance the data available to the data warehouse  Assist in testing reporting solutions developed by external vendors  Support and maintain the generation of internal MI reports  Support and advise the business on data related matters and automation possibilities  Any other responsibilities / tasks as assigned by the Head of IT from time to time Business Performance  Support the department's operations as and when needed and any other tasks assigned by the business stakeholders.  Work with the Managers to ensure the business is in compliant with applicable rules and regulations that falls within the department's remit.  Work with the business to ensure timely submission of relevant department's reports  To adhere and follow all Bank/Group applicable policies and procedures. Data accuracy and ownership duties  To ensure all data worked on and or/shared with internal/external clients are accurate.  Escalate any data issue to the business promptly and without delays.  Ensuring any data sharing requests are discussed with business/DPO so that prior authorisation is given and follows GDPR / department's SOPs. Regulatory Compliance duties Comply with all applicable individual conduct rules (especially the FCA Conduct Rules, Regulations, Bank policies and procedures and the banking Compliance. Technical/Functional skills - Knowledge in SQL query is essential - Working experience in administration and development with SQL (experience with SQL Server and SQL Server Integration Service is preferred) - Experience in working with data visualisation tools such as Power BI - Experience in working with scripting language such as VBA and Python - Experience in working with Power Automate is a plus - Required understanding of the business and business units Personal skills (Soft Competencies [Core/Leadership]) - Personal integrity and ethics - Good judgement in enabling the provision of sound advice on regulation and practice, proactive management of compliance and regulatory risk You will have at least 7 to 10 years' relevant experience working in the data field, preferably in an established bank or financial institution. Qualifications (Basic Degree/Diploma) Bachelor's Degree or Professional Qualification in the relevant discipline (Degrees in Statistic, Information Systems, or similar) This is an exciting position within a bank with interesting projects based in Central London. The salary for this position is in the range £60K- £75K. Please do send your CV to us in Word format along with you salary and availability.

Our government client is looking for candidates who have at least one production AI/ML implementation, recent experience with AWS data services, Terraform, CI/CD, Python, and SQL. Candidates should have more than five years of overall experience and meet the other requirements outlined in the attached JD. Inside IR35 Monthly travel to Swindon, mostly remote Initial 6 months + extensions Job Purpose: The BI Engineer will be responsible for the requirements analysis and design of solutions for data platform, ETL, integration and analysis solutions. Our toolset includes AWS hosted databases (postgres, S3 based data lake, MySQL, Athena), integration services (AWS API gateway, lambda functions), ETL services (AWS Glue, Step functions, AWS Batch), infrastructure a management tool such as Terraform and extensive use of SQLs and python. Key Responsibilities and Accountabilities: The BI Engineer will be a hands-on data developer to develop and construct complete solution designs to complex application requirements across platforms and data sources: 1. Infrastructure Management: a. Set up and manage data infrastructure, including clusters, servers, and cloud-based resources using Terraform. b. Monitor and optimize system performance, troubleshoot issues, and ensure system availability. 2. Data Architecture and Design: a. Design and implement scalable and efficient data pipelines, databases, and data warehouses. b. Collaborate with data visualization and analysts' teams to understand data requirements and translate them into technical specifications. 3. Data Processing: a. Develop and maintain ETL (Extract, Transform, Load) processes for ingesting data from various sources into the data infrastructure. b. Optimize data processing and storage for performance and cost-effectiveness. 4. AI: a. Develop and deploy AI/ML models into production environments. b. Build scalable inference pipelines and AI APIs. c. Implement MLOps workflows for model versioning, monitoring, and retraining. d. Collaborate with data scientists to productionize machine learning solutions. e. Evaluate and optimize AI model performance and operational efficiency. 5. Database Management: a. Manage and maintain databases, ensuring data integrity, security, and availability. b. Implement database schema changes and optimizations as needed. 6. Collaboration: a. Collaborate with cross-functional teams, including data scientists, analysts, and software engineers, to meet data requirements. b. Communicate effectively with stakeholders to gather requirements and provide updates on data engineering projects. To Achieve this, you will have the following skills: * Comfortable working in an Agile rapidly changing environment * You will be an accomplished developer and BI Engineer, with excellent python skills. * Experience with the infrastructure deployment tool such as terraform, CDK or cloud formation. * Experience developing API based data integration. * Excellent analytic skills associated with working on structured and unstructured datasets. * Excellent SQL experience on various platforms (SQL, PostgresSQL, PL/SQL etc) * Experience of several of MySQL, Oracle, SQL, Postgres, RDS, Aurora, Athena or other similar large scale database technologies. * Experience working with AI framework such as LangChain / LlamaIndex * Experience with Vector databases (Pinecone, Weaviate, FAISS) This is an outline description of the key responsibilities and accountabilities involved in the job. This is not an exhaustive list and the post-holder might be expected to undertake any other duties across the wider directorate, commensurate with the Band and level of responsibility of this post, for which the post holder has the necessary experience and/or training. LA International is an award-winning partner of choice for many of the world's most influential companies and government organisations. Holding Enhanced Government Security Accreditation, we are recognised as the European market leader in the delivery of Security Cleared talent to organisations that demand the very highest levels of security, compliance and assurance. A multiple award-winning organisation, having secured the prestigious Queens Award for Enterprise: International Trade over consecutive years. We are committed to fostering an inclusive, equitable and accessible workplace where everyone feels valued and supported. We welcome applications from all individuals, regardless of background or identity, and we encourage candidates who may not meet every listed requirement to still apply. If you require any adjustments or support during the recruitment process, please let us know and we will work with you to ensure a fair and accessible experience. Please Note: If a high volume of applications is received, only candidates shortlisted will be contacted.