Ingénieur Big Data Scala Senior | Expert AWS Spark | 100% Télétravail

Notre organisation fintech spécialisée dans les plateformes de trading et d'investissement en ligne recherche un Ingénieur Big Data Scala Senior pour concevoir et implémenter des pipelines de données sophistiqués qui alimentent nos produits financiers. Ce poste en télétravail complet vous offre l'opportunité de travailler avec des technologies de pointe dans un environnement dynamique et exigeant. À Propos du Poste En tant qu'Ingénieur Big Data Scala Senior (Remote / Mondial), vous jouerez un rôle déterminant dans la conception et le développement de systèmes robustes de traitement de données qui soutiennent nos plateformes de trading et d'investissement. Vous travaillerez avec des ensembles de données massifs, optimiserez les performances et assurerez la fiabilité de notre infrastructure de systèmes distribués. Ce poste nécessite des connaissances techniques approfondies combinées à une capacité à comprendre les défis du domaine financier. Responsabilités Principales - Concevoir et implémenter des pipelines de données efficaces et évolutifs en utilisant Scala 2.13/3.x et les technologies big data modernes. - Développer et maintenir des workflows ETL utilisant Apache Spark 3.4+, Hadoop 3.3+, et Apache Airflow 2.7+. - Architecturer des solutions pour le traitement de flux de données financières à haut volume avec Kafka 3.5+ et systèmes événementiels. - Optimiser le stockage et la récupération de données à travers divers systèmes, notamment HDFS, AWS S3, Cassandra 4.x et bases de données relationnelles. - Collaborer avec les équipes de Data Science pour implémenter et optimiser leurs modèles et algorithmes Python 3.10+. - Construire et maintenir l'infrastructure sur AWS, en exploitant des services tels que S3, Athena, EMR 6.x, et EKS. - Mettre en œuvre des tests automatisés complets pour les applications Spark afin d'assurer l'intégrité des données. - Participer aux revues de code et aux discussions techniques pour améliorer l'architecture du système. - Surveiller les métriques de performance et implémenter des optimisations pour les pipelines de données existants. - Documenter les solutions techniques et partager les connaissances avec les membres de l'équipe. - Contribuer à l'évolution de notre architecture data vers des solutions plus résilientes et performantes. - Analyser les besoins métier et proposer des solutions techniques adaptées aux contraintes du secteur financier. Compétences et Expérience Requises - Minimum de 4 ans d'expérience professionnelle avec le développement Scala dans des environnements de production. - Maîtrise solide d'Apache Spark, de l'écosystème Hadoop, et des principes de calcul distribué. - Expérience pratique avec Hive, Airflow, et les outils d'orchestration de workflows. - Expertise démontrée avec Kafka et les architectures basées sur les messages. - Connaissance avancée des solutions de stockage de données, notamment HDFS, AWS S3, et Cassandra. - Compréhension solide des concepts de bases de données relationnelles et maîtrise du SQL. - Expérience dans la conception et l'implémentation de pipelines de données pour des systèmes à grande échelle. - Expérience prouvée avec les services AWS (S3, Athena, EMR, EKS, etc.). - Capacité à lire et comprendre le code Python, particulièrement pour les applications de data science. - Expérience dans l'écriture et la maintenance de tests automatisés pour les applications Spark. - Excellentes compétences en communication orale et écrite en anglais. - Capacité à travailler de manière autonome dans un environnement distant tout en collaborant efficacement avec une équipe internationale. Atouts Supplémentaires - Expérience dans le secteur fintech, trading, ou investissement. - Connaissance des systèmes de traitement de données en temps réel et à faible latence. - Familiarité avec les technologies de conteneurisation (Docker, Kubernetes). - Expérience avec les pipelines CI/CD et les pratiques DevOps modernes. - Compréhension des exigences de gouvernance des données et de conformité dans les services financiers. - Contributions à des projets open-source ou à la communauté Scala. - Certifications AWS ou en technologies big data. - Expérience avec les architectures de microservices et les systèmes réactifs. - Connaissance des frameworks de streaming comme Spark Streaming ou Flink. - Expérience avec les technologies de stockage de données NoSQL alternatives. Pourquoi Nous Rejoindre Travailler avec nous signifie être à l'avant-garde de l'innovation en technologie financière. Vous aiderez à construire des systèmes qui traitent des millions de transactions quotidiennes et qui ont un impact direct sur les décisions d'investissement de nos clients. Nous offrons une rémunération compétitive, des arrangements de travail à distance flexibles, des opportunités de développement professionnel, et la chance de travailler avec une équipe diversifiée d'ingénieurs talentueux. Notre environnement technologique évolue constamment pour rester à la pointe de l'innovation. Vous aurez l'occasion de participer à cette évolution, en proposant et en implémentant des solutions qui améliorent nos capacités de traitement de données massives. Votre expertise en Scala et en technologies big data sera valorisée et vous permettra de grandir professionnellement tout en contribuant à notre succès collectif.