Atuação : RemotaPeríodo : 6 meses com chance de prorrogaçãoModelo de contratação : PJResponsabilidadesDesenvolver e manter pipelines de dados para processamento batch e streaming utilizando Apache Spark (incluindo Structured Streaming).
Implementar soluções escaláveis e resilientes para ingestão, transformação e disponibilização de dados.Garantir a qualidade, governança e segurança dos dados em todas as etapas do pipeline.Colaborar com equipes de arquitetura, analytics e negócio para definir estratégias de dados.Monitorar e otimizar processos para garantir alta performance e baixo custo.Apoiar iniciativas de modernização e migração para ambientes cloud (AWS).
RequisitosExperiência avançada com Apache Spark, incluindo processamento de dados em streaming.Sólidos conhecimentos em Python para desenvolvimento de pipelines e scripts.Conhecimento básico em AWS, especialmente serviços como S3, Glue, EMR ou equivalentes.Experiência com formatos de dados (Parquet, Delta Lake) e boas práticas de ETL / ELT.Familiaridade com controle de versão (Git) e metodologias ágeis.BenefíciosAulas de Inglês coorporativo com valores acessíveis;Programas de Incentivo ao Aprendizado (Udemy).
Engenheiro Dados • São Paulo, Brasil