Desenvolvedor Pyspark

Descrição perfil técnico : Experiência em Engenharia de Dados com foco em larga escala.Expetise em PySpark e Databricks para desenvolvimento e otimização de pipelines.Domínio de Python (avançado em PySpark), SQL e .

NET (C#).

Atuação em ambientes multicloud : Azure, AWS e Google Cloud.Experiência em migração de sistemas legados para a nuvem.Otimização de performance com redução de tempo de execução em mais de 60%.

Criação de sistemas de recomendação escaláveis com PySpark.Conhecimento em Apache Airflow, Azure Data Factory, BigQuery, Delta Lake e Oracle.Práticas de CI / CD com Azure DevOps.Atuação com metodologias ágeis (Scrum, Kanban) e cultura DevOps.Híbrido 2x por semana na Chácara Santo Antônio, São Paulo.Tipo de vaga : Autônomo / PJ