Responsabilidades e atribuições
Descrição da posição : Buscamos um(a) profissional com sólida experiência em engenharia de dados, com domínio técnico em ferramentas modernas de processamento, automação e cloud. A pessoa atuará em projetos estratégicos, com foco em performance, qualidade e entrega de valor para o negócio.
O que esperamos que você realize :
- Desenvolver e manter pipelines de dados utilizando PySpark .
- Integrar e processar dados em ambientes AWS , incluindo EMR, Glue, S3 e Athena.
- Automatizar fluxos de trabalho com Airflow (MWAA) .
- Aplicar boas práticas de engenharia de dados com foco em performance e escalabilidade.
- Participar da definição e implementação de processos de CI / CD .
- Realizar consultas e análises em bancos de dados utilizando SQL .
- Colaborar com times multidisciplinares para garantir entregas alinhadas com os objetivos do negócio.
- Atuar com senso de dono, buscando melhorias contínuas e soluções eficientes.
Requisitos e qualificações
O que precisamos que você tenha de conhecimento :
Obrigatórios :
Sólido conhecimento em PySparkExperiência com SQL (consultas e entendimento de modelo de dados)Conhecimento em AWS : EMR, Airflow (MWAA), S3, Glue, AthenaFamiliaridade com conceitos de CI / CDDesejáveis :
Experiência com PythonVivência em ambientes de dados complexos e escaláveis