Buscamos um profissional experiente em Engenharia de Dados para liderar nossos esforços em dados.
Trabalhamos com larga escala e precisamos de alguém que possa projetar e implementar pipelines de ingestão, transformação e disponibilização de dados.
Responsabilidades
- Projetar e implementar pipelines de ingestão, transformação e disponibilização de dados em larga escala.
- Garantir a integridade, qualidade, governança e segurança dos dados.
- Automatizar processos de integração e tratamento de dados.
- Implementar práticas de monitoramento de pipelines de dados e tratamento de falhas.
- Apoiar na escolha e implantação de ferramentas de dados.
Requisitos Essenciais
Experiência consolidada na área de Engenharia de Dados lidando com AWS e Azure Databricks;Sólidos conhecimentos em construção e manutenção de pipelines de dados utilizando Airflow, Python, PySpark, EMR, AWS Glue, Databricks, Azure Data Factory, AWS Athena e similares;Domínio de SQL;Experiência com bancos de dados relacionais (PostgreSQL, MySQL) e arquivos colunares (como parquet).